Sundararajan&Najmi+'20 The Many Shapley Values for Model Explanation (ICML 2020)

まとめ

• Shapley Value について様々な計算方法があることを指摘．特に，perturbation の際に抜いた特徴量を表現する際に 1) 学習データの分布を陽に与えるか否か 2) 入力表現が離散的か連続的か という観点でバリエーションが生じていることを指摘した

• それぞれの代表的な手法について，特徴量帰属手法として望ましい公理が成立するかどうかを確認した．
• e.g., オリジナルの SHAP では抜けている特徴量を条件付き期待値で表現するが，この場合だとデータがスパースな場合，モデルに関わらず全ての特徴量に均等に寄与を振り分けてしまう場合があるということを数学的に示した

• また，それぞれの Shapley Value の計算手法についての関係性を説明した．
• Integrated Gradients も SHAP の variant であることを指摘
• e.g., Original な条件付き期待値で定義される SHAP → 特徴量同士の独立, モデルの線形性を仮定 = 特徴量からランダムなベースライン（平均）を取ってきて抜けている特徴量を置き換える BShap ← 離散 ↔ 連続 → Integrated Gradients

感想