XAI(説明可能なAI)

昨日読了。

良書。XAIの特徴や現状、具体例、限界や課題など、が一通り理解できる。

  • 対応可能な問題の複雑さが高くなるモデルは、説明可能性が低くなる傾向がある。ルールベース→線形/ロジスティクス回帰→決定木→ブースティングモデル→ディープラーニング
  • 説明可能なAI(予測の判断理由を人間に説明できる)と解釈可能なAI(内部構造を解析する)
  • 大局説明(AIモデルの全体的な振る舞いを説明)と局所説明(個々の予測結果の判断理由を説明)。大局説明は、AIモデルの改善運用、敵対性攻撃の検証などに使われる。局所説明は、予測結果の妥当性確認や、意図とは異なる学習の見直しなどに使われる。
  • 説明方法。特徴量の寄与度による説明、判断ルールによる説明、学習データの寄与度による説明。
  • モデル依存型、モデル非依存型。
  • 具体的なモデル例と一部のモデルの実施例。LIME、SHAP、Permutation Importance、Partial Dependence Plot / Individual Conditional Ecpectation、Tree Surrogate、CAM / Grad-CAM、Integrated Gradients、Attention、ELI5 / PDPbox / Skater。
  • ビジネスシーンにおける説明性とは?裁判沙汰を想定した説明と納得(XAIよりも実験・精度レポート)、大きな意思決定をする際の説明と納得(XAIではなく企画・シミュレーション)、クラスタリングにおけるカテゴリラベルの説明と納得(アートな説明文はXAIには無理)、はじめから説明内容が定形化され決まっている際の説明と納得(XAIの出力をそのまま伝えるのではなく典型的なシナリオに合致するかを判別する)
  • XAIの存在の矛盾 - 複雑な事象の説明は根本的に複雑である。必要なのは説明性ではなく納得性。
  • 分野をまたいだ取り組みが必要。専門ナレッジベースとの照合、心理学の応用など。