Explainable AI の先駆者の 1 人は、AI がどのように、そしてなぜ機能するのかを説明する高度なモデルを開発しました。このモデルは AI の謎の「ブラック ボックス」を明らかにし、事実上すべての AI システムで利用できます。

「AI による意思決定を理解し説明する上で、社会や業界にとって大きな利益となる可能性があります。機械学習モデルとニューラルネットワーク」とウメ大学コンピュータ サイエンス学部教授の Kary Framling 氏は言います。

AI と機械学習は、政府、医療、企業、産業で使用されています。いわゆるディープラーニング手法により、医療現場で人間よりもはるかに速く患者を診断できるようになりました。しかし、AI システムがある種類の治療法を推奨し、別の種類の治療法を推奨しないのはなぜでしょうか。また、AI システムはどのように決定を下すのでしょうか?

「説明可能な AI は、多くの人が関心を持っている分野ですが、知っている人や完全に理解している人はほとんどいません。また、既存の説明モデルは一般の人にとって十分に理解できるものではありません」と、説明可能な人工知能 (XAI) の責任者であるフレームリング教授は述べています。梅大学計算科学部のチーム。

Främling は CIU メソッド (Contextual Importance and Utility approach) を開発し、それが他のモデルよりも効率的であることを発見しました。「残念なことに、多くの科学者は特定の考え方に留まりましたが、私はこれらのモデルが限定的すぎることに早い段階で気づきました。しかし、1990 年代後半は、時期が適切ではありませんでしたが、私は CIU 手法の開発を続け、今日では次のことがわかります。それは長期的には有効な選択でした」とフレームリング教授は言います。

より具体的な説明が得られる

AI システムは、1 つ以上の入力が AI に与えられるシステムです。モデルまたはシステムは、情報を処理して 1 つ以上の出力を生成します。フレムリングは博士号を利用しています。フランスを例に挙げます。

彼が住んでいた地域は、産業廃棄物の最終保管に最適な場所を特定したいと考えていました。機械学習とニューラル ネットワークを使用して何千ものサイトが分類され、いくつかの異なるカテゴリを考慮して選択が行われました。「しかし、サイトが良いかどうかを判断する基準は何だったのでしょうか? 残念ながら、AI システムの理論を理解できるのは私のようなコンピューター科学者だけでした」とフレームリング氏は言います。

場所の選択には正当性があり、人と環境の両方に配慮する必要がありました。「また、さまざまな方法でわかりやすく説明する必要があります。住民はある種類の情報を必要としていますが、環境当局は別の種類の情報を必要としています。」

そのとき、彼は説明方法を作成することに興味を持ちました。「私にとって重要なのは、病院の決定、融資申請に対する銀行の対応、当局の決定を私たち全員が確実に理解できるようにすることです。」

彼の CIU メソッドを使用すると、1 つ以上の入力値 (「年齢」、「性別」、「仕事」、「学習」などの変数) を変更した場合の最終結果への影響を研究し、説明することができます。「CIU を使用すると、各コンポーネントとその結果への影響を計算して説明したり、入力データをサブセクションに分割したりすることもできます。これは、たとえば、なぜそうしなかったのかなど、より具体的な説明を得ることができることを意味します。融資を受けられなかったのか、なぜ融資を受けたのかもわかりません」とフレームリングは言う。

わかりやすい説明を提供します

ニューラルネットワークを利用したAIシステム、ブラックボックスAI システムはかつては説明が不可能だと考えられていました。そこで、実際の AI システムの動作を模倣し、その動作を分析するために、いわゆる「サロゲート モデル」が作成されました。Explainable AI は今でもこの考え方に基づいています。ただし、CIU はサロゲート モデルを作成しません。代わりに、入力の関数として出力がどのように変化するかに従って AI モデルの機能を分析します。

「これは、私たち人間が自分の決定や行動を正当化するために使用する、わかりやすい説明や概念に変換できる情報を提供します」とフレームリング氏は言います。

「もっと多くのものを手に入れることは完全に可能だ」正確な情報AI システムで何が起こったのか、何が間違っていたのかについての単なる「予感」ではありません。CIU は企業とその顧客だけでなく、当局や国民にも素晴らしい機会を提供できます」とフレームリング氏は言います。

CIU は Python および R プログラミング言語で実装されており、そのソース コードは Github で公開されています。CIU はライブラリとしてインストールすることもでき、原則として任意の AI システムと統合できます。このモデルは、機械学習を使用しない「古典的な」AI システムの結果を説明することもできます。CIU は時系列モデルや言語モデルにも適用できますが、これは現在研究中です。