ドイツ人ジャーナリストのマーティン・ベルンクラウ氏が、自分の記事がチャットボットによってどのようにピックアップされるかを確認するために、マイクロソフトのコパイロットに自分の名前と所在地を入力したところ、答えが得られた。彼を怖がらせた。

副操縦士の結果は、ベルンクラウが精神病院からの逃亡者であり、有罪判決を受けた児童虐待者であり、未亡人を食い物にする詐欺師であると主張した。ベルンクラウは何年も法廷記者を務めており、人工知能 (AI) チャットボットは彼を不当に責めた彼がかばった犯罪に対して。

もちろん、ベルンクラウに対する非難は真実ではなく、生成型 AI の一例です。」幻覚これらは、ユーザーが提供したプロンプトに対する不正確または無意味な応答であり、驚くほど一般的なこの技術を使えば。AI を使用しようとする人は常に細心の注意を払って作業を進める必要があります。そのようなシステムからの情報を信頼するには、人間による検証と検証が必要だからです。

しかし、なぜ副操縦士はこのようなひどい冤罪を幻覚で見たのでしょうか?

Copilot や、ChatGPT や Google Gemini などの他の生成 AI システムは、大規模な言語モデル(LLM)。LLM の基礎となる情報処理システムは、「」として知られています。深層学習ニューラルネットワーク」は、アルゴリズムを「トレーニング」するために大量の人間の言語を使用します。

アルゴリズムはトレーニング データから、さまざまな単語間の統計的関係と、テキスト内で特定の単語が一緒に出現する可能性を学習します。これにより、LLM は計算された確率に基づいて最も可能性の高い応答を予測できます。LLM は実際の知識を持っていません。

Copilot やその他の LLM のトレーニングに使用されるデータは膨大です。Copilot または ChatGPT コーパスのサイズと構成の正確な詳細は公開されていませんが、Copilot には ChatGPT コーパス全体に加えて Microsoft 独自の特定の追加記事が組み込まれています。ChatGPT4、ChatGPT3、および 3.5 の前身では、「」が使用されていたことが知られています。何千億もの単語。」

Copilot は、ChatGPT3 または 3.5 よりも「大きい」コーパスを使用する ChatGPT4 に基づいています。これが正確に何ワードなのかはわかりませんが、ChatGPT の異なるバージョン間のジャンプは桁違いに大きくなる傾向があります。また、コーパスには書籍、学術雑誌、ニュース記事。そしてここに、副操縦士がベルンクラウが凶悪犯罪の責任者であるという幻覚を見た理由が隠されている。

ベルンクラウは虐待、暴力、詐欺の刑事裁判について定期的に報道しており、それは国内外の新聞に掲載された。彼の記事はおそらく、事件の性質に関連する特定の単語を使用する言語コーパスに含まれているに違いありません。

ベルクラウは何年も法廷で報道を続けてきたため、副操縦士について尋ねられると、彼の名前に関連する可能性が最も高い言葉は、彼が記者として取材してきた犯罪に関するものである。この種のケースはこれだけではなく、おそらく今後数年でさらに多くのケースが発生するでしょう。

2023年、米国のトークラジオ司会者マーク・ウォルターズOpenAIを訴えることに成功した、ChatGPTを所有する会社。ウォルターズは、米国での銃所有権を調査し促進する「アームド・アメリカン・ラジオ」という番組の司会を務めている。

LLMは、ウォルターズ氏が銃の権利を支援する米国の組織である憲法修正第2条財団（SAF）から詐欺と資金横領の罪で訴えられているという幻覚を見せていた。これは、あるジャーナリストが、SAF とワシントン州司法長官に関する現在進行中の実際の訴訟について ChatGPT に質問した後のものでした。

ウォルターズ氏はSAFで働いたことはなく、SAFとワシントン州の間の事件にはいかなる形でも関与していなかった。しかし、財団はウォルターズのショーと同様の目的を持っているため、言語コーパス内のテキスト内容がウォルターズと幻覚を引き起こしたSAFとの間の統計的相関関係を構築したと推測できます。

訂正

言語コーパス全体にわたってこれらの問題を修正することはほぼ不可能です。コーパスに含まれるすべての記事、文、単語を精査して、偏った言語を特定して削除する必要があります。データセットの規模を考えると、これは現実的ではありません。

ベルクロウの場合のように、人々を犯罪と誤って結び付ける幻覚は、発見して対処するのがさらに困難です。この問題を永久に修正するには、Copilot が記事の著者として Bernklau の名前を削除して接続を切断する必要があります。

この問題に対処するために、Microsoft は、ユーザーが Bernklau の件について Copilot に質問したときに返される自動応答を設計しました。返答では幻覚について詳しく説明されており、ベルンクラウがどの告発に対しても無罪であることが明らかにされている。Microsoftは、ユーザーからのフィードバックを継続的に取り入れ、対応を改善し、ポジティブなエクスペリエンスを提供するためのアップデートを展開していると述べた。

おそらく、まだ発見されていない同様の例がさらにたくさんあるでしょう。個別の問題にすべて対処しようとするのは非現実的になります。幻覚は、基礎となる LLM アルゴリズムの動作によって避けられない副産物です。

これらのシステムのユーザーとして、出力が信頼できるかどうかを知る唯一の方法は、確立された方法を使用して出力の妥当性を調べることです。これには、出力を正しいものとして受け入れる前に、LLM によって行われた主張に一致する 3 つの独立したソースを見つけることが含まれる場合があります。私自身の研究が示した。

Microsoft や OpenAI など、これらのツールを所有する企業にとって、これらの問題を回避するための実際に事前の戦略はありません。彼らが実際にできるのは、同様の幻覚の発見に反応することだけです。

この記事はから転載されています会話クリエイティブ・コモンズ・ライセンスに基づいて。読んでください元の記事。