MITとペンシルバニア州立大学の研究者らによる新しい研究では、大規模な言語モデルが家庭監視に使用された場合、監視ビデオに犯罪行為が映っていない場合でも警察に通報するよう推奨できる可能性があることが明らかになった。

さらに、研究者らが研究したモデルでは、どのビデオに警察介入のフラグを立てたかという点で一貫性がなかった。たとえば、モデルがフラグを立てる可能性があります。ビデオこれは車両侵入を示していますが、同様の行為を示す別のビデオにはフラグを立てていません。同じビデオについて警察に通報するかどうかをめぐって、モデル同士で意見が対立することがよくあった。

さらに、研究者らは、一部のモデルは、他の要因を調整すると、ほとんどの住民が白人である地域では、警察介入のビデオにフラグを立てる頻度が比較的低いことを発見した。これは、モデルが近隣の人口動態の影響を受けた固有のバイアスを示していることを示していると研究者らは言う。

これらの結果は、モデルの適用方法に一貫性がないことを示しています。社会規範同様の活動を描写した監視ビデオ。研究者らは「規範の不一致」と呼ぶこの現象により、モデルがさまざまな状況でどのように動作するかを予測することが困難になります。

「生成 AI モデルをどこにでも、特に一か八かの環境で展開するという迅速かつ画期的な手法は、非常に有害である可能性があるため、さらに検討する価値があります」と共著者のアシア ウィルソン氏は述べています。

ウィルソンは、電気工学およびコンピュータ サイエンス学部のリスター ブラザーズ キャリア開発教授であり、情報および意思決定システム研究所 (LIDS) の主任研究員です。

さらに、研究者はアクセスできないため、トレーニングデータこれらの独自の AI モデルの内部動作を調べても、規範の不一致の根本原因を特定することはできません。

その間大規模な言語モデル(LLM) は現在、実際の監視環境には導入されていない可能性がありますが、ヘルスケア、住宅ローン融資、雇用など、他の一か八かの場面で規範的な意思決定を行うために使用されています。ウィルソン氏は、これらの状況ではモデルが同様の不一致を示す可能性が高いと述べています。

「これらのLLMは、何らかの規範や価値観を学習している、または学習できるという暗黙の信念があります。私たちの研究は、そうではないことを示しています。おそらく、彼らが学習しているのは、任意のパターンまたはノイズだけかもしれません。」と筆頭著者のShomik Jain氏は述べています。、データ・システム・社会研究所（IDSS）の大学院生。

ウィルソン氏とジェイン氏は、共同上級著者であるダナ・カラッチ博士もこの論文に加わっています。'23年、ペンシルバニア州立大学情報科学技術学部助教授。この研究は、AI、倫理、社会に関する AAAI 会議で発表されます (AIES 2024）は10月21日から23日までカリフォルニア州サンノゼで開催されました。の紙で利用可能ですarXivプレプリントサーバー。

「現実の、差し迫った、現実的な脅威」

この研究は、カラッチが MIT メディア ラボの大学院生だった 2020 年に構築した、数千の Amazon Ring 家庭用監視ビデオを含むデータセットから発展しました。Ring は、2018 年に Amazon に買収されたスマートホーム監視カメラのメーカーで、ビデオを共有したり議論したりできる Neighbors と呼ばれるソーシャル ネットワークへのアクセスを顧客に提供しています。

Calacci 氏の以前の調査では、ビデオの被写体の肌の色に基づいて、誰がその地域に属しているか、誰が属していないかを判断することで、人々がその地域を「人種的に監視する」ためにこのプラットフォームを使用することがあることを示しました。彼女は、人々が Neighbors プラットフォームをどのように利用しているかを調査するために、ビデオに自動的にキャプションを付けるアルゴリズムをトレーニングすることを計画していましたが、当時、既存のアルゴリズムはキャプションを付けるのに十分ではありませんでした。

LLM の爆発的な増加により、プロジェクトは方向転換しました。

「既製の生成 AI モデルを使用して、誰かがビデオを見て、住宅所有者に警告し、自動的に法執行機関に通報するという現実的な、差し迫った、実際的な脅威が存在します。私たちは、それがどれほど危険かを理解したかったのです」とカラッチ氏は言います。

研究者らは 3 つの LLM (GPT-4、Gemini、Claude) を選択し、Calacci のデータセットから Neighbors プラットフォームに投稿された実際のビデオを見せました。彼らはモデルに 2 つの質問をしました。「ビデオの中で犯罪は起こっていますか?」「モデルは警察に通報することを勧めますか?」

彼らは人間にビデオに注釈を付けさせ、昼か夜か、活動の種類、対象者の性別と肌の色を特定させた。研究者らも使用した国勢調査データ集める人口統計情報ビデオが録画された地域について。

一貫性のない決定

その結果、39% が犯罪を示していたにもかかわらず、3 つのモデルすべてがほぼ常に、ビデオの中で犯罪は起こっていないと言うか、あいまいな反応を示したことがわかりました。

「私たちの仮説は、これらのモデルを開発する企業は、モデルが言えることを制限するという保守的なアプローチをとっているということです」とジェイン氏は言う。

しかし、モデルたちは、ほとんどの動画には犯罪が含まれていないと述べたものの、動画の 20% から 45% については警察に通報することを推奨しています。

研究者らが近隣の人口統計情報を掘り下げたところ、一部のモデルは、他の要因を調整して、白人が多数を占める地区では警察への通報を推奨する可能性が低いことがわかりました。

モデルたちには近所の人口統計に関する情報が与えられておらず、ビデオには家の玄関から数ヤード先のエリアしか映っていなかったので、彼らはこれが驚くべきことだと感じた。

研究者らはモデルたちにビデオ内の犯罪について質問するだけでなく、なぜそのような選択をしたのか理由も提示するよう促した。これらのデータを調査したところ、白人が多数を占める地区ではモデルが「配達員」などの用語を使用する傾向が高いが、有色人種の居住者の割合が高い地区では「強盗ツール」や「不動産のケーシング」などの用語が使用される可能性が高いことがわかりました。。

「おそらく、これらのビデオの背景条件に、モデルに暗黙のバイアスを与える何かがあるのか​​もしれません。これらのモデルやトレーニングされたデータの透明性があまり高くないため、これらの矛盾がどこから来ているのかを判断するのは困難です。」とジェインは言います。

研究者らはまた、モデルが警察への通報を推奨するかどうかにおいて、動画に映る人々の肌の色が重要な役割を果たしていないことにも驚いた。彼らは、これは機械学習研究コミュニティが肌の色の偏りを軽減することに重点を置いているためであると仮説を立てています。

「しかし、無数のバイアスが見つかる可能性があるため、それを制御するのは困難です。それはほとんどモグラ叩きのようなものです。1 つのバイアスを軽減できても、別のバイアスが別の場所に現れるのです」とジェイン氏は言います。

多くの緩和手法では、最初にバイアスを知る必要があります。これらのモデルが導入されれば、企業は肌の色の偏りをテストできるかもしれないが、近隣の人口統計の偏りはおそらくまったく気づかれないだろうとカラッチ氏は付け加えた。

「モデルにどのような偏りがあるかについて、企業がモデルを導入する前にテストする独自の固定観念が私たちにはあります。私たちの結果は、それだけでは十分ではないことを示しています」と彼女は言います。

そのために、カラッチ氏とその協力者たちが取り組みたいと考えているプロジェクトの 1 つは、人々が AI の偏見や企業や政府機関に対する潜在的な損害を特定し、報告することを容易にするシステムです。

研究者らはまた、一か八かの状況でLLMが下す規範的判断が人間が下す規範的判断とどのように比較されるか、またこれらのシナリオについてLLMが理解している事実についても研究したいと考えている。

この記事は MIT ニュースのご厚意により再掲載されています (web.mit.edu/ニュースオフィス/) は、MIT の研究、イノベーション、教育に関するニュースを扱う人気のサイトです。