インターネットの使用が日常生活に不可欠な部分となっているため、多くの人がさまざまなオンライン ソースに情報を依存しています。インターネットは利便性が向上し、幅広いニュースソースを提供しますが、偽情報の拡散は今世紀最大の課題の 1 つとなっており、生成型人工知能の台頭によってさらに悪化しています。虚偽の情報の拡散は、それが誤った情報、誤った情報、不正な情報（MDM）の形式であっても、個人や組織に有害な決定を下す可能性があり、重要かつ論争の的となっている問題に関して社会の分断を生み出すことがわかっています。。

人文社会科学部、NUSビジネススクール、コンピューティング学部、デザイン工学部、法学部、リー・クアンユー公共政策大学院など、さまざまな学部のメンバーで構成される研究チームは、この問題に取り組んでいる。間違い情報情報ジャイロスコープ (iGyro) として知られるプログラムを通じて正面から観察します。

これは、デジタル情報パイプラインの脆弱性を特定して対処し、オンライン ユーザーのデジタル回復力を強化する戦略を開発し、信頼できる情報への関与を促進する行動を促進することを目的とした、5 年間にわたる包括的な研究イニシアチブです。Chen Tsuhan 教授が率いる 40 名の研究者からなる学際的なチームは、進化するデジタル情報環境の理解と形成に取り組んでいます。

「航空業界では、ジャイロスコープは航空機の正確な制御を維持するために安定性と方向のガイダンスを提供します。同様に、iGyro は、変化し混沌とした情報環境に直面して安定性を維持するための私たちのチームの取り組みを示しています。また、チームの学際的な性質を象徴しています。社会科学、コンピュータサイエンス、工学、法律などの分野にわたる専門知識を備えています」とチェン教授は述べました。

iGyro チームは、全体的な 3 層のフレームワークを採用し、人間の行動の理解と形成を研究の中心に据えています。彼らのフレームワークの次の層はテクノロジー領域であり、作成から普及、消費に至るデジタル情報パイプラインのさまざまな段階を理解することを目的としています。最後に、その枠組みの最外層では、緩和戦略の潜在的な影響と、これらの戦略を展開するために使用される規制や政策の役割を研究します。

iジャイロチーム出版されたの雑誌記事デジタル・ガバメント: 研究と実践iGyro チームが 3 層のフレームワークをどのように適用して、生成人工知能によって作成されたコンテンツの作成から消費までのライフサイクルを調査したかを説明します。人間の行動に重点を置き、iGyro チームは脆弱性を強調し、デジタル エコシステムにおける情報の完全性と社会の信頼を強化するための適応的で証拠に基づいたポリシーを提唱しました。

2023 年の発足以来、iGyro チームは、偽情報の拡散と戦うツールの開発においても心強い進歩を遂げてきました。

SNIFFER: 誤った情報を検出するためのマルチモーダルな大規模言語モデル

本物の画像とその画像を表していない偽のテキストが組み合わされる、文脈を無視した誤った情報は、誤った情報を広め、視聴者を誤解させる最も簡単かつ効果的な方法の 1 つです。しかし、現在のテクノロジーには、誤った情報を暴くために不可欠な、その判断に対する説得力のある説明が欠けています。

コンテキストを逸脱した誤情報に対処するために、iGyro の主任研究者である NUS コンピューティング大学院の Wynne Hsu 教授と Lee Mong Li 教授が率いるチームは、検出および検出するように設計された新しいマルチモーダル大規模言語モデル (MLLM) である SNIFFER を開発しました。文脈を無視した誤った情報を画像やキャプションで説明する。

SNIFFER は、特殊な人工知能 (AI) モデルを使用して 2 つの側面からの分析を実行します。最初のステップでは、画像とキャプションの間の一貫性を内部チェックします。2 番目のステップでは、外部ソースから情報を取得して、画像のコンテキストと提供されたキャプションの間の関連性を調べます。これら 2 つのステップの結果に基づいて、SNIFFER は画像とキャプションのペアの信頼性を判断し、そのペアが誤解を招くものであるかどうかの最終的な判断と説明を導き出します。

SNIFFER は、以前の MLLM モデルのパフォーマンスを 40% 上回っていることが判明しており、他の最先端の検出方法と比較して、より高い精度で誤情報検出タスクを実行します。研究者らは、さらなる改善により、SNIFFER が一般公開され、ユーザーが文脈から外れた情報を識別できるようになることを期待しています。

QACheck: 質問に基づいたファクトチェックのためのツール

信頼できる事実確認ツールを利用できることは、虚偽の情報の拡散を防ぐ 1 つの方法です。ただし、オンライン ソースによる事実確認には、複雑で複数のステップからなる推論プロセスが必要です。既存のファクトチェック システムの多くも意思決定プロセスに透明性が欠けており、ユーザーが結論について合理的な説明を得ることが困難になっています。

この問題に対処するために、iGyro の主任研究者である NUS コンピューティング大学院の Kan Min-Yen 准教授は、研究チームとともに、国際的な協力者と協力して、質問ガイド付きマルチホップ ファクト チェック (QACheck) システムを開発しました。主張を検証するために必要な一連の重要な質問を提示することによって、モデルの推論を行います。

QACheck は、クレーム検証モジュール、質問生成モジュール、質問応答モジュール、QA 検証モジュール、推論モジュールの 5 つのコア モジュールで構成されています。ユーザーは QACheck にクレームを入力すると、その正確性が評価され、一連の質問と回答を通じて推論プロセスの概要を示す詳細なレポートが作成されます。また、このツールは各質問の証拠の出典を引用し、透明性があり、説明可能で、ユーザーフレンドリーなファクトチェック体験を促進します。

チームの次のステップは、追加のナレッジ ベースを統合し、画像、テーブル、チャートなどのさまざまなデータ形式をサポートするマルチモデル インターフェイスを組み込むことで、QACheck の幅と深さを強化し、これらの形式を処理および分析するシステムの能力を拡大することです。

フェイクニュースに対して施行される世界的な法律を計画する

デジタル情報ソースが洗練され、急速に進化するにつれて、規制や政策もこの動的な状況に適応し、追いつく必要があります。

iGyro の主任研究者である NUS 法学部の Simon Chesterman 教授が率いるチームは、立法活動の世界的な状況を示すインタラクティブなマップフェイクニュースや誤った情報に対して、MDM に対処することを目的とした法律が 1995 年から 2023 年までに世界的にどのように進化したかを説明します。

注目すべきことに、研究チームはこれらの法律が最初は市民的自由の少ない国、特にアフリカとアジアで導入されたことを発見した。最近では、アジア諸国がそのような法律の制定に大きく貢献しており、多くの場合、政府により大きな権限を与えています。研究チームはまた、これらの法律の拡大が米国、カナダ、欧州連合などの西側諸国で最も急速に加速していることも発見した。

iGyro チームは、このインタラクティブなマップを通じて、デジタル情報を管理する法律の種類と、フェイク ニュースと戦うために各国で採用されているさまざまなアプローチの有効性について、より詳細な分析を実施したいと考えています。彼らの研究から得られた貴重な洞察は、すべての国の将来の政策を形作るのに役立ちます。

「私たちは、SNIFFER や QACheck などの革新的なツールを開発し、将来の政策を形作るためにフェイク ニュースや誤った情報に対する世界の立法状況を分析することで、信頼できるデジタル情報エコシステムを構築し、ユーザーが信頼できるインターネットで情報にアクセスできるようにしたいと考えています。」とチェン教授は言いました。

詳細情報:Kokil Jaidka 他、誤った情報、偽情報、および生成 AI: 認識と政策への影響、デジタル・ガバメント: 研究と実践（2024年）。DOI: 10.1145/3689372