随着互联网的使用成为我们日常生活中不可或缺的一部分，许多人依赖各种在线资源获取信息。虽然互联网提供了更大的便利和更广泛的新闻来源，但虚假信息的传播已成为本世纪最大的挑战之一，而生成人工智能的兴起加剧了这一挑战。虚假信息的传播——无论是以错误信息、虚假信息和恶意信息 (MDM) 的形式——可能会导致个人和组织做出有害的决定，并已被证明会在关键和有争议的问题上造成社会分歧。

一个由来自艺术与社会科学学院、新加坡国立大学商学院、计算机学院、设计与工程学院、法学院和李光耀公共政策学院等多个院系的成员组成的研究小组正在解决这个问题错误的信息通过一个名为信息陀螺仪（iGyro）的程序进行正面攻击。

这是一项为期五年的综合研究计划，旨在识别和解决数字信息管道中的漏洞，制定增强在线用户数字弹性的策略，并促进鼓励参与可信信息的行为。由 Chen Tsuhan 教授领导的由 40 名研究人员组成的跨学科团队致力于理解和塑造不断发展的数字信息格局。

“在航空领域，陀螺仪提供稳定性和方向指导，以保持对飞机的精确控制。同样，iGyro 展示了我们团队在面对不断变化和混乱的信息环境时保持稳定性的努力。它也象征着团队的跨学科性质，拥有跨社会科学、计算机科学、工程和法律等学科的专业知识。”陈教授说。

iGyro 团队采用整体三层框架，将理解和塑造人类行为作为其研究的核心。他们框架的下一层是技术领域，旨在了解数字信息管道的不同阶段，从创建到传播到消费。最后，其框架的最外层研究了缓解策略的潜在影响以及用于部署这些策略的法规和政策的作用。

iGyro 团队发表一篇期刊文章数字政府：研究与实践解释 iGyro 团队如何应用三层框架来检查生成式人工智能创建的内容从创建到消费的生命周期。iGyro 团队非常重视人类行为，强调了脆弱性，并倡导采取适应性和基于证据的政策，以增强数字生态系统中的信息完整性和公众信任。

自 2023 年成立以来，iGyro 团队在开发打击虚假信息传播的工具方面也取得了令人鼓舞的进展。

SNIFFER：用于检测错误信息的多模式大语言模型

断章取义的错误信息，即真实图像与不代表图像的虚假文本配对，是传播虚假信息和误导受众的最简单、最有效的方法之一。然而，当前的技术对其判断缺乏令人信服的解释，这对于揭穿错误信息至关重要。

为了解决断章取义的错误信息，由来自新加坡国立大学计算机学院的 iGyro 首席研究员 Wynne Hsu 教授和 Lee Mong Li 教授领导的团队开发了 SNIFFER，这是一种新颖的多模态大语言模型 (MLLM)，旨在检测和识别解释图像和标题中断章取义的错误信息。

SNIFFER 使用专门的人工智能 (AI) 模型进行双管齐下的分析。第一步涉及内部检查图像和标题之间的一致性。第二步从外部来源获取信息，以检查图像上下文和所提供的标题之间的相关性。根据这两个步骤的结果，SNIFFER 将确定图像-标题对的真实性，以得出最终判断并解释该对是否具有误导性。

研究发现，SNIFFER 的性能比以前的 MLLM 模型高出 40%，并且与其他最先进的检测方法相比，它能够以更高的准确度执行错误信息检测任务。研究人员希望通过进一步改进，SNIFFER 可以公开提供，以帮助用户识别断章取义的信息。

QACheck：以问题为导向的事实检查工具

提供可靠的事实核查工具是打击虚假信息传播的一种方法。然而，通过在线资源进行事实核查涉及复杂且多步骤的推理过程。许多现有的事实核查系统在决策过程中也缺乏透明度，使得用户很难对其结论获得合理的解释。

为了解决这个问题，来自新加坡国立大学计算机学院的 iGyro 首席研究员 Kan Min-Yen 副教授及其研究团队与国际合作者合作开发了问题引导多跳事实检查 (QACheck) 系统，该系统指导通过提出验证主张所需的一系列关键问题来进行模型的推理。

QACheck 由五个核心模块组成：声明验证器、问题生成器、问答模块、QA 验证器和推理器。用户可以将声明输入 QACheck，QACheck 会评估其准确性并生成详细的报告，通过一系列问题和答案概述推理过程。该工具还引用了每个问题的证据来源，促进透明、可解释且用户友好的事实检查体验。

该团队的下一步是通过集成额外的知识库并结合多模型接口来支持不同的数据格式（例如图像、表格和图表），从而提高 QACheck 的广度和深度，从而扩大系统处理和分析这些格式的能力。

制定打击假新闻的全球立法

随着数字信息源变得复杂且快速发展，法规和政策必须适应并跟上这种动态格局。

由来自新加坡国立大学法学院的 iGyro 首席研究员 Simon Chesterman 教授领导的团队创​​建了全球立法工作格局的互动地图打击假新闻和错误信息，以说明从 1995 年到 2023 年全球范围内旨在解决 MDM 问题的法律是如何演变的。

值得注意的是，该团队发现这些法律最初是在公民自由较少的国家引入的，特别是在非洲和亚洲。最近，亚洲国家为此类立法的兴起做出了重大贡献，通常赋予政府更大的权力。研究小组还发现，这些法律的扩张速度在西方国家最为迅速，包括美国、加拿大和欧盟。

通过这张互动地图，iGyro团队希望能够更深入地分析管理数字信息的法律类型，以及不同国家为打击假新闻而采取的不同方法的有效性。从他们的研究中获得的宝贵见解将有助于制定所有国家的未来政策。

“我们希望通过开发 SNIFFER 和 QACheck 等创新工具，并分析针对假新闻和错误信息的全球立法格局来制定未来政策，我们可以创建一个可靠的数字信息生态系统，并使用户能够拥有一个值得信赖的互联网来访问信息”，陈教授说。

更多信息：Kokil Jaidka 等人，错误信息、虚假信息和生成人工智能：对感知和政策的影响，数字政府：研究与实践（2024）。DOI：10.1145/3689372