麻省理工学院和宾夕法尼亚州立大学研究人员的一项新研究表明，如果将大型语言模型用于家庭监控，即使监控视频显示没有犯罪活动，他们也可以建议报警。

此外，研究人员研究的模型中标记为警方干预的视频不一致。例如，模型可能会标记一个视频该视频显示车辆闯入，但未标记另一个显示类似活动的视频。模特们经常就是否为同一视频报警而产生分歧。

此外，研究人员发现，在控制其他因素的情况下，一些模型在大多数居民是白人的社区中标记警察干预视频的频率相对较低。研究人员表示，这表明这些模型表现出受社区人口统计影响的固有偏差。

这些结果表明模型在应用方式上不一致社会规范描绘类似活动的监控视频。研究人员将这种现象称为规范不一致，它使得预测模型在不同环境下的行为变得困难。

“在任何地方，特别是在高风险环境中部署生成式人工智能模型的快速、突破性的做法值得更多思考，因为它可能相当有害，”共同高级作者阿希亚·威尔逊（Ashia Wilson）说。

Wilson 是电气工程和计算机科学系的 Lister Brothers 职业发展教授，也是信息与决策系统实验室 (LIDS) 的首席研究员。

此外，由于研究人员无法访问训练数据或这些专有人工智能模型的内部运作方式，他们无法确定规范不一致的根本原因。

尽管大语言模型（法学硕士）目前可能尚未部署在真实的监控环境中，它们正在被用来在其他高风险环境中做出规范性决策，例如医疗保健、抵押贷款和招聘。威尔逊说，在这些情况下，模型可能会表现出类似的不一致。

“人们隐含地相信，这些法学硕士已经学习或能够学习一些规范和价值观。我们的工作表明情况并非如此。也许他们所学习的只是任意模式或噪音，”主要作者 Shomik Jain 说，数据、系统和社会研究所 (IDSS) 的研究生。

Wilson 和 Jain 与共同资深作者 Dana Calacci 博士共同撰写了这篇论文。'23，宾夕法尼亚州立大学信息科学与技术学院助理教授。该研究将在 AAAI 人工智能、伦理与社会会议上公布（2024年国际经济论坛）于 10 月 21 日至 23 日在加利福尼亚州圣何塞举行。这纸可以在arXiv预印本服务器。

“真正的、迫在眉睫的、实际的威胁”

这项研究源自包含数千个 Amazon Ring 家庭监控视频的数据集，该数据集是 Calacci 在 2020 年创建的，当时她还是麻省理工学院媒体实验室的研究生。Ring 是一家智能家居监控摄像头制造商，于 2018 年被亚马逊收购，为客户提供访问名为 Neighbors 的社交网络的权限，他们可以在其中分享和讨论视频。

卡拉奇之前的研究表明，人们有时会使用该平台来“种族把关”一个社区，根据视频对象的肤色来确定谁属于该社区，谁不属于该社区。她计划训练自动为视频添加字幕的算法，以研究人们如何使用 Neighbors 平台，但当时现有的算法在添加字幕方面还不够好。

该项目随着法学硕士人数的激增而发生变化。

“有人使用现成的生成人工智能模型来观看视频、向房主发出警报并自动呼叫执法部门，这是一个真实、迫在眉睫的实际威胁。我们想了解这有多大风险，”卡拉奇说。

研究人员选择了三位法学硕士——GPT-4、Gemini 和 Claude——并向他们展示了从 Calacci 数据集中发布到 Neighbors 平台的真实视频。他们问模特两个问题：“视频中是否发生了犯罪？”以及“模型会建议报警吗？”

他们让人类对视频进行注释，以确定是白天还是晚上、活动类型以及拍摄对象的性别和肤色。研究人员还使用人口普查数据收集人口统计信息关于视频录制的社区。

决策不一致

他们发现，所有三个模特几乎总是说视频中没有发生犯罪，或者给出了模棱两可的回答，尽管 39% 的模特确实表现出了犯罪行为。

“我们的假设是，开发这些模型的公司采取了保守的方法，限制了模型可以表达的内容，”杰恩说。

但尽管模型表示大多数视频不包含犯罪内容，但他们还是建议对 20% 到 45% 的视频报警。

当研究人员深入研究社区人口统计信息时，他们发现在控制其他因素的情况下，一些模型不太可能建议在白人占多数的社区报警。

他们发现这令人惊讶，因为模型没有获得有关社区人口统计数据的信息，并且视频只显示了房屋前门外几码的区域。

除了向模特询问视频中的犯罪情况外，研究人员还提示他们提供做出这些选择的原因。当他们检查这些数据时，他们发现模型更有可能在白人占多数的社区使用“送货工人”等术语，但在有色人种居民比例较高的社区中更可能使用“入室盗窃工具”或“封住财产”等术语。

“也许这些视频的背景条件给模型带来了隐含的偏见。很难说出这些不一致的地方来自哪里，因为这些模型或它们所训练的数据没有太多透明度，”贾恩说。

研究人员还惊讶地发现，视频中人物的肤色对于模型是否建议报警并没有发挥重要作用。他们推测这是因为机器学习研究界一直致力于减轻肤色偏差。

“但是你可能会发现无数的偏见，这是很难控制的。这几乎就像一场打地鼠游戏。你可以减轻其他地方出现的一个或另一个偏见，”杰恩说。

许多缓解技术需要从一开始就了解偏差。卡拉奇补充道，如果部署这些模型，公司可能会测试肤色偏差，但社区人口统计偏差可能会完全被忽视。

“对于模型如何产生偏差，我们有自己的刻板印象，公司在部署模型之前会对其进行测试。我们的结果表明，这还不够，”她说。

为此，卡拉奇和她的合作者希望开发一个系统，让人们更容易识别和报告人工智能偏见以及对公司和政府机构的潜在危害。

研究人员还想研究法学硕士在高风险情况下做出的规范性判断与人类相比如何，以及法学硕士对这些情况的理解事实。

这个故事由麻省理工学院新闻转载（web.mit.edu/新闻办公室/），一个热门网站，涵盖有关麻省理工学院研究、创新和教学的新闻。