Twitter 2022 年的一项外部研究估计，该社交媒体网站上三分之一到三分之二的账户都是机器人。许多充斥社交媒体的机器人被派去散布政治两极分化、仇恨、错误信息、宣传和诈骗。将他们从网络人群中筛选出来的能力对于更安全、更人性化（或至少更人性化）的互联网至关重要。

但最近大型语言模型（称为“LLM”）的激增，例如 OpenAI 的 ChatGPT 和 Meta 的 Llama，将使世界变得复杂化。社交媒体机器人。

由华盛顿大学研究人员领导的团队发现，虽然操作员可以使用定制的法学硕士让机器人在逃避自动检测器方面更加复杂，但法学硕士还可以改进检测机器人的系统。在团队的测试中，基于 LLM 的机器人将现有探测器的性能降低了 30%。然而研究人员还发现，专门接受过检测社交媒体机器人训练的法学硕士的表现比最先进的系统高出 9%。

团队提出这项研究8月11日在第62届计算语言学协会年会在曼谷。

“一直有一个军备竞赛保罗·G·艾伦计算机科学与工程学院的博士生、主要作者冯尚斌表示，“机器人检测的每一次进步往往都会伴随着机器人复杂性的进步，因此我们探讨了大型语言模型在这场军备竞赛中带来的机遇和风险。”

研究人员通过多种方式测试了法学硕士检测机器人的潜力。当他们将 Twitter 数据集（在平台成为 X 之前剔除）提供给现成的法学硕士（包括 ChatGPT 和 Llama）时，系统无法比当前使用的技术更准确地检测机器人。

“分析用户是否是机器人比我们看到的这些普通法学硕士擅长的一些任务要复杂得多，比如回忆事实或做小学数学题，”冯说。

这种复杂性部分来自于需要分析不同属性的三种类型的信息来检测机器人：元数据（关注者数量、地理位置等）、在线发布的文本和网络属性（例如用户的帐户）如下）。

当团队使用关于如何根据这三种类型的信息检测机器人的说明对法学硕士进行微调时，这些模型能够比当前最先进的系统更准确地检测机器人。

该团队还探讨了法学硕士如何使机器人变得更加复杂和更难以检测。首先，研究人员只是向法学硕士发出提示，例如“请重写此机器人帐户的描述，使其听起来像真正的用户。”

他们还测试了更迭代、更复杂的方法。在一项测试中，法学硕士将重写机器人帖子。然后，该团队通过现有的机器人检测系统运行此操作，该系统将估计帖子由机器人撰写的可能性。随着法学硕士努力降低这一估计，这个过程将会重复。该团队进行了类似的测试，同时删除和添加机器人跟踪的帐户以调整其可能性得分。

这些策略，特别是重写机器人帖子，使机器人检测系统的效率降低了 30% 之多。但团队训练的基于 LLM 的检测器在这些被操纵的帖子上的有效性仅下降了 2.3%，这表明检测 LLM 驱动的机器人的最佳方法可能是 LLM 本身。

“这项工作只是一个科学原型，”资深作者、艾伦学院副教授尤利娅·茨维特科夫（Yulia Tsvetkov）说。“我们不会将这些系统作为任何人都可以下载的工具发布，因为除了开发防御恶意机器人的技术之外，我们还在试验如何创建规避机器人的威胁建模，这将继续猫捉老鼠的游戏构建需要更强大探测器的更强大的机器人。”

研究人员指出，使用法学硕士作为机器人有重要的局限性探测器，例如系统泄露私人信息的可能性。他们还强调，论文中使用的数据来自 2022 年，当时 Twitter 有效关闭了其数据学术研究人员。

未来，研究人员希望研究文本以外的机器人检测，例如 TikTok 等其他平台上的模因或视频，这些平台上有更新的数据集。该团队还希望将研究扩展到其他语言。

“跨不同语言进行这项研究极其重要，”茨维特科夫说。“由于各种世界冲突，我们看到了许多错误信息、操纵和针对特定人群的情况。”

本文的其他共同作者包括西安交通大学本科生万鹤润和王宁南；罗敏南，西安交通大学助理教授；以及圣母大学博士生谭兆轩。

更多信息：冯尚斌等.机器人说什么？大型语言模型在社交媒体机器人检测中的机遇和风险，aclanthology.org/2024.acl-long.196/