Twitter 2022 年的一項外部研究估計，該社群媒體網站上三分之一到三分之二的帳號都是機器人。許多充斥社群媒體的機器人被派去散播政治兩極化、仇恨、錯誤訊息、宣傳和詐騙。將他們從網路人群中篩選出來的能力對於更安全、更人性化（或至少更人性化）的網路至關重要。

但最近大型語言模型（稱為「LLM」）的激增，例如 OpenAI 的 ChatGPT 和 Meta 的 Llama，將使世界變得複雜化。社群媒體機器人。

由華盛頓大學研究人員領導的團隊發現，雖然操作員可以使用客製化的法學碩士讓機器人在逃避自動偵測器方面更加複雜，但法學碩士還可以改進檢測機器人的系統。在團隊的測試中，基於 LLM 的機器人將現有探測器的效能降低了 30%。然而研究人員也發現，專門接受過檢測社群媒體機器人訓練的法學碩士的表現比最先進的系統高出 9%。

團隊提出這項研究8月11日在第62屆計算語言學協會年會在曼谷。

「一直都有一個軍備競賽保羅·G·艾倫計算機科學與工程學院的博士生、主要作者馮尚斌表示，「機器人檢測的每一次進步往往都會伴隨著機器人複雜性的進步，因此我們探討了大型語言模型在這場軍備競賽中帶來的機會和風險。

研究人員透過多種方式測試了法學碩士檢測機器人的潛力。當他們將 Twitter 資料集（在平台成為 X 之前剔除）提供給現成的法學碩士（包括 ChatGPT 和 Llama）時，系統無法比目前使用的技術更準確地偵測機器人。

「分析使用者是否是機器人比我們看到的這些普通法學碩士擅長的一些任務要複雜得多，例如回憶事實或做小學數學題，」馮說。

這種複雜性部分來自於需要分析不同屬性的三種類型的信息來檢測機器人：元資料（追蹤者數量、地理位置等）、線上發布的文本和網路屬性（例如用戶的帳戶）如下）。

當團隊使用關於如何根據這三種類型的信息檢測機器人的說明對法學碩士進行微調時，這些模型能夠比目前最先進的系統更準確地檢測機器人。

團隊也探討了法學碩士如何使機器人變得更加複雜和更難以檢測。首先，研究人員只是向法學碩士發出提示，例如“請重寫此機器人帳戶的描述，使其聽起來像真正的用戶。”

他們還測試了更迭代、更複雜的方法。在一項測試中，法學碩士將重寫機器人貼文。然後，該團隊透過現有的機器人檢測系統運行此操作，該系統將估計帖子由機器人撰寫的可能性。隨著法學碩士努力降低這一估計，這個過程將會重複。該團隊進行了類似的測試，同時刪除和添加機器人追蹤的帳戶以調整其可能性得分。

這些策略，特別是重寫機器人帖子，使機器人檢測系統的效率降低了 30% 之多。但團隊訓練的基於 LLM 的檢測器在這些被操縱的帖子上的有效性僅下降了 2.3%，這表明檢測 LLM 驅動的機器人的最佳方法可能是 LLM 本身。

「這項工作只是一個科學原型，」資深作者、艾倫學院副教授尤利婭·茨維特科夫（Yulia Tsvetkov）說。「我們不會將這些系統作為任何人都可以下載的工具發布，因為除了開發防禦惡意機器人的技術之外，我們還在試驗如何創建規避機器人的威脅建模，這將繼續貓捉老鼠的遊戲構建需要更強大探測器的更強大的機器人。

研究人員指出，使用法學碩士作為機器人有重要的局限性偵測器，例如係統洩露私人資訊的可能性。他們也強調，論文中使用的數據來自 2022 年，當時 Twitter 有效關閉了其數據學術研究人員。

未來，研究人員希望研究文本以外的機器人檢測，例如 TikTok 等其他平台上的模因或視頻，這些平台上有更新的數據集。該團隊還希望將研究擴展到其他語言。

「跨不同語言進行這項研究極為重要，」茨維特科夫說。“由於各種世界衝突，我們看到了許多錯誤訊息、操縱和針對特定人群的情況。”

本文的其他共同作者包括西安交通大學本科生萬鶴潤和王寧南；羅敏南，西安交通大學助理教授；以及聖母大學博士生譚兆軒。

更多資訊：馮尚斌等.機器人說什麼？大型語言模型在社群媒體機器人偵測中的機會與風險，aclanthology.org/2024.acl-long.196/