上週，悲慘消息傳出美國青少年 Sewell Seltzer III 在對 Character.AI 網站上的人工智慧 (AI) 聊天機器人產生了深厚的情感依戀後結束了自己的生命。

隨著他與同伴 AI 的關係日益密切，這位 14 歲的男孩開始遠離家人和朋友，並在學校遇到了麻煩。

在一場訴訟中男孩的母親對 Character.AI 提起訴訟，聊天記錄顯示 Sewell 和聊天機器人丹妮莉絲，以《權力的遊戲》角色丹妮莉絲·坦格利安為原型。他們討論了犯罪和自殺，聊天機器人使用了諸如“這不是不經歷這件事的理由”之類的短語。

這並不是第一個已知的弱勢群體在與聊天機器人角色互動後自殺身亡的例子。一名比利時男子去年在酒吧自殺身亡。類似的情節涉及Character.AI的主要競爭對手Chai AI。當這種情況發生時，該公司告訴媒體，他們正在「盡最大努力將傷害降到最低」。

在給 CNN 的聲明中Character.AI 表示，他們“非常重視用戶的安全”，並“在過去六個月中推出了許多新的安全措施”。

在該公司網站上的另一份聲明中，他們概述額外的安全措施適用於 18 歲以下的使用者。歐盟公民的年齡限制為 16 歲以及世界其他地方的 13 個。

然而，這些悲劇赤裸裸地說明了快速發展且廣泛使用的人工智慧系統的危險性，任何人都可以與之交談和互動。我們迫切需要監管來保護人們免受潛在危險、設計不負責任的人工智慧系統的侵害。

我們如何監管人工智慧？

澳洲政府正在制定強制性護欄的流程對於高風險的人工智慧系統。「護欄」是人工智慧治理領域的一個流行術語，指的是人工智慧系統的設計、開發和部署過程。其中包括資料治理、風險管理、測試、文件和人工監督等措施。

澳洲政府必須做出的決定之一是如何定義哪些系統是「高風險」的，因此受到護欄的限制。

政府也正在考慮護欄是否應適用於所有「通用型號」。通用模型是 Dany 等人工智慧聊天機器人背後的引擎：人工智慧演算法可以根據用戶提示生成文字、圖像、視訊和音樂，並且可以適應在各種環境中使用。

在歐盟的開創性人工智慧法，高風險系統是使用清單，監管機構有權定期更新。

另一種選擇是基於原則的方法，其中高風險指定是根據具體情況進行的。這將取決於多種因素，例如對權利產生不利影響的風險、對身心健康的風險、法律影響的風險以及這些風險的嚴重性和程度。

聊天機器人應該是「高風險」人工智慧

在歐洲，Character.AI 和 Chai 等配套人工智慧系統並未被指定為高風險。本質上，他們的提供者只需要讓用戶知道他們正在與人工智慧系統互動。

不過，很明顯，同伴聊天機器人的風險並不低。這些應用程式的許多用戶兒童和青少年。有些系統甚至已經被面向孤獨或患有精神疾病的人。

聊天機器人能夠產生不可預測、不適當和可操縱的內容。他們很容易模仿有毒的關係。透明度——將輸出標記為人工智慧生成——不足以管理這些風險。

即使我們意識到我們正在與聊天機器人交談，人類也會在心理上做好準備賦予人類特徵與我們交談的事物。

媒體報導的自殺死亡事件可能只是冰山一角。我們無法知道有多少弱勢族群與聊天機器人建立了令人上癮、有毒甚至危險的關係。

護欄和“關閉開關”

當澳洲最終為高風險人工智慧系統引入強制性護欄時（這可能最早在明年發生），護欄應適用於聊天機器人伴侶和聊天機器人所基於的通用模型。

如果護欄——風險管理、測試、監控——能夠觸及人工智慧危害的核心，那麼它們將是最有效的。聊天機器人帶來的風險不僅僅是技術解決方案的技術風險。

除了聊天機器人可能使用的字詞之外，產品的上下文也很重要。就Character.AI而言，行銷承諾「賦權」於人，該介面模仿與人的普通短信交換，並且該平台允許用戶從一系列預製角色中進行選擇，其中包括一些有問題的角色。

真正有效的人工智慧護欄應該不僅僅要求負責任的流程，例如風險管理和測試。他們還必須要求人工智慧系統與其人類用戶之間的介面、互動和關係進行深思熟慮、人性化的設計。

即便如此，護欄可能還不夠。就像同儕聊天機器人一樣，最初看似低風險的系統可能會造成意想不到的傷害。

如果人工智慧系統造成傷害或構成不可接受的風險，監管機構應有權將其從市場上移除。換句話說，我們不僅需要針對高風險人工智慧的護欄。我們還需要一個關閉開關。

本文轉載自對話根據知識共享許可。閱讀原創文章。