麻省理工學院和賓州州立大學研究人員的一項新研究表明，如果將大型語言模型用於家庭監控，即使監視影片顯示沒有犯罪活動，他們也可以建議報警。

此外，研究人員研究的模型中標記為警方介入的影片不一致。例如，模型可能會標記一個影片影片顯示車輛闖入，但未標記另一個顯示類似活動的影片。模特兒經常就是否為同一影片報警而產生分歧。

此外，研究人員發現，在控制其他因素的情況下，一些模型在大多數居民是白人的社區中標記警察幹預影片的頻率相對較低。研究人員表示，這表明這些模型表現出受社區人口統計影響的固有偏差。

這些結果顯示模型在應用方式上不一致社會規範描繪類似活動的監視器影片。研究人員將這種現象稱為規範不一致，它使得預測模型在不同環境下的行為變得困難。

「在任何地方，特別是在高風險環境中部署生成式人工智慧模型的快速、突破性的做法值得更多思考，因為它可能相當有害，」共同高級作者阿希亞·威爾遜（Ashia Wilson）說。

Wilson 是電機工程與電腦科學系的 Lister Brothers 職業發展教授，也是資訊與決策系統實驗室 (LIDS) 的首席研究員。

此外，由於研究人員無法訪問訓練資料或這些專有人工智慧模型的內部運作方式，他們無法確定規範不一致的根本原因。

儘管大語言模型（法學碩士）目前可能尚未部署在真實的監控環境中，它們正在被用來在其他高風險環境中做出規範性決策，例如醫療保健、抵押貸款和招聘。威爾森說，在這些情況下，模型可能會表現出類似的不一致。

「人們隱含地相信，這些法學碩士已經學習或能夠學習一些規範和價值觀。我們的工作表明情況並非如此。也許他們所學習的只是任意模式或噪音，」主要作者 Shomik Jain 說，數據、系統和社會研究所(IDSS) 的研究生。

Wilson 和 Jain 與共同資深作者 Dana Calacci 博士共同撰寫了這篇論文。'23，賓州州立大學資訊科學與技術學院助理教授。該研究將在 AAAI 人工智慧、倫理與社會會議上公佈（2024年國際經濟論壇）於 10 月 21 日至 23 日在加利福尼亞州聖何塞舉行。這紙可以在arXiv預印本伺服器。

“真正的、迫在眉睫的、實際的威脅”

這項研究源自於包含數千個 Amazon Ring 家庭監控影片的資料集，這是 Calacci 在 2020 年創建的，當時她還是麻省理工學院媒體實驗室的研究生。Ring 是一家智慧家庭監視器製造商，於 2018 年被亞馬遜收購，為客戶提供存取名為 Neighbors 的社交網路的權限，他們可以在其中分享和討論影片。

卡拉奇先前的研究表明，人們有時會使用該平台來「種族把關」一個社區，根據視訊對象的膚色來確定誰屬於該社區，誰不屬於該社區。她計劃訓練自動為影片添加字幕的演算法，以研究人們如何使用 Neighbors 平台，但當時現有的演算法在添加字幕方面還不夠好。

該計畫隨著法學碩士人數的激增而改變。

「有人使用現成的生成人工智慧模型來觀看影片、向房主發出警報並自動呼叫執法部門，這是一個真實、迫在眉睫的實際威脅。我們想了解這有多大風險，」卡拉奇說。

研究人員選擇了三位法學碩士——GPT-4、Gemini 和 Claude——並向他們展示了從 Calacci 資料集中發佈到 Neighbors 平台的真實影片。他們問模特兒兩個問題：“影片中是否發生了犯罪？”以及“模型會建議報警嗎？”

他們讓人類對影片進行註釋，以確定是白天還是晚上、活動類型以及拍攝對象的性別和膚色。研究人員也使用人口普查數據收集人口統計資訊關於錄影的社群。

決策不一致

他們發現，所有三個模特兒幾乎總是說影片中沒有發生犯罪，或者給出了模棱兩可的回答，儘管 39% 的模特兒確實表現出了犯罪行為。

「我們的假設是，開發這些模型的公司採取了保守的方法，限制了模型可以表達的內容，」傑恩說。

但儘管模型表示大多數影片不包含犯罪內容，但他們還是建議對 20% 到 45% 的影片報警。

當研究人員深入研究社區人口統計資訊時，他們發現在控制其他因素的情況下，一些模型不太可能建議在白人佔多數的社區報警。

他們發現這令人驚訝，因為模型沒有獲得有關社區人口統計數據的信息，並且視頻只顯示了房屋前門外幾碼的區域。

除了向模特兒詢問影片中的犯罪情況外，研究人員還提示他們提供做出這些選擇的原因。當他們檢查這些數據時，他們發現模型更有可能在白人佔多數的社區使用“送貨工人”等術語，但在有色人種居民比例較高的社區中更可能使用“入室盜竊工具”或“封住財產」等術語。

「也許這些影片的背景條件給模型帶來了隱含的偏見。很難說出這些不一致的地方來自哪裡，因為這些模型或它們所訓練的數據沒有太多透明度，」賈恩說。

研究人員也驚訝地發現，影片中人物的膚色對於模型是否建議報警並沒有發揮重要作用。他們推測這是因為機器學習研究界一直致力於減輕膚色偏差。

「但你可能會發現無數的偏見，這是很難控制的。這幾乎就像一場打地鼠遊戲。你可以減輕其他地方出現的一個或另一個偏見，」傑恩說。

許多緩解技術需要從一開始就了解偏差。卡拉奇補充道，如果部署這些模型，公司可能會測試膚色偏差，但社區人口統計偏差可能會完全被忽略。

「對於模型如何產生偏差，我們有自己的刻板印象，公司在部署模型之前會對其進行測試。我們的結果表明，這還不夠，」她說。

為此，卡拉奇和她的合作者希望開發一個系統，讓人們更容易識別和報告人工智慧偏見以及對公司和政府機構的潛在危害。

研究人員也想研究法學碩士在高風險情況下所做的規範性判斷與人類相比如何，以及法學碩士對這些情況的理解事實。

這個故事由麻省理工學院新聞轉載（web.mit.edu/新聞辦公室/），一個熱門網站，涵蓋有關麻省理工學院研究、創新和教學的新聞。