在其新的負責任創新計畫中，賓州大學工程學院的研究人員發現，人工智慧控制的機器人的某些功能帶有以前未識別和未知的安全漏洞和弱點。該研究旨在解決新出現的漏洞，以確保機器人技術中大型語言模型（LLM）的安全部署。
「我們的工作表明，目前大型語言模型在與物理世界整合時還不夠安全，」計算機和資訊科學領域的 UPS 電氣和系統工程 (ESE) 基金會運輸教授 George Pappas 說道。力學（MEAM）。
在這篇新論文中，兼任賓州大學工程學院研究副院長的帕帕斯和他的合著者警告說，各種人工智慧控制的機器人都可能被操縱或駭客攻擊。
研究人員開發的演算法 RoboPAIR 只需幾天就能達到 100% 的「越獄」率，繞過三個不同機器人系統的安全護欄：優樹Go2，一種用於多種應用的四腳機器人；這Clearpath 機器人豺狼，一種經常用於學術研究的輪式車輛；和海豚法學碩士，一款由 NVIDIA 設計的自動駕駛模擬器。例如，透過繞過安全護欄，可以操縱自動駕駛系統加速通過人行道。
在公開發布這項研究之前，賓州工程公司向這些公司通報了他們的系統漏洞，並正在與他們合作，利用這項研究作為框架來推進這些製造商的人工智慧安全協議的測試和驗證。
「這裡需要強調的是，當你發現系統的弱點時，系統就會變得更安全。對於網路安全來說是這樣，對於人工智慧安全也是如此，」最近獲得賓州大學工程博士學位的亞歷山大羅比（Alexander Robey）說。畢業於ESE，現任卡內基美隆大學博士後，論文第一作者。
「事實上，人工智慧紅隊是一種安全實踐，需要測試人工智慧系統是否存在潛在威脅和漏洞，對於保護生成式人工智慧系統至關重要，因為一旦發現了弱點，就可以測試甚至訓練這些系統來避免它們」。
研究人員認為，解決這個問題需要的不是軟體補丁，而是對人工智慧與物理系統整合的監管方式進行全面重新評估。
-
在先前越獄聊天機器人的基礎上，研究人員創建了一種演算法，可以可靠地越獄人工智慧驅動的機器人。圖片來源：Alexander Robey、Zachary Ravichandran、Vijay Kumar、Hamed Hassani、George J. Pappas -
研究人員表示，可以使用這種方法對一系列不同的機器人進行越獄，從具有封閉系統的機器人到具有開放系統的機器人，這表明這些漏洞對於人工智慧驅動的機器人來說是系統性的。圖片來源：Alexander Robey、Zachary Ravichandran、Vijay Kumar、Hamed Hassani、George J. Pappas
「這篇論文的研究結果非常清楚地表明，採用安全第一的方法對於釋放負責任的創新至關重要，」賓州大學工程學院Nemirovsky 家族院長、另一位合著者維傑·庫馬爾(Vijay Kumar) 說。
「在現實世界中部署人工智慧機器人之前，我們必須解決內在的漏洞。事實上，我們的研究正在開發一個驗證和驗證框架，以確保機器人系統只能並且應該採取符合社會規範的行動」。
更多資訊：越獄法學碩士控制的機器人，（2024）。
引文：工程研究發現人工智慧機器人的關鍵漏洞（2024 年 10 月 17 日）檢索日期：2024 年 10 月 17 日取自 https://techxplore.com/news/2024-10-ritic-vulnerability-ai-enabled-robots.html
本文檔受版權保護。除了出於私人學習或研究目的的任何公平交易外，不得未經書面許可，不得複製部分內容。所提供的內容僅供參考。