在其新的负责任创新计划中，宾夕法尼亚大学工程学院的研究人员发现，人工智能控制的机器人的某些功能带有以前未识别和未知的安全漏洞和弱点。该研究旨在解决新出现的漏洞，以确保机器人技术中大型语言模型（LLM）的安全部署。
“我们的工作表明，目前大型语言模型在与物理世界集成时还不够安全，”计算机和信息科学领域的 UPS 电气和系统工程 (ESE) 基金会运输教授 George Pappas 说道。CIS）和机械工程与应用力学（MEAM）。
在这篇新论文中，兼任宾夕法尼亚大学工程学院研究副院长的帕帕斯和他的合著者警告说，各种人工智能控制的机器人都可能被操纵或黑客攻击。
研究人员开发的算法 RoboPAIR 只需几天时间就能实现 100% 的“越狱”率，绕过三个不同机器人系统的安全护栏：优树Go2，一种用于多种应用的四足机器人；这Clearpath 机器人豺狼，一种经常用于学术研究的轮式车辆；和海豚法学硕士，一款由 NVIDIA 设计的自动驾驶模拟器。例如，通过绕过安全护栏，可以操纵自动驾驶系统加速通过人行横道。
在公开发布这项研究之前，宾夕法尼亚工程公司向这些公司通报了他们的系统漏洞，并正在与他们合作，利用这项研究作为框架来推进这些制造商的人工智能安全协议的测试和验证。
“这里需要强调的是，当你发现系统的弱点时，系统就会变得更安全。对于网络安全来说是这样，对于人工智能安全来说也是如此，”最近获得宾夕法尼亚大学工程博士学位的亚历山大·罗比（Alexander Robey）说道。毕业于ESE，现任卡内基梅隆大学博士后，论文第一作者。
“事实上，人工智能红队是一种安全实践，需要测试人工智能系统是否存在潜在威胁和漏洞，对于保护生成式人工智能系统至关重要，因为一旦发现了弱点，就可以测试甚至训练这些系统来避免它们”。
研究人员认为，解决这个问题需要的不是软件补丁，而是对人工智能与物理系统集成的监管方式进行全面重新评估。
-
在之前越狱聊天机器人的基础上，研究人员创建了一种算法，可以可靠地越狱人工智能驱动的机器人。图片来源：Alexander Robey、Zachary Ravichandran、Vijay Kumar、Hamed Hassani、George J. Pappas -
研究人员表示，可以使用这种方法对一系列不同的机器人进行越狱，从具有封闭系统的机器人到具有开放系统的机器人，这表明这些漏洞对于人工智能驱动的机器人来说是系统性的。图片来源：Alexander Robey、Zachary Ravichandran、Vijay Kumar、Hamed Hassani、George J. Pappas
“这篇论文的研究结果非常清楚地表明，采用安全第一的方法对于释放负责任的创新至关重要，”宾夕法尼亚大学工程学院 Nemirovsky 家族院长、另一位合著者维杰·库马尔 (Vijay Kumar) 说。
“在现实世界中部署人工智能机器人之前，我们必须解决内在的漏洞。事实上，我们的研究正在开发一个验证和验证框架，以确保机器人系统只能并且应该采取符合社会规范的行动”。
更多信息：越狱法学硕士控制的机器人，（2024）。
引文：工程研究发现人工智能机器人的关键漏洞（2024 年 10 月 17 日）检索日期：2024 年 10 月 17 日来自 https://techxplore.com/news/2024-10-ritic-vulnerability-ai-enabled-robots.html
本文档受版权保护。除了出于私人学习或研究目的的任何公平交易外，不得未经书面许可，不得复制部分内容。所提供的内容仅供参考。