新しいレスポンシブル イノベーション イニシアチブの中で、ペン エンジニアリングの研究者らは、AI によって制御されるロボットの特定の機能に、これまで特定されず知られていなかったセキュリティ上の脆弱性や弱点があることを発見しました。この研究は、ロボット工学における大規模言語モデル (LLM) の安全な展開を確保するために新たに発生した脆弱性に対処することを目的としています。

「私たちの研究は、現時点では、大規模な言語モデルが物理世界と統合された場合には十分に安全ではないことを示しています」と、コンピュータと情報科学の UPS 財団電気システム工学 (ESE) 輸送学教授のジョージ パパス氏は述べています (CIS)、機械工学および応用力学 (MEAM)。

ペン・エンジニアリング社の研究副学部長も務めるパパス氏とその共著者らは、新しい論文の中で、AI制御のさまざまなロボットが操作されたり、ハッキングされたりする可能性があると警告している。

研究者らが開発したアルゴリズムである RoboPAIR は、3 つの異なるロボット システムの安全ガードレールを迂回し、100% の「脱獄」率を達成するのにわずか数日しかかかりませんでした。ユニツリーGo2、さまざまな用途に使用される四足ロボット。のクリアパス・ロボティクス・ジャッカル、学術研究によく使用される車輪付き車両。そしてドルフィンLLM、NVIDIA によって設計された自動運転シミュレーター。たとえば、安全ガードレールを迂回することで、自動運転システムを操作して横断歩道をスピードを出して通過できる可能性がある。

研究結果を公表する前に、ペン・エンジニアリングは企業にシステムの脆弱性について通知し、この研究結果をフレームワークとして使用してメーカーのAI安全プロトコルのテストと検証を進めるために協力している。

「ここで強調すべき重要なことは、システムの弱点が見つかると、システムはより安全になるということです。これはサイバーセキュリティにも当てはまります。これは AI の安全性にも当てはまります」と、最近ペンシルバニア州で工学博士号を取得したアレクサンダー・ロビー氏は述べています。ESEの卒業生、現在カーネギーメロン大学の博士研究員、そしてこの論文の筆頭著者。

「実際、潜在的な脅威や脆弱性について AI システムをテストする安全実践である AI レッド チーミングは、生成型 AI システムを保護するために不可欠です。なぜなら、一度弱点を特定すれば、それらのシステムをテストして、それらを回避するようにトレーニングすることもできるからです。。」

研究者らは、この問題に対処するために必要なのは、ソフトウェアのパッチではなく、物理システムへの AI の統合がどのように規制されているかを徹底的に再評価することだと主張している。

• 

• 

「この論文の調査結果は、責任あるイノベーションを実現するには安全第一のアプローチが重要であることを十分に明らかにしています」と、ペンエンジニアリングのネミロフスキーファミリー学部長でもう一人の共著者であるビジェイ・クマール氏は言う。

「AI 対応ロボットを現実世界に展開する前に、本質的な脆弱性に対処する必要があります。実際、私たちの研究では、社会規範に準拠した行動のみがロボット システムによって実行可能であり、実行されるべきであることを保証する検証と検証のフレームワークを開発しています。。」

詳細情報:LLM 制御ロボットの脱獄 (2024)。