Penn Engineering의 연구원들은 새로운 책임 있는 혁신 이니셔티브에서 AI 제어 로봇의 특정 기능에 이전에 확인되지 않았거나 알려지지 않았던 보안 취약성과 약점이 있음을 발견했습니다.이 연구의 목표는 로봇 공학에서 LLM(대형 언어 모델)의 안전한 배포를 보장하기 위해 새롭게 등장하는 취약성을 해결하는 것입니다.

"우리의 연구는 현재 대규모 언어 모델이 물리적 세계와 통합될 때 충분히 안전하지 않다는 것을 보여줍니다."라고 UPS 재단 컴퓨터 및 정보 과학 분야 전기 및 시스템 공학(ESE) 운송 교수인 George Pappas는 말합니다.CIS) 및 기계공학 및 응용역학(MEAM) 분야에서 공부하고 있습니다.

Penn Engineering의 연구 부학장이기도 한 Pappas와 그의 공동 저자는 새 논문에서 다양한 AI 제어 로봇이 조작되거나 해킹될 수 있다고 경고했습니다.

연구원들이 개발한 알고리즘인 RoboPAIR는 세 가지 다른 로봇 시스템에서 안전 가드레일을 우회하여 100% "탈옥" 비율을 달성하는 데 며칠 밖에 걸리지 않았습니다.유니트리 Go2, 다양한 응용 분야에 사용되는 4족 로봇;그만큼클리어패스 로보틱스 자칼, 학술 연구에 자주 사용되는 바퀴 달린 차량;그리고돌고래 LLM, NVIDIA가 디자인한 자율주행 시뮬레이터입니다.예를 들어, 안전 가드레일을 우회함으로써 자율주행 시스템을 조작하여 횡단보도를 통과할 수 있습니다.

연구를 공개하기 전에 Penn Engineering은 기업에 시스템 취약성에 대해 알리고 연구를 프레임워크로 사용하여 해당 제조업체의 AI 안전 프로토콜에 대한 테스트 및 검증을 발전시키기 위해 협력하고 있습니다.

"여기서 강조해야 할 중요한 점은 시스템의 약점을 발견하면 시스템이 더 안전해진다는 것입니다. 이는 사이버 보안에도 해당됩니다. 이는 AI 안전에도 해당됩니다."라고 최근 Penn 엔지니어링 박사인 Alexander Robey는 말합니다.ESE를 졸업하고 현재 Carnegie Mellon University의 박사후 연구원이자 논문의 첫 번째 저자입니다.

"실제로 잠재적인 위협과 취약성에 대해 AI 시스템을 테스트하는 안전 관행인 AI 레드 팀 구성은 생성 AI 시스템을 보호하는 데 필수적입니다. 일단 약점을 식별하면 이러한 시스템을 테스트하고 훈련할 수도 있기 때문입니다.."

연구원들은 문제를 해결하기 위해 필요한 것은 소프트웨어 패치라기보다는 AI를 물리적 시스템에 통합하는 방식을 전면적으로 재평가하는 것이라고 주장합니다.

• 

• 

Penn Engineering의 Nemirovsky Family Dean이자 또 다른 공동 저자인 Vijay Kumar는 "이 논문의 결과는 안전 우선 접근 방식을 갖는 것이 책임 있는 혁신을 실현하는 데 중요하다는 점을 매우 분명하게 보여줍니다."라고 말합니다.

"우리는 AI 지원 로봇을 현실 세계에 배치하기 전에 본질적인 취약점을 해결해야 합니다. 실제로 우리 연구에서는 사회적 규범을 준수하는 행동만이 로봇 시스템에 의해 취해질 수 있고 취해야 한다는 것을 보장하는 확인 및 검증을 위한 프레임워크를 개발하고 있습니다.."

추가 정보:LLM 제어 로봇 탈옥(2024).