단순히 차량에 "급합니다"라고 말하면 필요한 곳까지 가장 효율적인 경로로 자동으로 이동한다고 상상해 보세요.

퍼듀대학교(Purdue University) 엔지니어들은 자율주행차(AV)가 ChatGPT 또는 대규모 언어 모델이라는 인공 지능 알고리즘을 통해 가능해진 기타 챗봇의 도움을 받아 이를 수행할 수 있다는 사실을 발견했습니다.

연구, 사전 인쇄 서버에 표시됨arXiv, 9월 25일에 발표될 예정입니다.제27회 IEEE 지능형교통시스템 국제컨퍼런스.이는 실제 AV가 대형 언어 모델을 사용하여 승객의 명령을 해석하고 그에 따라 운전할 수 있는지 테스트하는 최초의 실험 중 하나일 수 있습니다.

이번 연구를 이끈 퍼듀대학교 라일스 토목건설공학과 조교수인 지란 왕(Ziran Wang)은 언젠가 차량이 완전 자율성을 갖추려면 승객이 명령하는 모든 것을 심지어 명령이 암시된 경우에도 이해해야 한다고 믿습니다.예를 들어, 택시 운전사는 운전자가 교통 체증을 피하기 위해 택해야 할 경로를 지정하지 않고도 당신이 급하다고 말할 때 당신이 필요로 하는 것이 무엇인지 알 것입니다.

오늘날의 AV에는 사용자와 통신할 수 있는 기능이 포함되어 있지만 인간과 대화할 때 필요한 것보다 더 명확해야 합니다.대조적으로, 대규모 언어 모델은 엄청난 양의 텍스트 데이터에서 관계를 도출하고 시간이 지남에 따라 계속 학습하도록 훈련되었기 때문에 보다 인간과 유사한 방식으로 해석하고 응답을 제공할 수 있습니다.

Wang은 "우리 차량의 기존 시스템에는 원하는 내용을 전달하기 위해 버튼을 눌러야 하는 사용자 인터페이스 디자인이 있거나 차량이 사용자를 이해할 수 있도록 말할 때 매우 명확하게 말해야 하는 오디오 인식 시스템이 있습니다"라고 말했습니다.."하지만 대규모 언어 모델의 힘은 사용자가 말하는 모든 종류의 내용을 더 자연스럽게 이해할 수 있다는 것입니다. 기존의 다른 어떤 시스템도 그렇게 할 수 없다고 생각합니다."

새로운 종류의 연구 수행

이 연구에서는 대규모 언어 모델이 AV를 구동하지 않았습니다.대신 그들은 기존 기능을 사용하여 AV의 운전을 지원하고 있었습니다.Wang과 그의 학생들은 이러한 모델을 통합함으로써 AV가 승객을 더 잘 이해할 수 있을 뿐만 아니라 승객의 만족을 위해 운전을 개인화할 수도 있다는 것을 발견했습니다.

실험을 시작하기 전에 연구원들은 보다 직접적인 명령(예: "더 빨리 운전해 주세요")부터 보다 간접적인 명령(예: "지금은 멀미가 좀 나네요")에 이르는 프롬프트로 ChatGPT를 교육했습니다.ChatGPT가 이러한 명령에 응답하는 방법을 배우면서 연구원들은 교통 규칙을 고려하도록 요구하는 대규모 언어 모델 매개변수를 제공했습니다.도로 상황, 카메라, 조명 감지 및 거리 측정과 같이 차량 센서에서 감지한 날씨 및 기타 정보입니다.

그런 다음 연구원들은 클라우드를 통해 이러한 대규모 언어 모델에 액세스할 수 있는 실험 차량을 만들었습니다.SAE International에서 정의한 레벨 4 자율성.레벨 4는 업계에서 완전한 수준으로 간주하는 수준에서 한 수준 떨어져 있습니다.자율주행차.

실험 중에 차량의 음성 인식 시스템이 승객의 명령을 감지하면 클라우드의 대규모 언어 모델은 연구원이 정의한 매개변수를 사용하여 명령을 추론했습니다.그런 다음 해당 모델은 해당 명령에 따라 운전하는 방법에 관해 스로틀, 브레이크, 기어 및 스티어링에 연결된 차량의 드라이브 바이 와이어 시스템에 대한 지침을 생성했습니다.

일부 실험에서 Wang의 팀은 또한 대형 언어 모델이 승객의 과거 선호도에 대한 데이터를 저장하고 이를 명령에 대한 응답으로 고려하는 방법을 학습할 수 있도록 시스템에 설치한 메모리 모듈을 테스트했습니다.

연구진은 이전에 공항 활주로였던 인디애나주 콜럼버스의 시험장에서 대부분의 실험을 수행했습니다.이러한 환경을 통해 그들은 활주로에서 고속도로 속도로 주행하고 양방향 교차로를 처리하는 동안 승객의 명령에 대한 차량의 반응을 안전하게 테스트할 수 있었습니다.그들은 또한 Purdue의 Ross-Ade Stadium 부지에서 승객의 명령에 따라 차량이 얼마나 잘 주차되었는지 테스트했습니다.

연구 참가자들은 대형 언어 모델이 학습한 명령과 차량에 탑승하는 동안 새로운 명령을 모두 사용했습니다.탑승 후 설문 조사 응답을 바탕으로 참가자들은 대규모 언어 모델의 도움 없이 레벨 4 AV를 탈 때 사람들이 느끼는 경향에 대한 데이터와 비교하여 AV가 내린 결정에 대해 더 낮은 불편함을 표현했습니다.

또한 팀은 AV의 성능을 사람들이 평균적으로 안전하고 편안한 승차감이라고 생각하는 데이터(예: 차량이 후방 충돌을 피하기 위해 반응할 수 있는 시간과 속도 등)에 대한 데이터에서 생성된 기준 값과 비교했습니다.차량이 가속 및 감속됩니다.연구원들은 이 연구의 AV가 대규모 언어 모델을 사용하여 운전하는 동안 모델이 아직 학습하지 않은 명령에 응답할 때에도 모든 기준 값을 능가한다는 것을 발견했습니다.

향후 방향

이번 연구에서 대규모 언어 모델은 승객의 명령을 처리하는 데 평균 1.6초가 걸렸는데, 이는 시간이 중요하지 않은 시나리오에서는 허용 가능한 것으로 간주되지만 AV가 더 빠르게 응답해야 하는 상황에서는 개선되어야 한다고 Wang은 말했습니다.이는 일반적으로 대규모 언어 모델에 영향을 미치는 문제이며 업계와 대학 연구원이 해결하고 있는 문제입니다.

이 연구의 초점은 아니지만 ChatGPT와 같은 대규모 언어 모델은 "환각"을 일으키는 경향이 있는 것으로 알려져 있습니다. 즉, 배운 내용을 잘못 해석하고 잘못된 방식으로 응답할 수 있음을 의미합니다.Wang의 연구는 대규모 언어 모델이 명령을 잘못 이해했을 때 참가자가 안전하게 탑승할 수 있도록 하는 안전 장치 메커니즘을 갖춘 설정에서 수행되었습니다.참가자가 탑승하는 동안 모델에 대한 이해가 향상되었지만 환각은 차량 제조업체가 대규모 언어 모델을 AV에 구현하는 것을 고려하기 전에 해결해야 할 문제로 남아 있습니다.

또한 차량 제조업체는 대학 연구원이 수행한 연구 외에도 대규모 언어 모델을 사용하여 훨씬 더 많은 테스트를 수행해야 합니다.Wang은 이러한 모델을 AV의 제어 장치와 통합하여 실제로 차량을 운전할 수 있으려면 규제 승인이 추가로 필요하다고 말했습니다.

그 동안 Wang과 그의 학생들은 업계에서 AV에 대규모 언어 모델을 추가하는 데 도움이 될 수 있는 실험을 계속 수행하고 있습니다.

ChatGPT를 테스트한 연구 이후 연구원들은 Google의 Gemini 및 Meta의 Llama AI 보조기 시리즈와 같은 대규모 언어 모델을 기반으로 하는 기타 공개 및 비공개 챗봇을 평가했습니다.지금까지 그들은 ChatGPT가 AV에서 안전하고 시간 효율적인 탑승을 위한 지표에서 최고의 성능을 발휘하는 것을 확인했습니다.발표된 결과가 나올 예정입니다.

또 다른 다음 단계는 AV가 4방향 정류장에서 어느 것이 먼저 가야 할지 결정하는 데 도움을 주는 것과 같이 각 AV의 대규모 언어 모델이 서로 대화할 수 있는지 여부를 확인하는 것입니다.Wang의 연구실은 또한 중서부 전역에서 흔히 볼 수 있는 극한의 겨울 날씨에서 AV가 운전할 수 있도록 대형 비전 모델의 사용을 연구하는 프로젝트를 시작하고 있습니다.이 모델들은 마치대규모 언어 모델텍스트 대신 이미지로 학습했습니다.추가 정보: