수십 년 동안 군은 인간의 통제 없이 단순한 반응 피드백을 기반으로 작동하는 지뢰, 어뢰, 열 유도 미사일과 같은 자율 무기를 사용해 왔습니다.그러나 이제 인공지능(AI)이 무기 설계 분야에도 진출했습니다.

하버드 의과대학 Blavatnik 연구소의 신경생물학 부교수인 Kanaka Rajan과 그녀의 팀에 따르면 AI 기반자율 무기전쟁의 새로운 시대를 대표하고 과학적 진보와 기초 연구에 구체적인 위협을 가하고 있습니다.

Rajan은 드론이나 로봇이 자주 사용되는 AI 기반 무기가 활발히 개발 및 배치되고 있다고 말했습니다.그녀는 그러한 기술이 얼마나 쉽게 확산되는지에 따라 시간이 지남에 따라 더욱 유능하고 정교하며 널리 사용될 것으로 기대합니다.

그렇게 되면 그녀는 AI 기반 무기가 어떻게 지정학적 불안정으로 이어질 수 있는지, 그리고 그 개발이 학계와 산업계의 비군사적 AI 연구에 어떤 영향을 미칠 수 있는지 걱정합니다.

Rajan은 신경생물학 분야의 HMS 연구원 Riley Simmons-Edler, Ryan Badman 및 MIT Ph.D.와 함께학생 Shayne Longpre는 그들의 주요 관심사와 앞으로 나아갈 길을 설명합니다.발표된 입장문그리고 에서 발표된2024 머신러닝 국제 컨퍼런스.

Harvard Medicine News와의 대화에서 Rajan은 자신과 팀이 AI 기반 주제를 조사하기로 결정한 이유를 설명했습니다.군사 기술, 가장 큰 위험으로 보는 것, 다음에 일어날 일이 무엇이라고 생각하는지.

당신은 인간과 동물 두뇌의 맥락에서 AI를 연구하는 전산 신경과학자입니다.AI 기반 자율 무기에 대해서는 어떻게 생각하게 되었나요?

우리는 2023년 봄에 유통되는 인공 일반 지능에 대한 수많은 묵시적인 예측에 대한 반응으로 이 주제를 고려하기 시작했습니다. 우리는 이러한 예측이 실제로 비율에 맞지 않게 터진다면 인간 사회에 대한 실제 위험은 무엇인지 스스로에게 물었습니다.우리는 군대가 AI를 어떻게 활용하고 있는지 살펴보고, 군사 연구 및 개발이 전 세계적으로 영향을 미치는 AI 기반 자율 무기 시스템 구축을 위해 크게 추진되고 있음을 확인했습니다.

우리는 학술 AI 연구 커뮤니티가 이러한 무기의 광범위한 개발 결과로부터 보호받을 수 없다는 것을 깨달았습니다.군대는 외부 조언 없이 AI 기술을 개발하고 배포할 만큼 충분한 전문 지식이 부족한 경우가 많으므로 학계 및 업계 AI 전문가의 지식을 활용해야 합니다.이는 연구원과 관리자에게 중요한 윤리적, 실무적 질문을 제기합니다.학술 기관, 학술 연구에 자금을 지원하는 대기업 주변의 사람들과 유사합니다.

무기에 AI와 머신러닝이 접목되면서 가장 큰 리스크는 무엇이라고 보시나요?

AI 기반 무기 개발에는 여러 가지 위험이 있지만 우리가 볼 수 있는 가장 큰 세 가지 위험은 다음과 같습니다. 첫째, 이러한 무기가 국가의 분쟁 참여를 어떻게 더 쉽게 만들 수 있는지입니다.둘째, 이러한 무기 개발을 지원하기 위해 비군사적 과학 AI 연구가 어떻게 검열되거나 채택될 수 있는지입니다.셋째, 군대가 AI 기반 자율 기술을 사용하여 의사 결정에서 인간의 책임을 줄이거 나 편향시키는 방법입니다.

첫 번째로, 국가가 전쟁을 시작하는 것을 막는 가장 큰 장애물은 군인의 죽음입니다. 이는 시민에게 인적 비용을 치르게 하고 지도자에게는 국내적 결과를 초래할 수 있습니다.현재 AI 기반 무기 개발의 대부분은 인간 군인을 위험으로부터 제거하는 것을 목표로 하고 있으며, 이는 그 자체로 인도적인 일입니다.그러나 공격전에서 사망하는 군인이 거의 없다면 전쟁 행위와 인명 피해 사이의 연관성이 약화되고, 정치적으로 전쟁을 시작하기가 더 쉬워지며, 결과적으로 전체적으로 더 많은 사망과 파괴로 이어질 수 있습니다.따라서 AI 기반 군비 경쟁이 심화되고 그러한 기술이 더욱 확산됨에 따라 주요 지정학적 문제가 빠르게 나타날 수 있습니다.

두 번째 관점에서는 핵물리학과 로켓공학과 같은 학문 분야의 역사를 살펴볼 수 있습니다.이러한 분야가 냉전 시대에 국방의 중요성이 커짐에 따라 연구자들은 여행 제한, 출판 검열, 기본 작업을 수행하기 위한 보안 허가의 필요성을 경험했습니다.AI 기반 자율 기술이 전 세계 국방 계획의 핵심이 되면서 비군사적 AI 연구에도 유사한 제한이 적용되는 것을 볼 수 있습니다. 이는 기본 AI 연구, 의료 및 과학 연구에서 가치 있는 민간 적용을 크게 방해할 수 있습니다.국제 협력.우리는 AI 연구가 성장하는 속도와 AI 기반 무기에 대한 연구 개발이 주목을 받고 있다는 점을 고려할 때 이것이 긴급한 문제라고 생각합니다.

마지막으로, AI 기반 무기가 국방의 핵심이 된다면 학계와 산업계에서 AI 연구자들의 노력을 활용하여 이러한 무기를 연구하거나 더 많은 "이중 용도" 프로젝트를 개발하려는 주요 시도를 볼 수 있습니다.점점 더 많은 AI 지식이 보안 허가 뒤에 갇히기 시작하면 우리 분야가 지적으로 방해받게 될 것입니다.일부 컴퓨터 과학자들은 이미 그러한 과감한 제한을 요구하고 있지만, 그들의 주장은 새로운 무기 기술이 일단 개척되면 항상 확산되는 경향이 있다는 사실을 일축합니다.

AI의 위협을 생각하는 사람들이 무기 설계를 상대적으로 간과한 이유가 무엇이라고 생각하시나요?

한 가지 이유는 이것이 새롭고 빠르게 변화하는 환경이기 때문입니다. 2023년부터 다수의 주요 강대국이 AI 기반 무기를 빠르고 공개적으로 수용하기 시작했습니다.또한 개별 AI 기반 무기 시스템은 더 광범위한 시스템과 기능의 집합으로 간주될 때보다 단독으로 보면 덜 위협적으로 보일 수 있으므로 문제를 간과하기 쉽습니다.

또 다른 과제는 기술 회사가 무기 시스템의 자율성과 인간 감독의 정도를 불투명하게 여긴다는 것입니다.일부의 경우, 인간의 감독은 AI 무기 유닛이 인간이 이해하지 못하거나 시스템 논리에서 오류를 발견할 수 없는 상태에서 긴 일련의 블랙박스 결정을 내린 후 "살인" 버튼을 누르는 것을 의미할 수 있습니다.다른 사람들에게는 인간이 더 많은 직접 제어권을 갖고 기계의 의사 결정 프로세스를 확인하고 있음을 의미할 수 있습니다.

불행하게도 이러한 시스템이 더욱 복잡해지고 강력해지고 전쟁 시 반응 시간이 더욱 빨라짐에 따라 블랙박스 결과가 표준이 될 가능성이 높아졌습니다.더욱이, AI 기반 자율 무기의 "인간 참여형"을 보면 연구자들은 시스템이 군사 표준에 따라 윤리적이라고 생각하게 될 수 있습니다. 실제로는 의사 결정에 인간이 의미 있게 참여하지 않는 경우도 있습니다.

대답해야 할 가장 시급한 연구 질문은 무엇입니까?

AI 기반 무기를 제작하려면 여전히 많은 작업이 필요하지만, 핵심 알고리즘의 대부분은 이미 제안되었거나 자율주행 차량과 같은 비군사적 애플리케이션을 기반으로 하는 주요 학술 및 산업 연구의 초점입니다.이를 염두에 두고, 우리는 이러한 기술의 적용을 윤리적으로 안내하고 군사적 관심이 우리 연구에 미치는 영향을 탐색하는 방법에 대한 과학자 및 연구자로서의 책임을 고려해야 합니다.

전 세계 군대가 전장의 상당 부분을 대체하고 지원 역할을 AI 기반 부대로 대체하려면 학계 및 업계 전문가의 지원이 필요합니다.이는 군사 AI 혁명에서 대학이 어떤 역할을 해야 하는지, 어떤 경계를 넘지 말아야 하는지, 무기에 AI 사용을 모니터링하기 위해 어떤 중앙 집중식 감독 및 감시 기관을 설치해야 하는지에 대한 의문을 제기합니다.

비군사적 연구 보호 측면에서 우리는 어떤 AI 개발이 폐쇄 소스와 오픈 소스로 분류될 수 있는지, 사용 계약을 설정하는 방법, 컴퓨터 과학의 군사화가 증가함에 따라 국제 협력이 어떻게 영향을 받을지 생각해 볼 필요가 있습니다.

AI가 무기로 사용되는 것을 방지하면서 창의적인 AI 연구를 가능하게 하는 방식으로 어떻게 나아갈 수 있습니까?

학계는 정부 및 기술, 의학, 정보 분야의 주요 기업은 물론 군대와 중요하고 생산적인 협력을 유지해 왔으며 앞으로도 계속 그럴 것입니다.그러나 역사적으로 학자들은 설탕, 화석 연료 및 담배 산업과 당혹스럽고 해로운 협력 관계를 맺어 왔습니다.현대 대학에는 연구자들이 업계 자금 지원의 윤리적 위험과 편견을 이해하고 윤리적으로 의심스러운 과학 생산을 방지하는 데 도움이 되는 기관 교육, 감독 및 투명성 요구 사항이 있습니다.

우리가 아는 바로는 현재 군사 자금 지원을 위한 그러한 훈련과 감독이 존재하지 않습니다.우리가 제기하는 문제는 복잡하고 하나의 정책으로 해결될 수 없습니다. 하지만 좋은 첫 번째 단계는 대학이 토론 세미나, 내부 규정, 군사, 국방, 국가 안보 기관에 대한 감독 프로세스를 만드는 것이라고 생각합니다.업계 자금 지원 프로젝트에 이미 시행 중인 프로젝트와 유사한 자금 지원 프로젝트.

현실적인 결과는 무엇이라고 생각하시나요?

커뮤니티의 일부에서는 군사 AI의 전면 금지를 요구했습니다.우리는 이것이 도덕적으로 이상적이라는 점에 동의하지만 현실적이지 않다는 점을 인정합니다. AI는 그러한 금지를 확립하거나 시행하는 데 필요한 국제적 합의를 얻기에는 군사적 목적에 너무 유용합니다.

대신, 우리는 국가들이 인간 병사를 대체하기보다는 증강시키는 AI 기반 무기 개발에 노력을 집중해야 한다고 생각합니다.이러한 무기에 대한 인간의 감독을 우선시함으로써 최악의 위험을 예방할 수 있기를 바랍니다.

우리는 또한 AI 무기가 하나의 단일체가 아니며 능력에 따라 검토되어야 한다는 점을 강조하고 싶습니다.가장 심각한 종류의 AI 무기를 가능한 한 빨리 금지 및 규제하고, 커뮤니티와 기관이 넘지 말아야 할 경계를 설정하는 것이 중요합니다.