보고서예루살렘에 거주하는 탐사보도 기자들이+972잡지에서는 AI 타겟팅 시스템이 가자 지구에서 수만 개의 목표물을 식별하고 잠재적으로 오인하는 데 중요한 역할을 했다고 밝혔습니다.이는 자율전이 더 이상 미래의 시나리오가 아니라는 것을 의미합니다.그것은 이미 왔고 그 결과는 끔찍합니다.

문제의 기술은 두 가지입니다.첫 번째,"라벤더"는 알고리즘을 사용하여 하마스 요원을 표적으로 식별하도록 설계된 AI 추천 시스템입니다.두 번째, 기괴한 이름"아빠는 어디 계시나요?"는 대상이 공격을 받기 전에 가족 거주지로 추적할 수 있도록 지리적으로 대상을 추적하는 시스템입니다.이 두 시스템은 함께 자동화를 구성합니다.찾기-수정-트랙-대상현대 군대에서 알려진 구성 요소"킬 체인".

라벤더와 같은 시스템은 자율 무기는 아니지만 킬 체인을 가속화하고 살인 과정을 더욱 자율적으로 만듭니다.AI 타겟팅 시스템은 컴퓨터 센서 및 기타 소스의 데이터를 활용하여 잠재적인 목표를 구성하는 것이 무엇인지 통계적으로 평가합니다.이 방대한 양의 데이터는 가자지구 주민 230만 명에 대한 감시를 통해 이스라엘 정보기관에 의해 수집됩니다.

이러한 시스템은 하마스 요원의 프로필을 생성하기 위해 일련의 데이터에 대해 훈련됩니다.이는 성별, 나이, 외모, 이동 패턴, 소셜 네트워크 관계, 액세서리 등에 대한 데이터일 수 있습니다.관련 기능". 그런 다음 실제 팔레스타인인을 적합도에 따라 이 프로필과 일치시키기 위해 노력합니다. 대상의 관련 기능을 구성하는 범주는 원하는 만큼 엄격하게 또는 느슨하게 설정할 수 있습니다. 라벤더의 경우 다음 중 하나인 것 같습니다.핵심 방정식은 "남성은 전투적이다"였습니다. 이것은 악명 높은 내용을 반영합니다."모든 군인 연령의 남성은 잠재적인 표적입니다"2010년 오바마 행정부가 적으로 지정된 수백 명의 사람들을 식별하고 암살한 미국 드론 전쟁의 명령"메타데이터 기반".

혼합에서 AI와 다른 점은 목표를 알고리즘으로 결정할 수 있는 속도와 이에 따른 조치의 의무입니다.+972 보고서는 이 기술의 사용으로 인해 인간의 감독 없이 빠른 속도로 수천 명의 적격 대상과 부적격 대상이 무자비하게 전멸되었음을 나타냅니다.

이스라엘 방위군(IDF)은 이러한 종류의 AI 타겟팅 시스템의 사용을 신속하게 거부했습니다.그리고 사용된 정도와 사용된 정도, 그리고 정확히 어떻게 작동하는지 독립적으로 검증하는 것은 어렵습니다.그러나 보고서에 설명된 기능은 전적으로 그럴듯하며, 특히 IDF가 "가장 기술적인 조직 중 하나" 그리고 AI의 얼리 어답터입니다.

미군이 부르는 것을 단축하기 위해 전 세계의 군사 AI 프로그램이 노력하고 있습니다."센서-슈터 타임라인"그리고"치사율을 높여라"운영에 있어 IDF와 같은 조직이 최신 기술을 활용하지 못하는 이유는 무엇입니까?

사실은 Lavender 및 Where's Daddy?와 같은 시스템입니다.이는 지난 10년 동안 진행되어 온 더 광범위한 추세의 표현이며, IDF와 그 엘리트 부대는 더 많은 AI 타겟팅 시스템을 프로세스에 구현하려는 유일한 부대와는 거리가 멀습니다.

기계가 인간을 능가할 때

올해 초 Bloomberg는 최신 버전의프로젝트 메이븐, 2017년 센서 데이터 분석 프로그램에서 속도를 위해 구축된 본격적인 AI 지원 표적 추천 시스템으로 진화한 미 국방부 AI 길찾기 프로그램입니다.블룸버그 저널리스트 카트리나 맨슨(Katrina Manson)보고서, 운영자는 "이제 작업 없이는 30개에 비해 한 시간 동안 최대 80개의 대상을 승인할 수 있습니다".

Manson은 빠른 스타카토로 전달되는 알고리즘의 결론에 동의하는 과정을 설명하는 시스템 학습 임무를 맡은 미 육군 장교의 말을 인용했습니다. "수락합니다. 수락, 수락하세요."여기서 분명한 것은인간 운영자논쟁하기 어려운 디지털 논리에 깊이 내재되어 있습니다.이는 속도의 논리와 다른 모든 것보다 뛰어난 출력 증가를 가져옵니다.

효율적인 죽음의 생산은 +972 계정에도 반영되어 있으며, 이는 목표의 생산과 이러한 목표의 살해를 가속화하고 증가시키려는 엄청난 압력을 나타냅니다.소식통 중 한 명이 말했듯이 "우리는 지속적으로 압력을 받았습니다. 더 많은 목표물을 가져와야 합니다. 그들은 정말로 우리에게 소리를 질렀습니다. 우리는 목표물을 매우 빨리 [죽였습니다]".

내장된 편견

라벤더와 같은 시스템은 많은윤리적인 질문훈련 데이터, 편향, 정확성, 오류율 및 가장 중요한 자동화 편향 문제와 관련됩니다.자동화 편향은 도덕적 권위를 포함한 모든 권위를 냉정한 통계 처리 인터페이스에 양도합니다.

속도와 치명성은 군사 기술의 표어입니다.그러나 AI를 우선시함에 있어인간의 대리인소외되어 있습니다.인간의 인지 시스템이 비교적 느리기 때문에 시스템의 논리는 이를 요구합니다.이는 또한 컴퓨터가 생산한 결과에 대한 인간의 책임감을 제거합니다.

나는다른 곳에 쓰여진이것이 우리가 고려해야 할 방식으로 (모든 수준에서) 통제 개념을 얼마나 복잡하게 만드는가.AI, 머신러닝, 인간의 추론이 긴밀한 생태계를 형성하면 인간이 통제할 수 있는 능력이 제한됩니다.인간은 컴퓨터가 말하는 것은 무엇이든 신뢰하는 경향이 있습니다. 특히 우리가 따라갈 수 없을 정도로 컴퓨터가 너무 빨리 움직일 때 더욱 그렇습니다.

속도와 가속의 문제는 또한 일반적인 긴박감을 만들어내며, 이는 행동하지 않는 것보다 행동하는 것을 더 중요하게 여깁니다.이는 폭력을 억제해야 하는 '부수적 피해'나 '군사적 필요성'과 같은 범주를 더 많은 폭력을 생산하는 통로로 바꾸는 것입니다.

군사학자 크리스토퍼 코커(Christopher Coker)의 말이 생각난다.단어: "우리는 도구를 신중하게 선택해야 합니다. 도구가 비인간적이어서가 아니라(모든 무기가 그렇습니다) 도구에 더 많이 의존할수록 도구가 세상에 대한 우리의 시각을 더 많이 형성하기 때문입니다."군사 AI가 우리의 세계관을 형성한다는 것은 분명합니다.비극적이게도 라벤더는 이러한 견해가 폭력으로 가득 차 있다는 사실을 우리에게 깨닫게 해 줍니다.

이 기사는 다음에서 재출판되었습니다.대화크리에이티브 커먼즈 라이센스에 따라.읽기원본 기사.