독일 언론인 마틴 베른클라우(Martin Bernklau)가 챗봇이 그의 기사를 어떻게 선택하는지 확인하기 위해 Microsoft의 Copilot에 자신의 이름과 위치를 입력했을 때,그를 놀라게 했다.

Copilot의 결과에 따르면 Bernklau는 정신과 기관에서 탈출한 사람이자 유죄 판결을 받은 아동 학대자이자 홀아비를 잡아먹는 사기꾼이었습니다.Bernklau는 수년 동안 법원 속기사로 일했으며 인공 지능(AI) 챗봇은그를 거짓으로 비난했다그가 은폐한 범죄 때문에.

물론 Bernklau에 대한 비난은 사실이 아니며 생성 AI의 예입니다.환각." 이는 사용자가 제공한 프롬프트에 대한 부정확하거나 무의미한 응답이며놀랄 만큼 흔한이 기술로.AI를 사용하려는 사람은 항상 매우 주의해서 진행해야 합니다. 왜냐하면 그러한 시스템의 정보를 신뢰할 수 있으려면 인간의 검증과 검증이 필요하기 때문입니다.

그런데 코파일럿은 왜 이러한 끔찍하고 거짓된 비난을 환각에 빠뜨렸을까요?

Copilot 및 ChatGPT 및 Google Gemini와 같은 기타 생성 AI 시스템은대규모 언어 모델(LLM).LLM의 기본 정보 처리 시스템은 "딥러닝 신경망,' 알고리즘을 '훈련'하기 위해 대량의 인간 언어를 사용합니다.

학습 데이터를 통해 알고리즘은 서로 다른 단어 간의 통계적 관계와 특정 단어가 텍스트에 함께 나타날 가능성을 학습합니다.이를 통해 LLM은 계산된 확률을 기반으로 가장 가능성이 높은 응답을 예측할 수 있습니다.LLM은 실제 지식을 갖고 있지 않습니다.

Copilot 및 기타 LLM을 교육하는 데 사용되는 데이터는 방대합니다.Copilot 또는 ChatGPT 말뭉치의 크기와 구성에 대한 정확한 세부 정보는 공개되지 않지만 Copilot에는 전체 ChatGPT 말뭉치와 Microsoft 고유의 특정 추가 기사가 통합되어 있습니다.ChatGPT4의 전신인 ChatGPT3 및 3.5는 "수천억 개의 단어."

Copilot은 ChatGPT3 또는 3.5보다 "더 큰" 코퍼스를 사용하는 ChatGPT4를 기반으로 합니다.이것이 정확히 몇 단어인지는 알 수 없지만 ChatGPT의 여러 버전 간 이동이 훨씬 더 큰 경향이 있습니다.우리는 또한 말뭉치에 책, 학술지 및뉴스 기사.그리고 여기에는 코파일럿이 베른클라우가 극악무도한 범죄에 책임이 있다는 환각을 품은 이유가 있습니다.

Bernklau는 국내 및 국제 신문에 게재된 학대, 폭력 및 사기에 대한 형사 재판에 대해 정기적으로 보도했습니다.그의 기사는 아마도 사건의 성격과 관련된 특정 단어를 사용하는 언어 자료에 포함되었을 것입니다.

Bernklau는 수년 동안 법정에서 취재를 했기 때문에 Copilot에게 그에 대해 질문했을 때 그의 이름과 관련된 가장 가능성 있는 단어는 그가 기자로서 취재한 범죄와 관련이 있는 것으로 나타났습니다.이는 이런 종류의 유일한 사례가 아니며 앞으로 몇 년 안에 더 많은 사례를 보게 될 것입니다.

2023년 미국 토크라디오 진행자 마크 월터스OpenAI를 성공적으로 고소했습니다, ChatGPT를 소유한 회사입니다.Walters는 미국의 총기 소유권을 탐구하고 홍보하는 Armed American Radio라는 쇼를 진행합니다.

LLM은 월터스가 총기 권리를 지지하는 미국 조직인 수정헌법 제2재단(SAF)으로부터 사기 및 자금 횡령 혐의로 고소당했다는 환각을 느꼈습니다.이는 한 기자가 ChatGPT에 SAF와 워싱턴 주 법무장관과 관련된 실제적이고 진행 중인 법적 사건에 대해 질문한 이후였습니다.

Walters는 SAF에서 일한 적이 없으며 SAF와 워싱턴 주 간의 사건에 어떤 식으로든 관여하지 않았습니다.그러나 재단이 월터스의 쇼와 비슷한 목적을 갖고 있기 때문에 언어 코퍼스의 텍스트 내용이 환각을 일으킨 월터스와 SAF 사이의 통계적 상관 관계를 구축했다고 추론할 수 있습니다.

수정

전체 언어 자료에서 이러한 문제를 수정하는 것은 거의 불가능합니다.편향된 언어를 식별하고 제거하려면 말뭉치에 포함된 모든 단일 기사, 문장 및 단어를 면밀히 조사해야 합니다.데이터 세트의 규모를 고려하면 이는 비실용적입니다.

Bernklau의 경우처럼 사람들을 범죄와 잘못 연관시키는 환각은 감지하고 해결하기가 훨씬 더 어렵습니다.문제를 영구적으로 해결하려면 Copilot이 기사 작성자인 Bernklau의 이름을 제거하여 연결을 끊어야 합니다.

이 문제를 해결하기 위해 Microsoft는 사용자가 Bernklau의 사례에 대해 Copilot에 문의할 때 제공되는 자동 응답을 설계했습니다.응답에서는 환각에 대해 자세히 설명하고 Bernklau가 어떤 비난에도 유죄가 아님을 분명히 밝혔습니다.Microsoft는 응답을 개선하고 긍정적인 경험을 제공하기 위해 지속적으로 사용자 피드백을 통합하고 업데이트를 출시한다고 밝혔습니다.

아마도 아직 발견되지 않은 유사한 사례가 더 많이 있을 것입니다.모든 문제를 해결하려고 노력하는 것은 비현실적입니다.환각은 기본 LLM 알고리즘 작동 방식의 피할 수 없는 부산물입니다.

이러한 시스템의 사용자로서 출력이 신뢰할 수 있는지 알 수 있는 유일한 방법은 확립된 방법을 사용하여 출력의 유효성을 조사하는 것입니다.여기에는 출력을 올바른 것으로 받아들이기 전에 LLM의 주장에 동의하는 세 개의 독립적인 소스를 찾는 것이 포함될 수 있습니다.내 자신의 연구보여주었다.

Microsoft 또는 OpenAI와 같이 이러한 도구를 소유한 회사의 경우 이러한 문제를 방지하기 위해 취할 수 있는 실질적인 사전 예방적 전략이 없습니다.그들이 실제로 할 수 있는 일은 유사한 환각의 발견에 반응하는 것뿐입니다.

이 기사는 다음에서 재출판되었습니다.대화크리에이티브 커먼즈 라이센스에 따라.읽기원본 기사.