Apple Computer Company의 연구원들은 테스트를 통해 AI 기반 LLM이 제공하는 지능적인 반응이 환상에 불과하다는 증거를 발견했습니다.그들의종이에 게시됨arXiv연구자들은 여러 LLM을 테스트한 후 실제 논리적 추론을 수행할 수 없다는 사실을 발견했다고 주장합니다.

지난 몇 년 동안 ChatGPT와 같은 많은 LLM은 많은 사용자가 진정한 지능을 보유하고 있는지 궁금해하기 시작할 정도로 발전했습니다.이 새로운 노력에서 Apple 팀은 논리적인 판단이 필요한 단순한 상황의 뉘앙스를 이해하는 지능적인 존재 또는 기계의 능력에 답이 있다고 가정하여 문제를 해결했습니다.추리.

그러한 미묘한 차이 중 하나는 관련 정보와 관련되지 않은 정보를 분리하는 능력입니다.만약어린이예를 들어, 부모에게 가방에 사과가 몇 개 들어 있는지 묻는 동시에 몇 개는 너무 작아서 먹을 수 없다고 지적하면, 아이와 부모 모두 사과의 크기는 현재 사과의 수와 아무 관련이 없다는 것을 이해합니다.둘 다 논리적 추론 능력을 갖고 있기 때문이다.

이 새로운 연구에서 연구원들은 관련되지 않은 정보를 무시하도록 간접적으로 요청함으로써 요청되는 내용을 진정으로 이해하는 능력에 대해 여러 LLM을 테스트했습니다.

그들의 테스트에는 이전에 LLM의 능력을 테스트하는 수단으로 사용되었던 수백 개의 질문을 여러 LLM에 묻는 것이 포함되었습니다. 하지만 연구원들은 관련되지 않은 약간의 정보도 포함했습니다.그리고 그들은 그것이 LLM을 혼동하여 이전에 올바르게 대답했던 질문에 대해 잘못되었거나 심지어 무의미한 대답을 하기에 충분하다는 것을 발견했습니다.

연구자들은 이것이 LLM이 자신들이 요청하는 내용을 실제로 이해하지 못하고 있음을 보여준다고 제안합니다.대신 그들은 문장의 구조를 인식한 다음 다음과 같은 말을 내뱉습니다.답변머신러닝 알고리즘을 통해 학습한 내용을 기반으로 합니다.

그들은 또한 그들이 테스트한 대부분의 LLM이 정확해 보일 수 있는 답변으로 응답하는 경우가 많았지만, 추가 검토를 통해 무언가에 대해 "느끼는" 질문을 받고 AI가 그것이 가능하다고 생각하는 응답을 얻는 경우와 같이 그렇지 않다는 점에 주목했습니다.그런 행동.

© 2024 사이언스 X 네트워크