인간이 특정한 결론을 도출하거나 문제를 해결하기 위해 정신적으로 정보를 처리하는 과정인 추론은 크게 두 가지 범주로 나눌 수 있습니다.연역적 추론으로 알려진 첫 번째 유형의 추론은 일반적인 규칙이나 전제에서 시작한 다음 이 규칙을 사용하여 특정 사례에 대한 결론을 도출하는 것을 수반합니다.

예를 들어, "모든 개는 귀가 있다"와 "치와와는 개다"라는 전제를 바탕으로 "치와와는 귀가 있다"는 결론을 내릴 수 있습니다.

두 번째로 널리 사용되는 추론 형태는 귀납적 추론으로, 대신 특정 관찰을 기반으로 일반화(즉, 일반 규칙 공식화)로 구성됩니다.예를 들어, 우리가 평생 동안 만난 백조는 모두 흰색이었기 때문에 모든 백조가 흰색이라고 가정할 수 있습니다.

과거의 수많은 연구에서는 인간이 일상 생활에서 연역적 추론과 귀납적 추론을 어떻게 사용하는지 조사했습니다.그래도 그 정도는인공지능(AI) 시스템은 이러한 다양한 추론 전략을 사용하며 지금까지 거의 연구되지 않았습니다.

Amazon과 University of California Los Angeles의 연구팀은 최근 인간 언어로 텍스트를 처리, 생성 및 조정할 수 있는 대규모 AI 시스템인 LLM(대형 언어 모델)의 기본 추론 능력을 탐색하는 연구를 수행했습니다.그들의조사 결과, 에 게시됨arXiv인쇄 전 서버에서는 이러한 모델이 강력한 귀납적 추론 능력을 갖고 있음을 시사하지만 연역적 추론 능력은 부족한 경우가 많습니다.

이 논문의 목적은 LLM 추론의 격차를 더 잘 이해하고 표준에서 벗어나는 "반사실적" 추론 작업에 대해 LLM의 성능이 낮은 이유를 식별하는 것이었습니다.

다양한 과거 연구에서는 기본 추론 작업의 일부로 지침을 따르는 능력을 테스트하여 LLM의 연역적 추론 기술을 평가했습니다.그러나 그들의 귀납적 추론(즉, 과거에 처리한 정보를 기반으로 일반적인 예측을 하는 능력)은 면밀히 조사되지 않았습니다.

귀납적 추론과 연역적 추론을 명확하게 구별하기 위해 연구자들은 SolverLearner라는 새로운 모델을 도입했습니다.이 모델은 규칙을 학습하는 과정과 규칙을 특정 사례에 적용하는 과정을 분리하기 위해 2단계 접근 방식을 사용합니다.특히 Amazon 대변인에 따르면 LLM의 연역적 추론 능력에 의존하지 않기 위해 코드 해석기와 같은 외부 도구를 통해 규칙이 적용됩니다.

Amazon 팀은 자신이 개발한 SolverLearner 프레임워크를 사용하여 특정 예를 사용하여 입력 데이터 포인트를 해당 출력에 매핑하는 기능을 학습하도록 LLM을 교육했습니다.이를 통해 그들은 제공된 예제를 기반으로 모델이 일반 규칙을 어느 정도 학습할 수 있는지 조사할 수 있었습니다.

연구원들은 LLM이 특히 표준에서 벗어나는 "반사실" 시나리오와 관련된 작업의 경우 연역적 추론보다 더 강력한 귀납적 추론 능력을 가지고 있음을 발견했습니다.이러한 결과는 사람들이 LLM을 사용하는 시기와 방법을 더 잘 이해하는 데 도움이 될 수 있습니다.예를 들어 챗봇과 같은 에이전트 시스템을 설계할 때 LLM의 강력한 유도 기능을 활용하는 것이 더 나을 수 있습니다.

전반적으로 연구원들은 LLM이 귀납적 추론 작업에서 뛰어난 성과를 보였지만, 연역적 추론 능력이 부족한 경우가 많다는 사실을 발견했습니다.그들의 연역적 추론은 가설적인 가정에 기초하거나 표준에서 벗어난 시나리오에서 특히 열악한 것으로 나타났습니다.

이 연구의 일부로 수집된 결과는 AI 개발자가 LLM의 강력한 귀납적 추론 기능을 활용하여 특정 작업을 처리하도록 영감을 줄 수 있습니다.또한 LLM 추론 프로세스를 이해하기 위한 추가 노력의 토대를 마련할 수 있습니다.

Amazon 대변인에 따르면, 이 분야에 대한 향후 연구는 정보를 압축하는 LLM의 능력이 강력한 귀납적 능력과 어떻게 관련되는지 탐구하는 데 중점을 둘 수 있습니다.이러한 관점은 LLM의 귀납적 추론 능력을 더욱 향상시킬 수 있습니다.

© 2024 사이언스 X 네트워크