답의 일부만 아는 질문을 받은 적이 있습니까?더 많은 정보를 바탕으로 답변을 제공하려면 해당 주제에 대해 더 많은 지식을 가진 친구에게 전화하는 것이 가장 좋습니다.

이 협업 프로세스는 또한 도움이 될 수 있습니다대규모 언어 모델(LLM)은 정확성을 향상시킵니다.그럼에도 불구하고 LLM에게 답변에 대해 다른 모델과 협력해야 하는 시기를 인식하도록 가르치는 것은 어려웠습니다.모델이 함께 작동해야 하는 위치를 설명하기 위해 복잡한 공식이나 대량의 레이블이 지정된 데이터를 사용하는 대신, MIT 컴퓨터 과학 및 인공 지능 연구소(CSAIL)의 연구원들은 보다 유기적인 접근 방식을 구상했습니다.

그들의새로운 알고리즘"Co-LLM"이라고 하는 는 범용 기본 LLM을 보다 전문화된 모델과 결합하여 함께 작동하도록 도울 수 있습니다.전자가 답변을 작성하는 동안 Co-LLM은 응답 내의 각 단어(또는 토큰)를 검토하여 전문가 모델로부터 보다 정확한 답변을 요청할 수 있는 위치를 확인합니다.이 프로세스를 통해 의학적 프롬프트, 수학 및 추론 문제와 같은 문제에 대해 보다 정확한 답변을 얻을 수 있습니다.각 반복마다 전문가 모델이 필요하지 않기 때문에 이는 또한 보다 효율적인 응답 생성으로 이어집니다.

기본 모델이 전문가 모델의 도움이 필요한 시기를 결정하기 위해 프레임워크는 기계 학습을 사용하여 "전환 변수"를 훈련하거나 두 LLM의 응답 내에서 각 단어의 역량을 나타낼 수 있는 도구를 사용합니다.스위치는 전문가를 불러야 할 영역을 찾는 프로젝트 관리자와 같습니다.

예를 들어, Co-LLM에게 멸종된 곰 종의 몇 가지 예를 말해달라고 요청하면 두 모델이 함께 답변 초안을 작성합니다.범용 LLM은 곰 종이 멸종된 연도를 추가하는 등 전문가 모델에서 더 나은 토큰을 삽입할 수 있는 부분에 스위치 변수를 개입시켜 응답을 작성하기 시작합니다.

MIT 박사인 Shannon Shen은 "Co-LLM을 통해 기본적으로 필요할 때 전문가 모델에 '전화'할 수 있는 범용 LLM을 교육하고 있습니다."라고 말했습니다.학생전기 공학접근 방식에 관한 새로운 논문의 주요 저자인 컴퓨터 과학 및 CSAIL 계열사입니다.연구 결과는 다음과 같습니다출판됨에arXiv사전 인쇄 서버.

"우리는 도메인별 데이터를 사용하여 생물 의학 작업, 수학 및 추론 질문과 같은 분야에서 상대방의 전문 지식에 대해 기본 모델을 가르칩니다. 이 프로세스는 기본 모델이 생성하기 어려운 데이터 부분을 자동으로 찾은 다음 지시합니다.유사한 분야의 데이터를 사전 학습한 전문가 LLM으로 전환하기 위한 기본 모델 범용 모델은 '스캐폴딩' 생성을 제공하고, 전문 LLM을 호출하면 전문가에게 원하는 토큰을 생성하도록 요청합니다.우리의 연구 결과에 따르면 LLM은 인간이 공백을 채우기 위해 전문가를 불러야 할 때를 인식하는 방식과 유사하게 협업 패턴을 유기적으로 학습합니다."

유연성과 사실성의 결합

범용 LLM에게 특정 처방약의 성분 이름을 지정하도록 요청한다고 상상해 보십시오.잘못 응답할 수 있으므로 전문 모델의 전문 지식이 필요합니다.

Co-LLM의 유연성을 보여주기 위해 연구원들은 다음과 같은 데이터를 사용했습니다.바이오ASQ기본 LLM을 다양한 도메인의 전문 LLM과 결합하도록 의료 세트메디트론 모델, 라벨이 지정되지 않은 의료 데이터에 대해 사전 학습되었습니다.이를 통해 알고리즘은 특정 질병을 유발하는 메커니즘의 이름을 지정하는 등 생의학 전문가가 일반적으로 받는 질문에 답변하는 데 도움을 줄 수 있었습니다.

예를 들어, 특정 처방약의 성분명을 단순 LLM에만 요청한 경우 부정확하게 응답할 수 있습니다.생체의학 데이터에 특화된 모델에 전문성이 더해지면 더욱 정확한 답변을 얻을 수 있습니다.Co-LLM은 또한 사용자에게 답변을 다시 확인할 수 있는 위치를 알려줍니다.

Co-LLM 성능 향상의 또 다른 예: "a"와 같은 수학 문제를 해결해야 할 때³· 에²a=5인 경우" 범용 모델은 답을 125로 잘못 계산했습니다. Co-LLM이 Llemma라는 대규모 수학 LLM과 더 많이 협력하도록 모델을 훈련하면서 함께 올바른 답이 3,125라는 결론을 내렸습니다.

Co-LLM은 미세 조정된 단순 LLM과 독립적으로 작동하는 조정되지 않은 전문 모델보다 더 정확한 응답을 제공했습니다.Co-LLM은 서로 다르게 훈련된 두 모델이 함께 작동하도록 안내할 수 있는 반면, "프록시 튜닝"과 같은 다른 효과적인 LLM 협업 접근 방식에서는 모든 구성 요소 모델을 유사하게 훈련해야 합니다.또한 이 기준선에서는 각 모델을 동시에 사용하여 다음을 생성해야 합니다.답변MIT의 알고리즘은 단순히 특정 토큰에 대한 전문가 모델을 활성화하여 보다 효율적인 생성을 유도합니다.

전문가에게 물어볼 때

MIT 연구원의 알고리즘은 인간 팀워크를 더 밀접하게 모방하면 다중 LLM 협업의 정확성을 높일 수 있음을 강조합니다.사실적 정확성을 더욱 높이기 위해 팀은 인간의 자가 수정을 활용할 수 있습니다. 즉, 전문가 모델이 올바른 응답을 제공하지 않을 때 되돌릴 수 있는 보다 강력한 연기 접근 방식을 고려하고 있습니다.이 업그레이드를 통해 Co-LLM은 과정을 수정하여 알고리즘이 여전히 만족스러운 응답을 제공할 수 있습니다.

팀에서는 또한 업데이트를 원합니다.전문가새로운 정보를 사용할 수 있을 때 모델(기본 모델 교육만 통해)을 사용하여 가능한 한 최신 답변을 유지합니다.이를 통해 Co-LLM은 가장 최신 정보와 강력한 추론 능력을 결합할 수 있습니다.결국 모델은 그에 따라 업데이트해야 하는 최신 정보를 사용하여 기업 문서를 지원할 수 있습니다.Co-LLM은 또한 서버 내에 남아 있어야 하는 문서를 개선하기 위해 보다 강력한 LLM과 함께 작동하도록 소규모 개인 모델을 교육할 수도 있습니다.

"Co-LLM은 효율성과 성능을 향상시키기 위해 두 가지 모델 중에서 선택하는 방법을 배우는 데 흥미로운 접근 방식을 제시합니다."라고 토론토 대학교 부교수이자 Vector Institute의 부연구 이사인 Colin Raffel은 말합니다.연구.

"라우팅 결정은 토큰 수준에서 이루어지기 때문에 Co-LLM은 어려운 생성 단계를 보다 강력한 모델로 연기하는 세분화된 방법을 제공합니다. 모델-토큰 수준 라우팅의 고유한 조합은 또한 유사한 방법이 제공하는 상당한 유연성을 제공합니다.Co-LLM은 값비싼 모놀리식 AI 시스템을 능가하는 전문 모델 생태계를 개발하는 것을 목표로 하는 중요한 작업 라인에 기여합니다."

이 이야기는 MIT News(web.mit.edu/newsoffice/)는 MIT 연구, 혁신 및 교육에 대한 뉴스를 다루는 인기 사이트입니다.