'치명적 망각' 극복: 뇌에서 영감을 얻은 알고리즘을 통해 신경망이 지식을 유지할 수 있음

2024-10-10 05:53:56

신경망은 손으로 쓴 숫자를 식별하는 것과 같은 특정 작업을 학습하는 놀라운 능력을 가지고 있습니다.그러나 이러한 모델은 추가 작업을 가르칠 때 종종 "치명적인 망각"을 경험합니다. 즉, 새로운 과제를 성공적으로 배울 수 있지만 원본을 완료하는 방법을 "잊습니다".자율주행차를 안내하는 것과 같은 많은 인공 신경망의 경우 추가 작업을 학습하려면 완전히 재프로그래밍되어야 합니다.

New algorithm enables neural networks to learn continuously — 가중치 공간에서 FIP를 구성하기 위한 미분 기하학적 프레임워크.에이**, 왼쪽: 작업에 대한 기존 훈련은 훈련된 단일 네트워크를 찾습니다(**승티**) 해결책.**_{오른쪽: FIP 전략은 등성능 네트워크의 하위 다양체를 발견합니다(}승1_,승2_...승N_{) 관심 있는 작업에 대해 적대적 견고성이 부여된 네트워크를 효율적으로 검색할 수 있습니다(}승2_{), 작업 성능이 높은 희소 네트워크(}승3_{) 및 잊지 않고 여러 작업을 학습하기 위해 (}승4_).비**, 상단: 가중치 구성이 포함된 훈련된 CNN(**승티**)는 네트워크의 서로 다른 레이어를 연결하는 선으로 표시되며 입력 이미지를 받아들입니다.**_엑스10개 요소로 구성된 출력 벡터를 생성합니다.에프**(엑스**,승티).하단: 네트워크 가중치의 섭동dw_{가중치 구성이 포함된 새로운 네트워크가 생성됩니다.}승티**â+dw**변경된 출력 벡터로,에프(_엑스,승티â+dw), 동일한 입력에 대해,엑스.기음_{, FIP 알고리즘은 체중 변동을 식별합니다.}나* 출력 공간에서 이동한 거리를 최소화하고 2차 목적 함수의 기울기로 정렬을 최대화합니다(…승엘).연한 파란색 화살표는 다음을 나타냅니다.Ïμ- 출력 공간에서 이동된 거리를 최소화하는 표준 중량 섭동이며 진한 파란색 화살표는Ïμ- 목적 함수의 기울기에 대한 정렬을 최대화하는 표준 가중치 섭동,_엘(엑스,승).2차 목적 함수엘(엑스,승)은 뚜렷한 기계 학습 문제를 해결하기 위해 다양합니다.디*, 경로 샘플링 알고리즘은 FIP를 정의합니다.*γ(티), 반복적인 식별을 통해Ïμ-표준 섭동(나*(티*)) 가중치 공간에서.*신용 거래:*자연 기계 지능*(2024).DOI: 10.1038/s42256-024-00902-x신경망은 손으로 쓴 숫자를 식별하는 것과 같은 특정 작업을 학습하는 놀라운 능력을 가지고 있습니다.그러나 이러한 모델은 추가 작업을 가르칠 때 종종 "치명적인 망각"을 경험합니다. 즉, 새로운 과제를 성공적으로 배울 수 있지만 원본을 완료하는 방법을 "잊습니다".자율주행차를 안내하는 것과 같은 많은 인공 신경망의 경우 추가 작업을 학습하려면 완전히 재프로그래밍되어야 합니다.반면에 생물학적 두뇌는 놀라울 정도로 유연합니다.예를 들어, 인간과 동물은 걷고 말하는 방법을 다시 배울 필요 없이 새로운 게임을 하는 방법을 쉽게 배울 수 있습니다.Caltech 연구진은 인간과 동물 두뇌의 유연성에 영감을 받아 새로운 유형의 뇌를 개발했습니다.연산

이를 통해 신경망은 처음부터 시작할 필요 없이 학습할 수 있는 새로운 데이터로 지속적으로 업데이트될 수 있습니다.

FIP(기능적 불변 경로) 알고리즘으로 불리는 이 알고리즘은 온라인 상점 추천 개선부터 자율주행차 미세 조정까지 폭넓게 적용됩니다.

이 알고리즘은 전산 생물학 조교수이자 HMRI(Heritage Medical Research Institute) 연구원인 Matt Thomson의 연구실에서 개발되었습니다.연구는새로운 연구

일지에 등장자연 기계 지능.Thomson과 전 대학원생 Guru Raghavan, Ph.D.에서 영감을 얻었습니다

신경과학 연구Caltech, 특히 생물학 연구 교수인 Carlos Lois의 연구실에서요.로이스는 새들이 경기 후 다시 노래하는 법을 배우기 위해 뇌를 재연결하는 방법을 연구합니다.뇌 손상.인간도 이것을 할 수 있습니다.경험한 사람들뇌 손상예를 들어, 뇌졸중으로 인해 일상적인 기능을 다시 배우기 위해 새로운 신경 연결을 구축할 수 있는 경우가 많습니다.

Thomson은 "이것은 뇌가 어떻게 유연하게 학습하는지에 대한 기초 과학으로 시작된 수년간의 프로젝트였습니다."라고 말했습니다."이 기능을 인공 지능에 어떻게 부여할 수 있나요?신경망?"

팀은 미분 기하학이라는 수학적 기술을 사용하여 FIP 알고리즘을 개발했습니다.프레임워크를 사용하면 이전에 인코딩된 정보를 잃지 않고 신경망을 수정할 수 있습니다.

2022년에 Caltech Entrepreneur In Residence인 Julie Schoenfeld의 지도에 따라 Raghavan과 Thomson은 Yurts라는 회사를 시작하여 FIP 알고리즘을 추가로 개발하고 기계 학습 시스템을 대규모로 배포하여 다양한 문제를 해결했습니다.Raghavan은 업계 전문가 Ben Van Roo 및 Jason Schnitzer와 함께 Yurts를 공동 창립했습니다.

Raghavan은 연구의 첫 번째 저자입니다.Raghavan과 Thomson 외에도 Caltech의 공동 저자로는 대학원생인 Surya Narayanan Hari와 Shichen Rex Liu, 공동 작업자인 Dhruvil satani가 있습니다.이집트 알렉산드리아 대학교의 Bahey Tharwat도 공동 저자입니다.Thomson은 Caltech의 Tianqiao 및 Chrissy Chen 신경과학 연구소 소속 교수입니다.

추가 정보:Guruprasad Raghavan 외, 기능적으로 불변 경로를 탐색하여 유연한 기계 학습 시스템 엔지니어링,자연 기계 지능(2024).DOI: 10.1038/s42256-024-00902-x

소환:'파국적 망각' 극복: 뇌에서 영감을 얻은 알고리즘을 통해 신경망이 지식을 유지할 수 있음(2024년 10월 9일)2024년 10월 10일에 확인함https://techxplore.com/news/2024-10-catastrophic-algorithm-brain-neural-networks.html에서

다른 언어 버전도 참조하세요: English | 简中 | 正體 | 日本語 | 한국인 | हिंदी | Español