克服「災難性遺忘」：受大腦啟發的演算法允許神經網路保留知識

2024-10-10 05:53:56

神經網路具有學習特定任務的非凡能力，例如識別手寫數字。然而，這些模型在教授額外任務時經常會經歷「災難性遺忘」：它們可以成功學習新任務，但「忘記」如何完成原來的任務。對於許多人工神經網路來說，例如那些引導自動駕駛汽車的神經網絡，學習額外的任務需要完全重新編程。

New algorithm enables neural networks to learn continuously — 在權重空間中建構 FIP 的微分幾何框架。一個**，左：任務的常規訓練找到一個經過訓練的網路（**wt）解決方案。_{右圖：FIP 策略發現了等性能網路的子流形（}w1_,w2_��w氮_{）對於感興趣的任務，能夠有效搜尋具有對抗穩健性的網路（}w2_{），具有高任務性能的稀疏網路（}w3_{）以及學習多項任務而不忘記（}w4_）。乙**，頂部：經過訓練的具有權重配置的 CNN（**wt），由連接網路不同層的線表示，接受輸入影像_x並產生一個十元素輸出向量，f（x,wt）。底部：網路權重的擾動**資料中心**_{產生具有權重配置的新網絡}wtØ+資料中心改變輸出向量，f（_x,wtØ+資料中心**），對於相同的輸入，x**。c_{, FIP 演算法辨識權重擾動}我* 最小化輸出空間中移動的距離並最大化與次要目標函數的梯度的對齊（∇wL）。淺藍色箭頭表示Ïμ-範數權重擾動，最小化輸出空間中移動的距離，深藍色箭頭表示Ïμ- 範數權重擾動，最大化與目標函數梯度的對齊，_L（x,w）。次要目標函數L（x,w）是多種多樣的，以解決不同的機器學習挑戰。d, 路徑取樣演算法定義FIPs,γ（t），透過迭代辨識Ïμ- 範數擾動（我*(t)) 在權重空間中。信用：*自然機器智能*（2024）。*DOI：10.1038/s42256-024-00902-x*神經網路具有學習特定任務的非凡能力，例如識別手寫數字。**然而，這些模型在教授額外任務時經常會經歷「災難性遺忘」：它們可以成功學習新任務，但「忘記」如何完成原來的任務。**對於許多人工神經網路來說，例如那些引導自動駕駛汽車的神經網絡，學習額外的任務需要完全重新編程。*另一方面，生物大腦卻非常靈活。*例如，人類和動物可以輕鬆學習如何玩新遊戲，而無需重新學習如何走路和說話。*受人類和動物大腦靈活性的啟發，加州理工學院的研究人員現已開發出一種新型*演算法

這使得神經網路能夠利用新數據不斷更新，從而無需從頭開始學習。

該演算法被稱為功能不變路徑（FIP）演算法，具有廣泛的應用，從改進線上商店的推薦到微調自動駕駛汽車。

該演算法是由計算生物學助理教授兼傳統醫學研究所 (HMRI) 研究員 Matt Thomson 的實驗室開發的。該研究描述於新研究

出現在雜誌上自然機器智能。湯姆森和前研究生 Guru Raghavan 博士。受到啟發

神經科學研究在加州理工學院，特別是在生物學研究教授 Carlos Lois 的實驗室。路易斯研究鳥類如何重新連接它們的大腦，以便在停頓後重新學習如何唱歌。腦損傷。人類也能做到這一點；經歷過的人腦損傷例如，中風患者通常可以建立新的神經連接，以再次學習日常功能。

「這是一個為期數年的項目，始於大腦如何靈活學習的基礎科學，」湯姆森說。“我們如何賦予人工這種能力神經網路？

該團隊使用稱為微分幾何的數學技術開發了 FIP 演算法。該框架允許修改神經網路而不會丟失先前編碼的資訊。

2022 年，在加州理工學院常駐企業家 Julie Schoenfeld 的指導下，Raghavan 和 Thomson 創辦了一家名為 Yurts 的公司，以進一步開發 FIP 演算法並大規模部署機器學習系統以解決許多不同的問題。Raghavan 與行業專業人士 Ben Van Roo 和 Jason Schnitzer 共同創立了 Yurts。

拉加萬是該研究的第一作者。除了 Raghavan 和 Thomson 之外，加州理工學院的共同作者還有研究生 Surya Narayanan Hari 和 Shichen Rex Liu，以及合作者 Dhruvil Satani。埃及亞歷山大大學的巴希·塔爾瓦特 (Bahey Tharwat) 也是這項研究的合著者。湯姆森是加州理工學院陳天橋和克麗絲陳神經科學研究所的附屬教員。

更多資訊：Guruprasad Raghavan 等人，透過遍歷功能不變的路徑來設計靈活的機器學習系統，自然機器智能（2024）。DOI：10.1038/s42256-024-00902-x

引文：克服「災難性遺忘」：受大腦啟發的演算法允許神經網路保留知識（2024 年 10 月 9 日）檢索日期：2024 年 10 月 10 日來自 https://techxplore.com/news/2024-10-catastropic-algorithm-brain-neural-networks.html

本文檔受版權保護。除了出於私人學習或研究目的的任何公平交易外，不得未經書面許可，不得複製部分內容。所提供的內容僅供參考。

另請參閱其他語言版本: English | 简中 | 正體 | 日本語 | 한국인 | हिंदी | Español