Brain-inspired chaotic spiking backpropagation
與 (a) 中常見的代理梯度方案相比,混沌尖峰反向傳播 (CSBP) 演算法引入了一個額外的大腦啟發損失函數,loss混亂,它來自每個神經元的輸出並產生全局混沌動力學。圖片來源:中國科學出版社

自從 20 世紀 80 年代發現兔子大腦的學習利用混沌以來,這種非線性且最初對價值敏感的動態行為越來越被認為是大腦學習的組成部分。

然而,現代學習演算法,特別是與大腦非常相似的尖峰神經網路(SNN),還沒有有效地利用這項特徵。

Zijian Wang 和 Peng Tao 以及實驗室主任 Luonan Chen 致力於將大腦中固有的混沌動力學引入現有 SNN 的學習演算法中。他們發現,這可以透過僅僅積分類似於交叉熵的損失函數來實現(見下圖)。

此外,他們觀察到配備混沌動力學的 SNN 不僅可以增強學習/優化性能,還可以提高神經形態資料集(例如 DVS-CIFAR10 和 DVS-Gesture)和大規模靜態資料集(例如 CIFAR100 和ImageNet),借助混沌的遍歷與偽隨機特性。

團隊還嘗試引入外部混沌,例如使用 Logistic 地圖。然而,這並沒有提高 SNN 的學習表現。「這是一個令人興奮的結果,它意味著內在的混亂儘管SNN具有更強的時空訊號表徵和更高的能量利用效率,但由於缺乏高效的神經網絡,其性能往往落後於同等規模的傳統神經網絡。

學習演算法這種新演算法有效地彌補了這一差距。此外,由於只需要引入一個額外的損失函數,因此它可以作為現有 SNN 學習方法的通用插件單元。

該研究是發表在日記中國家科學評論

更多資訊:Zijian Wang 等人,腦啟發混沌尖峰反向傳播,國家科學評論(2024)。DOI:10.1093/nsr/nwae037

期刊資訊: 混亂

引文:受大腦啟發的混沌尖峰反向傳播(2024 年,3 月 29 日)檢索日期:2024 年 3 月 29 日取自 https://techxplore.com/news/2024-03-brain-chaotic-spiking-backpropagation.html

本文檔受版權保護。除了出於私人學習或研究目的的任何公平交易外,不得未經書面許可,不得複製部分內容。所提供的內容僅供參考。