Photonic neuromorphic architecture for tens-of-task lifelong learning
神經形態光子終身學習的例證。每個光學層中的光子連接隨著不同的任務而逐漸啟動。光子神經元只有在被相應訊號激活時才會發光,其中活動連接相對稀疏,資訊在頻譜中並行傳輸。信用:光:科學與應用(2024)。DOI:10.1038/s41377-024-01395-4

在大規模資料集的推動下,人工智慧 (AI) 任務變得越來越豐富和複雜。隨著摩爾定律的平穩期和登納德縮放的結束,能源消耗成為當今重型電子深度神經模型更廣泛應用的主要障礙,特別是在終端/邊緣系統中。

該社區正在尋求下一代運算模式,以突破基於電子的人工神經網路 (ANN) 實現的物理限制。

光子計算一直是克服電子學固有限制並將能源效率、處理速度和計算吞吐量提高幾個數量級的有前途的途徑。

這種非凡的特性已被用來建構特定於應用的光學架構,以解決基本的數學和訊號處理問題,其性能遠遠超出現有電子處理器的性能。

不幸的是,現有的 ONN 遭受“災難性遺忘”,仍然在處理簡單的單一任務。主要原因是它們繼承了傳統計算系統的普遍問題,即訓練新模型時容易幹擾以前學到的知識,當接受新事物訓練時,會很快忘記從以前學到的任務中獲得的專業知識。

這種方法無法充分利用波動光學的稀疏性和平行性的內在特性進行光子計算,最終導致多任務學習的網路容量和可擴展性較差。

在最近的一篇論文中發表光:科學與應用中國北京清華大學電子工程系西格瑪實驗室陸方教授領導的科學家團隊及其同事開發了 L2ONN,可重構光子運算為了終身學習。

光、空間稀疏和多光譜並行的獨特特性首次在光子運算架構中發展,賦予ONNs終身學習能力。與嘗試模仿 ANN 結構的現有 ONN 不同,L 的光子終身學習2ONN 最初的設計遵循光與物質相互作用的物理性質,以充分探索波動光學在光子計算中的功能和性能潛力。

受益於所提出的終身學習光學計算架構,對自由空間和片上架構的實驗評估表明,L2ONN 在挑戰數十個任務上展現了其非凡的學習能力,例如視覺分類、和醫療診斷,支持各種新環境。

L2ONN 的容量比現有光學神經網路大 14 倍,能源效率比代表性的電子人工神經網路高一個數量級。

「人類擁有增量吸收、學習和記憶知識的獨特能力。特別是,神經元和突觸僅在有任務需要處理時才執行工作,其中有兩個重要機制參與:稀疏神經元連接和並行任務驅動的神經認知。

「因此,在 ONN 中,基於光學算子的內在稀疏性和平行性特性,這些特徵可以自然地從生物神經元提升到光子神經元。

「模仿人腦結構和功能的光學架構展示了其緩解上述問題的潛力,這在建立可行的終身學習運算系統方面比電子方法更具優勢。

「我們已經證明,光子終身學習為大規模現實生活人工智慧應用提供了交鑰匙解決方案,具有前所未有的可擴展性和多功能性。我們預計,所提出的神經形態架構將加速更強大的光子運算的開發,作為現代先進機器的關鍵支援智慧並開啟人工智慧新時代,」科學家們表示。

更多資訊:Yuan Cheng 等人,用於數十任務終身學習的光子神經形態架構,光:科學與應用(2024)。DOI:10.1038/s41377-024-01395-4

提供者:交易傳播

引文:研究團隊開發可重構光子運算架構以實現終身學習(2024年4月3日)檢索日期:2024 年 4 月 3 日取自 https://techxplore.com/news/2024-04-team-reconfigurable-photonic-architecture-lifelong.html

本文檔受版權保護。除了出於私人學習或研究目的的任何公平交易外,不得未經書面許可,不得複製部分內容。所提供的內容僅供參考。