A first physical system to learn nonlinear tasks without a traditional computer processor
Sam Dillavou 是藝術與科學學院榴槤研究小組的博士後,他構建了這個對比本地學習網絡的組件,這是一個快速、低功耗、可擴展且能夠學習非線性任務的模擬系統。圖片來源:艾麗卡·莫澤

科學家在嘗試建構和擴展能夠執行機器學習的類腦系統時遇到了許多權衡。例如,人工神經網路能夠學習複雜的語言和視覺任務,但訓練電腦執行這些任務的過程很慢並且需要大量的電力。

訓練機器以數位方式學習,但以類比方式執行任務(這意味著輸入隨物理量(例如電壓)而變化)可以減少時間和功耗,但小錯誤會迅速複合。

賓州大學物理與工程研究人員開發的電網先前設計的更具可擴展性,因為錯誤不會以與系統規模增長相同的方式複合,但它受到嚴重限制,因為它只能學習線性任務,即輸入和輸出之間具有簡單關係的任務。

現在,研究人員創建了一個快速、低功耗、可擴展且能夠了解更多資訊的模擬系統,包括「異或」關係 (XOR) 和非線性迴歸。這稱為對比局部學習網路;這些組件根據局部規則自行演化,而不了解更大的結構。

物理學教授道格拉斯·J·杜里安 (Douglas J. Durian) 將其與大腦中神經元的作用進行了比較。不知道其他神經元在做什麼,但學習卻出現了。

「它可以學習,在榴槤研究小組的博士後、有關該系統的論文的第一作者、物理學家 Sam Dillavou 說:發表美國國家科學院院刊

「我們真正興奮的一件事是,因為它不了解網路的結構,所以它對錯誤的容忍度非常高,對於以不同的方式製作它非常穩健,我們認為這會帶來很多好處」工程學教授Marc Z. Miskin 說。

「我認為這是一個理想的模型系統,我們可以透過研究它來深入了解各種問題,包括生物學問題,」物理學教授安德里亞·J·劉(Andrea J. Liu)說。她還表示,這對於與收集需要處理的數據的設備(例如攝影機和麥克風)進行互動可能很有幫助。

在論文中,作者表示,他們的自學系統「為研究新興學習提供了獨特的機會。相較之下包括大腦在內,我們的系統依賴更簡單、易於理解的動力學,可精確訓練,並使用簡單的模組化組件。

這項研究基於 Liu 和博士後 Menachem (Nachi) Stern 設計的耦合學習框架,將於 2021 年發布他們的研究結果。在這種範例中,不是為完成特定任務而設計的實體系統會適應應用的輸入來學習該任務,同時使用本地學習規則並且沒有集中處理器。

迪拉沃說,他專門為了這個計畫來到賓州大學,他致力於將框架從模擬工作轉變為當前的物理設計,可以使用標準電路組件進行製作。

「這方面最瘋狂的部分之一是,它確實是在自行學習;我們只是將其設定為運行,」迪拉沃說。研究人員僅輸入電壓作為輸入,然後連接節點的電晶體根據耦合學習規則更新其屬性。

「因為它的計算和學習方式都是基於物理學,所以它更容易解釋,」米斯金說。「你實際上可以弄清楚它想要做什麼,因為你對底層機制有很好的掌握。這很獨特,因為許多其他學習系統都是黑匣子,很難知道網路為什麼這樣做。 ”

Durian 表示,他希望這“是一個巨大領域的開始”,並指出他實驗室的另一位博士後 Lauren Altman 正在構建對比本地學習網絡的機械版本。

研究人員目前正在擴大設計規模,劉說,關於記憶體儲存的持續時間、噪音的影響、網路的最佳架構以及是否存在更好的非線性形式,存在著許多問題。

米斯金說:“我們並不清楚隨著我們擴大學習系統的規模,會發生什麼變化。”

「如果你想像大腦,那麼擁有300 個神經元的蠕蟲與人類之間存在著巨大的差距,這些能力在哪裡出現,隨著規模的擴大,事情會如何變化,這些並不明顯。擁有一個可以變得更大、更強大的物理系統。

更多資訊:Sam Dillavou 等人,沒有處理器的機器學習:非線性模擬網路中的緊急學習,美國國家科學院院刊(2024)。DOI:10.1073/pnas.2319718121

引文:第一個無需傳統電腦處理器即可學習非線性任務的實體系統(2024 年 7 月 8 日)檢索日期:2024 年 7 月 8 日來自 https://techxplore.com/news/2024-07-physical-nonlinear-tasks-traditional-processor.html

本文檔受版權保護。除了出於私人學習或研究目的的任何公平交易外,不得未經書面許可,不得複製部分內容。所提供的內容僅供參考。