約翰·霍普菲爾德和傑弗裡·辛頓因其研究成果於 2024 年 10 月 8 日獲得諾貝爾物理學獎幫助電腦學習的機器學習演算法和神經網絡。他們的工作對於發展支撐生成人工智慧的神經網路理論至關重要。

神經網路是一個計算模型由互連的神經元層組成。就像你大腦中的神經元，這些神經元處理並發送一條訊息。每個神經層接收一段數據，進行處理並將結果傳遞到下一層。在序列結束時，網路已將資料處理並提煉為更有用的東西。

雖然霍普菲爾德和辛頓因其對電腦科學中使用的神經網路的貢獻而獲得物理學獎似乎令人驚訝，但他們的工作深深植根於物理學原理，特別是一個稱為統計力學。

作為計算材料科學家，我很高興看到這一領域的研究獲獎。霍普菲爾德和辛頓的工作使我和我的同事能夠研究一種稱為生成學習的過程材料科學，這是 ChatGPT 等許多流行技術背後的方法。

什麼是統計力學？

統計力學是物理學的一個分支，它使用統計方法來解釋由大量粒子組成的系統的行為。

研究人員沒有關注單一粒子，而是使用統計力學看看許多粒子的集體行為。了解它們如何共同作用有助於研究人員了解系統的大規模宏觀特性，如溫度、壓力和磁化強度。

例如，物理學家恩斯特·伊辛在 1920 年代開發了磁性統計力學模型。將想像中的磁力視為集體行為原子自旋與鄰居互動。

在伊辛的模型中，系統存在較高能態和較低能態，材料更有可能以最低能態存在。

統計力學的一個關鍵思想是波茲曼分佈，它量化了給定狀態的可能性。此分佈描述了系統根據其能量和溫度處於特定狀態（例如固體、液體或氣體）的機率。

伊辛利用玻爾茲曼分佈準確地預測了磁鐵的相變。他計算了材料從磁性變成非磁性的溫度。

相變發生在可預測的溫度下。冰在特定溫度下融化成水，因為玻爾茲曼分佈預測當天氣變暖時，冰會融化成水。水分子更有可能呈現無序或液態狀態。

在材料中，原子排列成特定的晶體結構使用最少的能源。當天氣寒冷時，水分子會凍結成低能態的冰晶。

同樣，在生物學中，蛋白質折疊成低能量形狀，這使得它們能夠充當針對病毒的特異性抗體，就像鎖和鑰匙一樣。

神經網路與統計力學

從根本上來說，所有神經網路都遵循相似的原理——最小化能量。神經網路利用這項原理來解決計算問題。

例如，想像一張由像素組成的圖像，您只能看到圖片的一部分。有些像素是可見的，而其餘的則是隱藏的。為了確定影像是什麼，您需要考慮隱藏像素與可見像素組合在一起的所有可能方式。從那裡，您可以從統計力學所說的所有可能選項中最有可能的狀態中進行選擇。

霍普菲爾德和辛頓基於統計力學的想法發展了神經網路理論。就像他們之前的伊辛一樣，他透過神經網路對原子自旋的集體相互作用進行建模來解決照片問題，霍普菲爾德和辛頓想像了像素的集體相互作用。他們將這些像素表示為神經元。

正如統計物理學一樣，影像的能量指的是像素的特定配置的可能性有多大。霍普菲爾德網絡將透過找到隱藏像素的最低能量排列來解決這個問題。

然而，與統計力學不同的是，在統計力學中活力由已知的原子交互作用決定－神經網路從數據中學習這些能量。

辛頓推廣了反向傳播技術的發展。這項技術幫助模型計算出這些神經元之間的相互作用能量，而演算法為現代人工智慧學習奠定了基礎。

波茲曼機

在霍普菲爾德的工作的基礎上，辛頓想像了另一種神經網絡，稱為波茲曼機。它由我們可以觀察到的可見神經元和幫助網路學習複雜模式的隱藏神經元組成。

在玻爾茲曼機中，您可以確定圖片看起來某種方式的機率。要計算出此機率，您可以總結隱藏像素可能處於的所有可能狀態。

我的小組已經致力於在量子電腦中實現玻爾茲曼機以進行生成學習。

在生成學習中，網路學習產生新的資料樣本，這些樣本類似於研究人員輸入網路進行訓練的資料。例如，在對類似影像進行訓練後，它可能會產生手寫數字的新影像。網路可以透過從學習的機率分佈中取樣來產生這些。

生成學習是現代人工智慧的基礎——它可以生成AI 藝術、影片和文本。

霍普菲爾德和辛頓利用統計物理學的工具對人工智慧研究產生了重大影響。他們的工作將自然如何決定材料的物理狀態以及如何神經網路預測複雜計算機科學問題的解決方案的可能性。

本文轉載自對話根據知識共享許可。閱讀原創文章。