约翰·霍普菲尔德和杰弗里·辛顿因其研究成果于 2024 年 10 月 8 日获得诺贝尔物理学奖帮助计算机学习的机器学习算法和神经网络。他们的工作对于发展支撑生成人工智能的神经网络理论至关重要。

神经网络是一个计算模型由互连的神经元层组成。就像你大脑中的神经元，这些神经元处理并发送一条信息。每个神经层接收一段数据，对其进行处理并将结果传递到下一层。在序列结束时，网络已将数据处理并提炼为更有用的东西。

虽然霍普菲尔德和辛顿因其对计算机科学中使用的神经网络的贡献而获得物理学奖似乎令人惊讶，但他们的工作深深植根于物理学原理，特别是一个称为统计力学。

作为计算材料科学家，我很高兴看到这一领域的研究获奖。霍普菲尔德和辛顿的工作使我和我的同事能够研究一种称为生成学习的过程材料科学，这是 ChatGPT 等许多流行技术背后的方法。

什么是统计力学？

统计力学是物理学的一个分支，它使用统计方法来解释由大量粒子组成的系统的行为。

研究人员没有关注单个粒子，而是使用统计力学看看许多粒子的集体行为。了解它们如何共同作用有助于研究人员了解系统的大规模宏观特性，如温度、压力和磁化强度。

例如，物理学家恩斯特·伊辛在 20 年代开发了磁性统计力学模型。将想象中的磁力视为集体行为原子自旋与邻居互动。

在伊辛的模型中，系统存在较高能态和较低能态，材料更有可能以最低能态存在。

统计力学的一个关键思想是玻尔兹曼分布，它量化了给定状态的可能性。该分布描述了系统根据其能量和温度处于特定状态（例如固体、液体或气体）的概率。

伊辛利用玻尔兹曼分布准确地预测了磁体的相变。他计算出了材料从磁性变为非磁性的温度。

相变发生在可预测的温度下。冰在特定温度下融化成水，因为玻尔兹曼分布预测当天气变暖时，冰会融化成水。水分子更有可能呈现无序或液态状态。

在材料中，原子排列成特定的晶体结构使用最少的能源。当天气寒冷时，水分子会冻结成低能态的冰晶。

同样，在生物学中，蛋白质折叠成低能量形状，这使得它们能够充当针对病毒的特异性抗体，就像锁和钥匙一样。

神经网络和统计力学

从根本上来说，所有神经网络都遵循相似的原理——最小化能量。神经网络利用这一原理来解决计算问题。

例如，想象一张由像素组成的图像，您只能看到图片的一部分。一些像素是可见的，而其余的则是隐藏的。为了确定图像是什么，您需要考虑隐藏像素与可见像素组合在一起的所有可能方式。从那里，您可以从统计力学所说的所有可能选项中最有可能的状态中进行选择。

霍普菲尔德和辛顿基于统计力学的思想发展了神经网络理论。就像他们之前的伊辛一样，他通过神经网络对原子自旋的集体相互作用进行建模来解决照片问题，霍普菲尔德和辛顿想象了像素的集体相互作用。他们将这些像素表示为神经元。

正如统计物理学中一样，图像的能量指的是像素的特定配置的可能性有多大。霍普菲尔德网络将通过找到隐藏像素的最低能量排列来解决这个问题。

然而，与统计力学不同的是，统计力学中活力由已知的原子相互作用决定——神经网络从数据中学习这些能量。

辛顿推广了反向传播技术的发展。这项技术帮助模型计算出这些神经元之间的相互作用能量，并且该算法为现代人工智能学习奠定了基础。

玻尔兹曼机

在霍普菲尔德的工作的基础上，辛顿想象了另一种神经网络，称为玻尔兹曼机。它由我们可以观察到的可见神经元和帮助网络学习复杂模式的隐藏神经元组成。

在玻尔兹曼机中，您可以确定图片看起来某种方式的概率。要计算出此概率，您可以总结隐藏像素可能处于的所有可能状态。这将为您提供可见像素处于特定排列的总概率。

我的小组已经致力于在量子计算机中实现玻尔兹曼机以进行生成学习。

在生成学习中，网络学习生成新的数据样本，这些样本类似于研究人员输入网络进行训练的数据。例如，在对类似图像进行训练后，它可能会生成手写数字的新图像。网络可以通过从学习的概率分布中采样来生成这些。

生成学习是现代人工智能的基础——它可以生成AI 艺术、视频和文本。

霍普菲尔德和辛顿利用统计物理学的工具对人工智能研究产生了重大影响。他们的工作将自然如何决定材料的物理状态以及如何神经网络预测复杂计算机科学问题的解决方案的可能性。

本文转载自对话根据知识共享许可。阅读原创文章。