ジョン・J・ホップフィールドそしてジェフリー・E・ヒントンの研究により、2024 年 10 月 8 日にノーベル物理学賞を受賞しました。コンピューターの学習を支援する機械学習アルゴリズムとニューラル ネットワーク。彼らの研究は、生成人工知能を支えるニューラル ネットワーク理論の開発の基礎となってきました。

ニューラルネットワークというのは、計算モデル相互接続されたニューロンの層で構成されます。のように脳内のニューロン、これらのニューロンは情報を処理して送信します。各ニューラル層はデータを受け取り、それを処理して、結果を次の層に渡します。シーケンスの終わりまでに、ネットワークはデータを処理し、より有用なものに改良します。

ホップフィールドとヒントンがコンピューターサイエンスで使用されるニューラルネットワークへの貢献で物理学賞を受賞したのは意外に思えるかもしれないが、彼らの研究は物理学の原理、特に「ニューラルネットワーク」と呼ばれるサブ分野に深く根ざしている。統計力学。

計算的なものとして材料科学者, この研究分野が賞を受賞したのを見て興奮しました。ホップフィールドとヒントンの研究により、同僚と私は生成学習と呼ばれるプロセスを研究することができました。材料科学、ChatGPT のような多くの人気のあるテクノロジーの背後にあるメソッドです。

統計力学とは何ですか?

統計力学は、統計的手法を使用して、多数の粒子で構成されるシステムの動作を説明する物理学の分野です。

研究者らは、個々の粒子に焦点を当てるのではなく、統計力学多くの粒子の集合的な挙動を観察します。これらすべてがどのように連携して動作するかを確認することは、研究者が温度、圧力、磁化などのシステムの大規模な巨視的特性を理解するのに役立ちます。

例えば、物理学者エルンスト・アイジング1920 年代に磁気の統計力学モデルを開発しました。想像上の磁力を集団的行動として捉える原子スピン隣人との交流。

イジングのモデルでは、系には高いエネルギー状態と低いエネルギー状態があり、材料は最も低いエネルギー状態に存在する可能性が高くなります。

統計力学における重要な考え方の 1 つは次のとおりです。ボルツマン分布、特定の状態の可能性を数値化します。この分布は、システムがそのエネルギーと温度に基づいて、固体、液体、気体などの特定の状態にある確率を表します。

イジングはボルツマン分布を使用して磁石の相転移を正確に予測しました。彼は、材料が磁性から非磁性へと変化する温度を割り出しました。

相変化は予測可能な温度で発生します。ボルツマン分布は、気温が上がると氷が溶けて水になると予測しているため、氷は特定の温度で水になります。水の分子無秩序な、つまり流動的な状態になる可能性が高くなります。

物質中では、原子が次のように配置されます。特定の結晶構造エネルギー使用量が最も少ないもの。寒いとき、水分子は凍って低エネルギー状態の氷の結晶になります。

生物学でも同様に、タンパク質は低エネルギーの形状に折りたたまれますこれにより、ウイルスを標的とする鍵と鍵のような特定の抗体として機能することができます。

ニューラルネットワークと統計力学

基本的に、すべてのニューラル ネットワークは同様の原理で動作し、エネルギーを最小限に抑えます。ニューラル ネットワークはこの原理を使用してコンピューティングの問題を解決します。

たとえば、画像の一部しか見えないピクセルで構成された画像を想像してください。一部のピクセルは表示されますが、残りは非表示になります。画像が何であるかを判断するには、隠れたピクセルが表示されている部分に収まる可能性のあるすべての方法を検討します。そこから、統計力学がすべての可能な選択肢の中から最も可能性が高いと判断する状態の中から選択します。

ホップフィールドとヒントンは、統計力学の考え方に基づいてニューラル ネットワークの理論を開発しました。ニューラル ネットワークを使用して写真の問題を解決するために原子スピンの集合的相互作用をモデル化したイジングと同じように、ホップフィールドとヒントンはピクセルの集合的相互作用を想像しました。彼らはこれらのピクセルをニューロンとして表現しました。

統計物理学と同様に、画像のエネルギーは、ピクセルの特定の構成がどの程度可能であるかを指します。ホップフィールドネットワークこの問題は、隠れたピクセルのエネルギーが最も低い配置を見つけることによって解決されます。

ただし、統計力学とは異なります。エネルギーは既知の原子相互作用によって決定されます。ニューラル ネットワークはこれらのエネルギーをデータから学習します。

ヒントンバックプロパゲーションと呼ばれる技術の開発を普及させた。この手法は、モデルがこれらのニューロン間の相互作用エネルギーを把握するのに役立ち、このアルゴリズムは現代の AI 学習の多くを支えています。

ボルツマンマシン

ホップフィールドの研究に基づいて、ヒントンは、と呼ばれる別のニューラル ネットワークを想像しました。ボルツマンマシン。これは、私たちが観察できる可視ニューロンと、ネットワークが複雑なパターンを学習するのに役立つ隠れニューロンで構成されています。

ボルツマン マシンでは、写真が特定の方向に見える確率を決定できます。この確率を計算するには、隠れたピクセルが取り得るすべての状態を合計することができます。これにより、可視ピクセルが特定の配置になる合計確率が得られます。

私のグループが取り組んできたのは、生成学習のために量子コンピューターにボルツマンマシンを実装する。

生成学習では、ネットワークは、研究者がネットワークを訓練するためにネットワークに供給したデータに似た新しいデータ サンプルを生成することを学習します。たとえば、同様の画像でトレーニングされた後、手書きの数字の新しい画像を生成する可能性があります。ネットワークは、学習した確率分布からサンプリングすることによってこれらを生成できます。

生成学習は現代の AI を支えています。これにより、AI アート、ビデオ、テキスト。

ホップフィールドとヒントンは、統計物理学のツールを活用することで AI 研究に大きな影響を与えました。彼らの研究は、自然が物質の物理的状態を決定する方法と、ニューラルネットワーク複雑なコンピューター サイエンスの問題に対する解決策の可能性を予測します。

この記事はから転載されています会話クリエイティブ・コモンズ・ライセンスに基づいて。読んでください元の記事。