人間の脳は、その驚くべき一般知能と並外れた電力消費効率を備えており、人工知能の分野に対する絶え間ないインスピレーションと願望の役割を果たしています。脳の基本的な構造と情報処理メカニズムから洞察を引き出し、脳にインスピレーションを得たコンピューティングは、新しい計算パラダイムとして出現し、人工知能を特殊な領域から一般知能のより広範なアプリケーションへと導く準備が整っています。

国際半導体協会は、脳をヒントにしたコンピューティングを、ムーアの法則以降の時代で最も有望な 2 つの破壊的コンピューティング技術の 1 つとして認めました。

チップ、ソフトウェア、アルゴリズム、モデルなどが関与する学際的な分野として、脳からインスピレーションを得たコンピューティングの概念と研究パラダイムは継続的に拡大し深化しています。特に、2019年に清華大学の脳にインスピレーションを得たコンピューティング研究センターによってリリースされたTianjicチップは、脳にインスピレーションを得たコンピューティングの分野における重要なマイルストーンとなった。

このチップは、コンピューターサイエンス指向モデルと神経科学指向モデルをサポートするだけでなく、それらのハイブリッドモデリングも可能にし、デュアルブレイン駆動のヘテロジニアスブレインからインスピレーションを得たコンピューティングという新たなパラダイムを強力にサポートします。この画期的な進歩により、ハイブリッド ニューラル ネットワーク (HNN) の精力的な開発と革新がさらに刺激されました。

最近、HNN の包括的なレビューが行われました。出版されたでナショナル・サイエンス・レビュー、清華大学のRong Zhao教授のチームとLuping Shi教授のチームの共同研究のおかげで。このレビューでは、HNN の起源、概念、構築フレームワーク、サポート システムを網羅する体系的な概要を提供するとともに、開発の軌跡と将来の方向性も強調しています。

デュアルブレイン原理によって駆動される代表的な研究パラダイムとして、HNN は神経科学指向のスパイキング ニューラル ネットワーク (SNN) とコンピューター科学指向の人工ニューラル ネットワーク (ANN) をシームレスに組み合わせています。情報表現と処理の点でこれらの異種ネットワークの独自の利点を活用することにより、HNN は汎用人工知能 (AGI) の開発に新たな活力を注入します。

HNN 内の ANN と SNN に固有の異質性により、これらに広範な柔軟性と多様性が提供されます。ただし、この異質性は、その構築において重大な課題も引き起こします。HNN の開発を効果的に促進するには、統合パラダイム、基礎理論、情報フロー、相互作用モード、ネットワーク構造など、さまざまな観点をカバーする体系的なアプローチが不可欠です。

共同チームは、これらの課題に対処する HNN の一般的な設計および計算フレームワークを開拓してきました。彼らは、パラメータ化されたハイブリッド ユニット (HU) を使用して、デカップリングの後に統合するという革新的なアプローチを採用し、異種間の接続の問題をうまく解決しました。ニューラルネットワーク。この統合戦略は、さまざまな異種コンピューティング パラダイムの独自の特性を組み合わせながら、分離を通じて柔軟性と構築効率を向上させます。

この新しいフレームワークを採用することで、HNN は ANN と SNN の制限を緩和しながら、両方の長所から恩恵を受けることができます。このアプローチは、HNN のパフォーマンスと機能を強化するだけでなく、脳にインスピレーションを得たコンピューティングの分野におけるさらなる研究と進歩のための基盤も提供します。

多様な設計次元を考慮することで、柔軟で多様な HNN モデルを構築できます。これらのモデルは、データとサポート システムの異質性を活用して、パフォーマンスとコストのより良いバランスを実現できます。

現在、HNN はターゲット追跡などのインテリジェントなタスクに広く適用されています。音声認識、継続的学習、意思決定制御など、これらの領域に革新的なソリューションを提供します。さらに、脳の不均一性に着想を得た HNN は、神経科学研究のモデリング ツールとしても機能し、神経科学と HNN の共同開発を促進します。

この相乗効果により、両方の分野が共に進歩する広大な研究スペースと機会が開かれます。継続的な研究と探求を通じて、HNN は AGI の開発と脳の複雑なメカニズムの理解にさらに貢献することが期待されています。

HNN を効率的に展開して適用するには、適切なサポート システムの開発が重要です。現在、チップ、ソフトウェア、システムなど、いくつかのサポート インフラストラクチャが開発されています。チップ設計の点では、ハイブリッド脳からインスピレーションを得たチップである Tianjic は、HNN のシームレスな統合のために包括的に最適化されています。このチップは、特に HNN アプリケーション向けに調整された強化されたパフォーマンスと効率を提供します。

ソフトウェア側では、ニューロモーフィックな完全性により、HNN のコンパイルと展開に対する理論的なサポートとフレームワーク設計のガイダンスが提供されます。これにより、ソフトウェア システムが HNN モデルの固有の特性と計算要件を効果的に処理できるようになります。

さらに、Jingwei-2 脳をヒントにしたコンピューティング システムは、コンピューティング、ストレージ、通信インフラストラクチャをクラスター レベルで最適化しました。このシステムは、複雑なニューラル ネットワークの計算要求を処理するために必要なリソースを提供することにより、大規模な HNN 開発のための強固な基盤を築きます。

将来を見据えて、大規模 HNN に関する徹底的な研究は非常に重要です。たとえば、現在、深層学習の分野では、数十億、さらには数兆のパラメータを持つ Transformer ベースのモデルが、自然言語処理と画像理解において大幅な進歩を遂げています。ただし、これらの進歩には多大なエネルギーコストが伴います。

最近のチップ設計に関するカンファレンスである ISSCC では、HNN を使用してハイブリッド Transformer モデルの構築に成功し、エネルギー消費の大幅な削減につながったことが報告されました。これは、大規模モデルに伴うエネルギー効率の課題に対処する際の HNN の可能性を強調しています。

大規模な HNN の設計と最適化方法の探索、およびトレーニング データセットの構築は、将来の重要な研究方向となります。これらの分野は、特に複雑なモデルのパフォーマンスを維持または向上させながらエネルギー消費を軽減する際に、高い研究価値と幅広い応用の見通しを提供します。

詳細情報:Faqiang Liu 他、ハイブリッド ニューラル ネットワークによる脳にインスピレーションを得たコンピューティングの進歩、ナショナル・サイエンス・レビュー（2024年）。DOI: 10.1093/nsr/nwae066