Photonic neuromorphic architecture for tens-of-task lifelong learning
ニューロモーフィックフォトニック生涯学習のイラスト。各光学層のフォトニック接続は、さまざまなタスクによって徐々にアクティブ化されます。フォトニックニューロンは、対応する信号によって活性化された場合にのみ明るくなり、活性化された接続は比較的まばらであり、情報はスペクトル内で並行して送信されます。クレジット:光: 科学と応用(2024年)。DOI: 10.1038/s41377-024-01395-4

人工知能 (AI) タスクは、大規模なデータセットによって加速され、ますます大量かつ複雑になってきています。ムーアの法則の停滞とデナード スケーリングの終焉により、エネルギー消費は、特に端末/エッジ システムにおいて、今日の重電子ディープ ニューラル モデルのより広範なアプリケーションへの大きな障壁となっています。

コミュニティは、エレクトロニクスベースの人工ニューラル ネットワーク (ANN) 実装の物理的制約を打破する次世代コンピューティング モダリティを模索しています。

フォトニック コンピューティングは、エレクトロニクス固有の限界を克服し、エネルギー効率、処理速度、計算スループットを桁違いに向上させるための有望な手段です。

このような並外れた特性は、既存の電子プロセッサをはるかに超える性能で基本的な数学的および信号処理の問題を解決するためのアプリケーション固有の光学アーキテクチャを構築するために利用されてきました。

残念なことに、既存の ONN は「壊滅的な忘却」に悩まされており、依然として単純な 1 倍のタスクに苦労しています。その主な理由は、従来のコンピューティング システムの広範な問題を引き継いでいることです。従来のコンピューティング システムでは、以前に学習した知識を妨げる新しいモデルをトレーニングする傾向があり、何か新しいものについてトレーニングすると、以前に学習したタスクから得た専門知識がすぐに忘れられてしまいます。

このようなアプローチでは、フォトニック コンピューティングの波動光学のスパース性と並列性における固有の特性を十分に活用できず、最終的にはマルチタスク学習のネットワーク容量とスケーラビリティが低下します。

最近の論文では出版された光: 科学と応用、中国北京の清華大学電子工学部シグマ研究所のルー・ファン教授率いる科学者チームとその同僚は、Lを開発しました。2ONN、再構成可能なフォトニックコンピューティング生涯学習のために。

光、空間的疎性、マルチスペクトル並列性のユニークな特性がフォトニック コンピューティング アーキテクチャで初めて開発され、ONN に生涯学習能力を与えます。ANN 構造を模倣しようとする既存の ONN とは異なり、L のフォトニック生涯学習2ONN は当初、フォトニック コンピューティングにおける波動光学の機能とパフォーマンスの可能性を完全に探索するために、光と物質の相互作用の物理的性質に従って設計されました。

提案された生涯学習型光コンピューティング アーキテクチャの恩恵を受けて、自由空間およびオンチップ アーキテクチャの実験的評価により、L2ONN は、視覚分類、医療診断まで、さまざまな新たな環境をサポートします。

L2ONN は、既存の光ニューラル ネットワークよりも最大 14 倍の容量を達成し、代表的な電子人工ニューラル ネットワークよりも一桁高いエネルギー効率を実現します。

「人間は、知識を段階的に吸収し、学習し、記憶する独自の能力を持っています。特に、ニューロンとシナプスは、対処すべきタスクがある場合にのみ作業を実行します。このメカニズムには、疎なニューロンの接続と並行してタスク駆動型の神経認知という 2 つの重要なメカニズムが関与しています。生涯にわたる記憶の固定化と回復に貢献します。

「したがって、ONN では、光学演算子の固有のスパース性と並列性の特性に基づいて、これらの特徴的な機能を生物学的ニューロンから光子ニューロンに自然に昇格させることができます。

「人間の脳の構造と機能を模倣した光学アーキテクチャは、前述の問題を軽減する可能性を示しており、実行可能な生涯学習コンピューティング システムの構築において電子的アプローチよりも多くの利点を示しています。

「私たちは、フォトニック生涯学習が、前例のないスケーラビリティと多用途性を備えた、大規模な現実の AI アプリケーションのためのターンキー ソリューションを提供することを実証しました。私たちは、提案されたニューロモーフィック アーキテクチャが、現代の高度なマシンの重要なサポートとして、より強力なフォトニック コンピューティングの開発を加速すると期待しています」AI の新時代の始まりに向けて」と科学者たちは述べています。

詳細情報:Yuan Cheng et al、数十のタスクの生涯学習のためのフォトニックニューロモーフィックアーキテクチャ、光: 科学と応用(2024年)。DOI: 10.1038/s41377-024-01395-4

提供元トランススプレッド

引用:研究チームが生涯学習のための再構成可能なフォトニックコンピューティングアーキテクチャを開発 (2024年4月3日)2024 年 4 月 3 日に取得https://techxplore.com/news/2024-04-team-reconfigurable-photonic-architecture-lifelong.html より

この文書は著作権の対象です。個人的な研究や研究を目的とした公正な取引を除き、書面による許可なく一部を複製することができます。コンテンツは情報提供のみを目的として提供されています。