New algorithm enables neural networks to learn continuously
重み空間で FIP を構築するための微分幾何学的フレームワーク。ある、左: タスクに関する従来のトレーニングでは、単一のトレーニング済みネットワークが見つかります (wt) 解決。右: FIP 戦略は等パフォーマンス ネットワークの部分多様体を発見します (w1w2???wN) 対象のタスクに対して、敵対的な堅牢性を備えたネットワークの効率的な検索を可能にします (w2)、高いタスクパフォ​​ーマンスを備えたスパースネットワーク(w3) 複数のタスクを忘れずに学習するための (w4)。b、上: 重み設定を使用したトレーニング済み CNN (wt)、ネットワークの異なる層を接続する線で表され、入力画像を受け入れます。×10 要素の出力ベクトルを生成します。fwt)。下: ネットワーク重みの摂動ドウ結果として、ウェイト構成を備えた新しいネットワークが作成されます。wtâ+ドウ変更された出力ベクトルを使用して、f(×wtâ+ドウ)、同じ入力に対して、×c, FIP アルゴリズムは重量の摂動を特定します。* 出力空間内での移動距離を最小化し、二次目的関数の勾配との位置合わせを最大化します (wL)。水色の矢印は、ϵ- 出力空間内で移動する距離を最小化するノルム重み摂動。濃青色の矢印は、ϵ- 目的関数の勾配との整合性を最大化するノルム重み摂動、L(×w)。二次目的関数L(×w) は、機械学習の特有の課題を解決するために変化します。d、パス サンプリング アルゴリズムは FIP を定義します。γ(t)、反復的な識別を通じて、ϵ-ノルム摂動 (*(t)) ウェイト空間で。クレジット:ネイチャーマシンインテリジェンス(2024年)。DOI: 10.1038/s42256-024-00902-xニューラル ネットワークは、手書きの数字の識別など、特定のタスクを学習する優れた能力を備えています。ただし、これらのモデルは、追加のタスクを教えられると「壊滅的な忘却」を経験することがよくあります。新しい課題はうまく学習できますが、元の課題を完了する方法を「忘れて」しまいます。したがって、自動運転車を誘導する人工ニューラル ネットワークなど、多くの人工ニューラル ネットワークでは、追加のタスクを学習するには完全に再プログラムする必要があります。一方、生物学的な脳は驚くほど柔軟です。人間や動物は、例えば、歩き方や話し方を学び直すことなく、新しいゲームの遊び方を簡単に学ぶことができます。人間と動物の脳の柔軟性に触発されて、カリフォルニア工科大学の研究者たちは現在、新しいタイプの脳を開発しました。アルゴリズム

これにより、ニューラル ネットワークは、最初から開始することなく、学習できる新しいデータで継続的に更新されることが可能になります。

このアルゴリズムは機能不変パス (FIP) アルゴリズムと呼ばれ、オンライン ストアでの推奨事項の改善から自動運転車の微調整まで、幅広い用途に使用できます。

このアルゴリズムは、計算生物学の助教授でヘリテージ医学研究所 (HMRI) の研究員でもあるマット・トムソンの研究室で開発されました。新しい研究

日記に登場するネイチャーマシンインテリジェンストムソンと元大学院生のグル・ラガバン博士にインスピレーションを得た

神経科学の研究ロイスは、鳥が鳴き声を上げた後に再び歌う方法を学習するためにどのように脳を再配線するかを研究しています。。人間もこれを行うことができます。経験した人たちたとえば、脳卒中により、日常の機能を再び学習するために新しい神経接続が形成されることがよくあります。

「これは、脳がどのように柔軟に学習するかという基礎科学から始まった、数年にわたるプロジェクトでした」とトムソン氏は言います。「この能力を人工物にどうやって与えるか?」

研究チームは、微分幾何学と呼ばれる数学的手法を使用して FIP アルゴリズムを開発しました。このフレームワークにより、以前にエンコードされた情報を失うことなくニューラル ネットワークを変更できます。

2022 年、カリフォルニア工科大学の常駐起業家ジュリー シェーンフェルドの指導を受けて、ラガバンとトムソンは、FIP アルゴリズムをさらに開発し、多くのさまざまな問題に対処するために機械学習システムを大規模に展開するために、Yurts という会社を設立しました。ラガバン氏は、業界専門家のベン・ヴァン・ルー氏とジェイソン・シュニッツァー氏とともにユルツを設立した。

ラガヴァンはこの研究の筆頭著者である。Raghavan 氏と Thomson 氏に加え、カリフォルニア工科大学の共著者は大学院生の Surya Narayanan Hari 氏と Shichen Rex Liu 氏、そして共同研究者の Dhruvil Satani 氏です。エジプトのアレクサンドリア大学の Bahey Tharwat も共著者です。トムソンは、カリフォルニア工科大学のティアンチャオ・クリッシー・チェン神経科学研究所の提携教員です。

詳細情報:Guruprasad Raghavan 他、機能的に不変のパスを横断することによる柔軟な機械学習システムのエンジニアリング、ネイチャーマシンインテリジェンス(2024年)。DOI: 10.1038/s42256-024-00902-x

引用:「壊滅的な忘却」の克服:脳にヒントを得たアルゴリズムにより、ニューラルネットワークが知識を保持できるようになる(2024年10月9日)2024 年 10 月 10 日に取得https://techxplore.com/news/2024-10-catastrophic-algorithm-brain-neural-networks.html より

この文書は著作権の対象です。個人的な研究や研究を目的とした公正な取引を除いて、書面による許可なく一部を複製することができます。コンテンツは情報提供のみを目的として提供されています。