ニューラル ネットワーク プルーニングは、ディープ ニューラル ネットワーク (DNN) に基づく人工知能 (AI) モデルをモバイル デバイスなどのリソースに制約のあるプラットフォームに展開するための重要な手法です。ただし、ハードウェアの状態とリソースの可用性はプラットフォームによって大きく異なるため、特定のハードウェア構成に最適なプルーニングされたモデルを設計することが不可欠です。

ハードウェア対応のニューラル ネットワーク プルーニングは、このプロセスを自動化する効果的な方法を提供しますが、ネットワークの精度、推論レイテンシ、メモリ使用量など、従来の数学的手法では解決が困難な複数の矛盾する目標のバランスを取る必要があります。

研究で出版された日記で基礎研究中国深センの研究者グループは、多目的進化的最適化に基づいた新しいハードウェア認識ニューラル ネットワーク枝刈りアプローチを発表しました。

「ハードウェア ニューラル ネットワークの枝刈り問題を解決するために、多目的進化アルゴリズム (MOEA) を採用することを提案します」と、この研究の上級著者兼責任著者である Ke Tang 氏は述べています。

従来の最適化アルゴリズムと比較して、MOEA にはこの問題に取り組む上で 2 つの利点があります。1 つは、MOEA は微分可能性や連続性などの特定の仮定を必要とせず、ブラックボックス最適化に対する強力な能力を備えていることです。もう 1 つは、1 回のシミュレーション実行で複数のパレート最適解を見つける機能です。これは、さまざまなユーザー要件を満たす柔軟性を提供するため、実際には非常に役立ちます。

「具体的には、このような一連のソリューションが見つかると、エンドユーザーは、対応するソリューションをワンクリックするだけで、レイテンシを優先するか、メモリ消費を優先するかなど、好みの DNN 圧縮構成を簡単に選択できるようになります。」と Tang 氏は付け加えました。

研究チームの調査結果はさらに、多目的進化アルゴリズムには大きな可能性があるものの、検索効率が低いという課題があることを明らかにしました。この目的を達成するために、研究者らは、この問題に対処するための新しい MOEA、すなわちハードウェア認識多目的進化ネットワーク プルーニング (HAMP) を開発しました。

「これは、効率的なポートフォリオベースの選択とサロゲートアシストローカル検索演算子を組み合わせたミームMOEAです。HAMPは現在、複数のハードウェアの直接フィードバックと精度を同時に効果的に処理できる唯一のネットワークプルーニングアプローチです」と筆頭著者のWenjing Hon氏は説明します。「モバイル NVIDIA Jetson Nano に関する実験研究では、最先端技術を上回る HAMP の有効性と、ハードウェアを意識したネットワーク プルーニングにおける MOEA の可能性が実証されています。」

チームの結果は、HAMP がすべての目的においてより優れたソリューションを達成できるだけでなく、一連の代替ソリューションも同時に提供できることを示しています。

「これらのソリューションは、レイテンシ、メモリ消費量、精度の間にさまざまなトレードオフを提示するため、実際の DNN の迅速な導入を促進できます」と、Hong 氏は結論付けています。

詳細情報:Wenjing Hon 他、ハードウェアを認識したニューラル ネットワーク プルーニングのための多目的進化的最適化、基礎研究（2024年）。DOI: 10.1016/j.fmre.2022.07.013

提供元ケイアイコミュニケーションズ株式会社