神經網路剪枝是在資源受限的平台（例如行動裝置）上部署基於深度神經網路（DNN）的人工智慧（AI）模型的關鍵技術。然而，不同平台的硬體條件和資源可用性差異很大，因此設計最適合特定硬體配置的修剪模型至關重要。

硬體感知神經網路修剪提供了一種有效的方法來自動化這個過程，但它需要平衡多個相互衝突的目標，例如網路準確性、推理延遲和記憶體使用，而傳統的數學方法很難解決這些問題。

在一項研究中發表在日記中基礎研究來自中國深圳的一組研究人員提出了一種基於多目標進化優化的新型硬體感知神經網路修剪方法。

該研究的資深通訊作者 Ke Tang 表示：“我們建議採用多目標進化演算法（MOEA）來解決硬體神經網路修剪問題。”

與傳統的最佳化演算法相比，MOEA 在解決這個問題上有兩個優勢。一是 MOEA 不需要可微性或連續性等特殊假設，並且具有很強的黑盒優化能力。另一個是他們能夠在一次模擬運行中找到多個帕累托最優解決方案，這在實踐中非常有用，因為它提供了滿足不同用戶需求的靈活性。

「具體來說，一旦找到這樣一組解決方案，最終用戶只需單擊相應的解決方案，就可以輕鬆選擇他們喜歡的 DNN 壓縮配置，例如延遲優先或記憶體消耗優先，」Tang 補充道。

該團隊的研究結果進一步表明，雖然多目標演化演算法具有巨大的潛力，但它們仍然面臨搜尋效率低的問題。為此，研究人員開發了一種新的 MOEA，即硬體感知多目標演化網路剪枝（HAMP）來解決這個問題。

「這是一種迷因MOEA，結合了高效的基於組合的選擇和代理輔助本地搜尋算子。HAMP 是目前唯一可以有效同時處理多個硬體直接回饋和準確性的網路修剪方法，」第一作者Wenjing Hong 解釋道。“對行動 NVIDIA Jetson Nano 的實驗研究證明了 HAMP 相對於最先進技術的有效性，以及 MOEA 在硬體感知網路修剪方面的潛力。”

該團隊的結果表明，HAMP 不僅能夠實現在所有目標上都更好的解決方案，而且同時提供了一組替代解決方案。

Hong 總結道：“這些解決方案在延遲、記憶體消耗和準確性之間進行了不同的權衡，因此可以促進 DNN 在實踐中的快速部署。”

更多資訊：Wenjing Hong 等人，硬體感知神經網路剪枝的多目標演化優化，基礎研究（2024）。DOI：10.1016/j.fmre.2022.07.013

提供者：科愛通訊公司