神经网络剪枝是在资源受限的平台（例如移动设备）上部署基于深度神经网络（DNN）的人工智能（AI）模型的关键技术。然而，不同平台的硬件条件和资源可用性差异很大，因此设计最适合特定硬件配置的修剪模型至关重要。

硬件感知神经网络修剪提供了一种有效的方法来自动化这一过程，但它需要平衡多个相互冲突的目标，例如网络准确性、推理延迟和内存使用，而传统的数学方法很难解决这些问题。

在一项研究中发表在日记中基础研究来自中国深圳的一组研究人员提出了一种基于多目标进化优化的新型硬件感知神经网络修剪方法。

该研究的资深通讯作者 Ke Tang 表示：“我们建议采用多目标进化算法（MOEA）来解决硬件神经网络修剪问题。”

与传统的优化算法相比，MOEA 在解决这个问题上有两个优势。一是 MOEA 不需要可微性或连续性等特殊假设，并且具有很强的黑盒优化能力。另一个是他们能够在一次模拟运行中找到多个帕累托最优解决方案，这在实践中非常有用，因为它提供了满足不同用户需求的灵活性。

“具体来说，一旦找到这样一组解决方案，最终用户只需单击相应的解决方案，就可以轻松选择他们喜欢的 DNN 压缩配置，例如延迟优先或内存消耗优先，”Tang 补充道。

该团队的研究结果进一步表明，虽然多目标进化算法具有巨大的潜力，但它们仍然面临搜索效率低的问题。为此，研究人员开发了一种新的 MOEA，即硬件感知多目标进化网络剪枝（HAMP）来解决这个问题。

“这是一种模因 MOEA，结合了高效的基于组合的选择和代理辅助本地搜索算子。HAMP 是目前唯一可以有效同时处理多个硬件直接反馈和准确性的网络修剪方法，”第一作者 Wenjing Hong 解释道。“对移动 NVIDIA Jetson Nano 的实验研究证明了 HAMP 相对于最先进技术的有效性，以及 MOEA 在硬件感知网络修剪方面的潜力。”

该团队的结果表明，HAMP 不仅能够实现在所有目标上都更好的解决方案，而且同时提供了一组替代解决方案。

Hong 总结道：“这些解决方案在延迟、内存消耗和准确性之间进行了不同的权衡，因此可以促进 DNN 在实践中的快速部署。”

更多信息：Wenjing Hong 等人，硬件感知神经网络剪枝的多目标进化优化，基础研究（2024）。DOI：10.1016/j.fmre.2022.07.013

提供者：科爱通讯公司