La poda de redes neuronales es una técnica clave para implementar modelos de inteligencia artificial (IA) basados ​​en redes neuronales profundas (DNN) en plataformas con recursos limitados, como los dispositivos móviles.Sin embargo, las condiciones del hardware y la disponibilidad de recursos varían mucho entre las diferentes plataformas, por lo que es esencial diseñar modelos podados que se adapten de manera óptima a configuraciones de hardware específicas.

La poda de redes neuronales con reconocimiento de hardware ofrece una forma efectiva de automatizar este proceso, pero requiere equilibrar múltiples objetivos en conflicto, como la precisión de la red, la latencia de inferencia y el uso de la memoria, que los métodos matemáticos tradicionales luchan por resolver.

en un estudiopublicadoen el diarioInvestigación fundamental, un grupo de investigadores de Shenzhen, China, presenta un novedoso enfoque de poda de redes neuronales con reconocimiento de hardware basado en una optimización evolutiva multiobjetivo.

"Proponemos emplear algoritmos evolutivos multiobjetivo (MOEA) para resolver el problema de poda de la red neuronal de hardware", dice Ke Tang, autor principal y correspondiente del estudio.

En comparación con los algoritmos de optimización convencionales, los MOEA tienen dos ventajas para abordar este problema.Una es que los MOEA no requieren supuestos particulares como diferenciabilidad o continuidad, y poseen una gran capacidad de optimización de caja negra.La otra es su capacidad para encontrar múltiples soluciones óptimas de Pareto en una sola ejecución de simulación, lo cual es muy útil en la práctica porque ofrece flexibilidad para satisfacer diferentes requisitos de los usuarios.

"Específicamente, una vez que se ha encontrado un conjunto de soluciones de este tipo, los usuarios finales pueden elegir fácilmente sus configuraciones preferidas de compresión DNN, como primero la latencia o primero el consumo de memoria, con solo un clic en las soluciones correspondientes", agrega Tang.

Los hallazgos del equipo revelaron además que, si bien los algoritmos evolutivos multiobjetivo tienen un potencial significativo, todavía luchan con una baja eficiencia de búsqueda.Con ese fin, los investigadores desarrollaron un nuevo MOEA, a saber, poda de red evolutiva multiobjetivo con conocimiento de hardware (HAMP), para abordar este problema.

"Es un MOEA memético que combina una selección eficiente basada en cartera y un operador de búsqueda local de asistencia sustituta. HAMP es actualmente el único enfoque de poda de red que puede manejar eficazmente múltiples comentarios directos de hardware y precisión simultáneamente", explica el primer autor Wenjing Hong."Los estudios experimentales en el dispositivo móvil NVIDIA Jetson Nano demuestran la efectividad de HAMP sobre la tecnología de punta y el potencial de los MOEA para la poda de redes con reconocimiento de hardware".

Los resultados del equipo muestran que HAMP no solo logra lograr soluciones que son mejores en todos los objetivos, sino que también ofrece simultáneamente un conjunto de soluciones alternativas.

"Estas soluciones presentan diferentes compensaciones entre latencia, consumo de memoria y precisión y, por lo tanto, pueden facilitar una rápida implementación de DNN en la práctica", concluye Hong.

Más información:Wenjing Hong et al, Optimización evolutiva multiobjetivo para la poda de redes neuronales con reconocimiento de hardware,Investigación fundamental(2024).DOI: 10.1016/j.fmre.2022.07.013

Proporcionado porKeAi Communications Co.