신경망 가지치기는 모바일 장치와 같이 리소스가 제한된 플랫폼에 심층 신경망(DNN)을 기반으로 하는 인공 지능(AI) 모델을 배포하기 위한 핵심 기술입니다.그러나 하드웨어 조건과 리소스 가용성은 플랫폼마다 크게 다르므로 특정 하드웨어 구성에 최적으로 적합한 정리된 모델을 설계하는 것이 필수적입니다.

하드웨어 인식 신경망 가지치기는 이 프로세스를 자동화하는 효과적인 방법을 제공하지만 기존 수학적 방법으로 해결하기 힘든 네트워크 정확도, 추론 대기 시간, 메모리 사용과 같은 여러 상충되는 목표의 균형을 맞춰야 합니다.

연구에서출판됨일지에기초연구, 중국 심천의 연구원 그룹은 다중 목표 진화 최적화를 기반으로 하는 새로운 하드웨어 인식 신경망 가지치기 접근 방식을 제시합니다.

"우리는 하드웨어 신경망 가지치기 문제를 해결하기 위해 MOEA(Multi-Objective Evolutionary Algorithms)를 사용할 것을 제안합니다."라고 해당 연구의 선임 저자이자 교신 저자인 Ke Tang은 말했습니다.

기존 최적화 알고리즘과 비교하여 MOEA는 이 문제를 해결하는 데 두 가지 장점이 있습니다.하나는 MOEA가 미분성이나 연속성과 같은 특별한 가정을 요구하지 않으며 블랙박스 최적화를 위한 강력한 능력을 보유하고 있다는 것입니다.다른 하나는 단일 시뮬레이션 실행에서 여러 파레토 최적 솔루션을 찾을 수 있는 능력입니다. 이는 다양한 사용자 요구 사항을 충족할 수 있는 유연성을 제공하므로 실제로 매우 유용합니다.

"구체적으로 이러한 솔루션 세트를 찾으면 최종 사용자는 해당 솔루션을 한 번만 클릭하면 대기 시간 우선 또는 메모리 소비 우선 등 원하는 DNN 압축 구성을 쉽게 선택할 수 있습니다."라고 Tang은 덧붙입니다.

팀의 연구 결과에 따르면 다중 목표 진화 알고리즘은 상당한 잠재력을 보유하고 있지만 여전히 낮은 검색 효율성으로 어려움을 겪고 있는 것으로 나타났습니다.이를 위해 연구원들은 이 문제를 해결하기 위해 HAMP(Hardware-Aware Multi-objective Evolutionary Network Pruning)라는 새로운 MOEA를 개발했습니다.

"이것은 효율적인 포트폴리오 기반 선택과 대리 지원 로컬 검색 연산자를 결합한 밈적 MOEA입니다. HAMP는 현재 여러 하드웨어 직접 피드백과 정확성을 동시에 효과적으로 처리할 수 있는 유일한 네트워크 가지치기 접근 방식입니다"라고 첫 번째 저자인 Wenjing Hong은 설명합니다."모바일 NVIDIA Jetson Nano에 대한 실험적 연구는 최첨단 기술에 비해 HAMP의 효율성과 하드웨어 인식 네트워크 정리에 대한 MOEA의 잠재력을 보여줍니다."

팀의 결과는 HAMP가 모든 목표에 대해 더 나은 솔루션을 달성할 뿐만 아니라 동시에 일련의 대체 솔루션을 제공한다는 것을 보여줍니다.

Hong은 "이러한 솔루션은 대기 시간, 메모리 소비 및 정확성 간에 서로 다른 절충안을 제시하므로 실제로 DNN의 신속한 배포를 촉진할 수 있습니다."라고 결론지었습니다.

추가 정보:Wenjing Hong 외, 하드웨어 인식 신경망 가지치기를 위한 다중 객관적 진화 최적화,기초연구(2024).DOI: 10.1016/j.fmre.2022.07.013

제공자:케이아이커뮤니케이션즈(주)