Multi-objective evolutionary optimization for hardware-aware neural network pruning
हार्डवेयर-जागरूक तंत्रिका नेटवर्क प्रूनिंग के लिए बहुउद्देश्यीय विकासवादी अनुकूलन।श्रेय: वेंजिंग होंग, एट अल।

न्यूरल नेटवर्क प्रूनिंग मोबाइल उपकरणों जैसे संसाधन-बाधित प्लेटफार्मों पर डीप न्यूरल नेटवर्क (डीएनएन) पर आधारित कृत्रिम बुद्धिमत्ता (एआई) मॉडल को तैनात करने की एक प्रमुख तकनीक है।हालाँकि, हार्डवेयर की स्थिति और संसाधन उपलब्धता विभिन्न प्लेटफार्मों पर बहुत भिन्न होती है, जिससे विशिष्ट हार्डवेयर कॉन्फ़िगरेशन के लिए उपयुक्त रूप से उपयुक्त छंटनी वाले मॉडल को डिजाइन करना आवश्यक हो जाता है।

हार्डवेयर-अवेयर न्यूरल नेटवर्क प्रूनिंग इस प्रक्रिया को स्वचालित करने का एक प्रभावी तरीका प्रदान करता है, लेकिन इसके लिए नेटवर्क सटीकता, अनुमान विलंबता और मेमोरी उपयोग जैसे कई परस्पर विरोधी उद्देश्यों को संतुलित करने की आवश्यकता होती है, जिसे हल करने के लिए पारंपरिक गणितीय तरीकों को संघर्ष करना पड़ता है।

एक अध्ययन मेंप्रकाशितजर्नल मेंमौलिक अनुसंधानशेन्ज़ेन, चीन के शोधकर्ताओं का एक समूह, बहुउद्देश्यीय विकासवादी अनुकूलन पर आधारित एक उपन्यास हार्डवेयर-जागरूक तंत्रिका नेटवर्क प्रूनिंग दृष्टिकोण प्रस्तुत करता है।

अध्ययन के वरिष्ठ और संबंधित लेखक के टैंग कहते हैं, "हम हार्डवेयर न्यूरल नेटवर्क प्रूनिंग समस्या को हल करने के लिए मल्टी-ऑब्जेक्टिव इवोल्यूशनरी एल्गोरिदम (एमओईए) को नियोजित करने का प्रस्ताव करते हैं।"

पारंपरिक अनुकूलन एल्गोरिदम की तुलना में, इस समस्या से निपटने में MOEA के दो फायदे हैं।एक यह है कि एमओईए को भिन्नता या निरंतरता जैसी विशेष धारणाओं की आवश्यकता नहीं होती है, और ब्लैक-बॉक्स अनुकूलन के लिए मजबूत क्षमता होती है।दूसरा, एक ही सिमुलेशन रन में कई पेरेटो-इष्टतम समाधान खोजने की उनकी क्षमता है, जो व्यवहार में बहुत उपयोगी है क्योंकि यह विभिन्न उपयोगकर्ता आवश्यकताओं को पूरा करने के लिए लचीलापन प्रदान करता है।

टैंग कहते हैं, "विशेष रूप से, एक बार समाधानों का ऐसा सेट मिल जाने के बाद, अंतिम उपयोगकर्ता संबंधित समाधानों पर केवल एक क्लिक के साथ आसानी से डीएनएन संपीड़न की अपनी पसंदीदा कॉन्फ़िगरेशन चुन सकते हैं, जैसे विलंबता पहले या मेमोरी खपत पहले।"

टीम के निष्कर्षों से आगे पता चला कि हालांकि बहुउद्देश्यीय विकासवादी एल्गोरिदम में महत्वपूर्ण क्षमता है, फिर भी वे कम खोज दक्षता के साथ संघर्ष करते हैं।इस उद्देश्य से, शोधकर्ताओं ने इस मुद्दे को संबोधित करने के लिए एक नया MOEA, अर्थात् हार्डवेयर-अवेयर मल्टी-ऑब्जेक्टिव इवोल्यूशनरी नेटवर्क प्रूनिंग (HAMP) विकसित किया।

"यह एक यादगार एमओईए है जो एक कुशल पोर्टफोलियो-आधारित चयन और एक सरोगेट-सहायता स्थानीय खोज ऑपरेटर को जोड़ती है। एचएएमपी वर्तमान में एकमात्र नेटवर्क प्रूनिंग दृष्टिकोण है जो एक साथ कई हार्डवेयर प्रत्यक्ष प्रतिक्रिया और सटीकता को प्रभावी ढंग से संभाल सकता है," पहले लेखक वेनजिंग होंग बताते हैं।"मोबाइल NVIDIA जेटसन नैनो पर प्रायोगिक अध्ययन अत्याधुनिक की तुलना में HAMP की प्रभावशीलता और हार्डवेयर-जागरूक नेटवर्क प्रूनिंग के लिए MOEAs की क्षमता को प्रदर्शित करता है।"

टीम के नतीजे बताते हैं कि एचएएमपी न केवल उन समाधानों को प्राप्त करने का प्रबंधन करता है जो सभी उद्देश्यों पर बेहतर हैं, बल्कि साथ ही वैकल्पिक समाधानों का एक सेट भी प्रदान करता है।

हांग ने निष्कर्ष निकाला, "ये समाधान विलंबता, मेमोरी खपत और सटीकता के बीच अलग-अलग व्यापार-बंद प्रस्तुत करते हैं, और इसलिए व्यवहार में डीएनएन की तेजी से तैनाती की सुविधा प्रदान कर सकते हैं।"

अधिक जानकारी:वेनजिंग होंग एट अल, हार्डवेयर-अवेयर न्यूरल नेटवर्क प्रूनिंग के लिए बहुउद्देश्यीय विकासवादी अनुकूलन,मौलिक अनुसंधान(2024)।डीओआई: 10.1016/j.fmre.2022.07.013

द्वारा उपलब्ध कराया गयाकेएआई कम्युनिकेशंस कंपनी

उद्धरण:विशिष्ट हार्डवेयर कॉन्फ़िगरेशन के लिए अनुकूलित तंत्रिका नेटवर्क डिज़ाइन के लिए एक छंटनी दृष्टिकोण (2024, 23 सितंबर)23 सितंबर 2024 को पुनः प्राप्तhttps://techxplore.com/news/2024-09-pruning-approach-neural-network-optimized.html से

यह दस्तावेज कॉपीराइट के अधीन है।निजी अध्ययन या अनुसंधान के उद्देश्य से किसी भी निष्पक्ष व्यवहार के अलावा, नहींलिखित अनुमति के बिना भाग को पुन: प्रस्तुत किया जा सकता है।सामग्री केवल सूचना के प्रयोजनों के लिए प्रदान की गई है।