क्या कभी आपसे कोई ऐसा प्रश्न पूछा गया है जिसके उत्तर का आप केवल एक भाग ही जानते हों?अधिक जानकारीपूर्ण प्रतिक्रिया देने के लिए, आपका सबसे अच्छा कदम इस विषय पर अधिक जानकारी रखने वाले किसी मित्र को फ़ोन करना होगा।

यह सहयोगात्मक प्रक्रिया भी मदद कर सकती हैबड़े भाषा मॉडल(एलएलएम) अपनी सटीकता में सुधार करते हैं।फिर भी, एलएलएम को यह पहचानना सिखाना कठिन है कि उन्हें किसी उत्तर पर किसी अन्य मॉडल के साथ कब सहयोग करना चाहिए।मॉडलों को एक साथ कहां काम करना चाहिए, यह बताने के लिए जटिल सूत्रों या बड़ी मात्रा में लेबल किए गए डेटा का उपयोग करने के बजाय, एमआईटी के कंप्यूटर विज्ञान और कृत्रिम बुद्धिमत्ता प्रयोगशाला (सीएसएआईएल) के शोधकर्ताओं ने अधिक जैविक दृष्टिकोण की कल्पना की है।

उनकानया एल्गोरिदम, जिसे "सह-एलएलएम" कहा जाता है, एक सामान्य प्रयोजन के आधार एलएलएम को अधिक विशिष्ट मॉडल के साथ जोड़ सकता है और उन्हें एक साथ काम करने में मदद कर सकता है।जैसा कि पूर्व एक उत्तर तैयार करता है, सह-एलएलएम अपनी प्रतिक्रिया के भीतर प्रत्येक शब्द (या टोकन) की समीक्षा करता है ताकि यह देखा जा सके कि वह विशेषज्ञ मॉडल से अधिक सटीक उत्तर कहां मांग सकता है।यह प्रक्रिया चिकित्सा संकेतों और गणित और तर्क समस्याओं जैसी चीज़ों के अधिक सटीक उत्तर प्रदान करती है।चूँकि प्रत्येक पुनरावृत्ति में विशेषज्ञ मॉडल की आवश्यकता नहीं होती है, इससे अधिक कुशल प्रतिक्रिया उत्पन्न होती है।

यह तय करने के लिए कि किसी बेस मॉडल को किसी विशेषज्ञ मॉडल की मदद की आवश्यकता कब होती है, फ्रेमवर्क "स्विच वेरिएबल" या एक टूल को प्रशिक्षित करने के लिए मशीन लर्निंग का उपयोग करता है जो दो एलएलएम की प्रतिक्रियाओं के भीतर प्रत्येक शब्द की क्षमता को इंगित कर सकता है।स्विच एक प्रोजेक्ट मैनेजर की तरह है, जो उन क्षेत्रों को ढूंढता है जहां उसे किसी विशेषज्ञ को बुलाना चाहिए।

उदाहरण के लिए, यदि आपने सह-एलएलएम से विलुप्त भालू प्रजातियों के कुछ उदाहरणों के नाम बताने को कहा, तो दो मॉडल मिलकर उत्तर तैयार करेंगे।सामान्य प्रयोजन एलएलएम एक उत्तर को एक साथ रखना शुरू करता है, जिसमें स्विच वैरिएबल उन हिस्सों में हस्तक्षेप करता है जहां यह विशेषज्ञ मॉडल से बेहतर टोकन में स्लॉट कर सकता है, जैसे कि उस वर्ष को जोड़ना जब भालू प्रजाति विलुप्त हो गई थी।

एमआईटी पीएच.डी. शैनन शेन कहते हैं, "सह-एलएलएम के साथ, हम अनिवार्य रूप से जरूरत पड़ने पर एक विशेषज्ञ मॉडल को 'फोन' करने के लिए एक सामान्य प्रयोजन एलएलएम का प्रशिक्षण दे रहे हैं।"में छात्रविद्युत अभियन्त्रणऔर कंप्यूटर विज्ञान और CSAIL सहयोगी जो दृष्टिकोण के बारे में एक नए पेपर के प्रमुख लेखक हैं।निष्कर्ष हैंप्रकाशितपरarXivप्रीप्रिंट सर्वर.

"हम बायोमेडिकल कार्यों और गणित और तर्क प्रश्नों जैसे क्षेत्रों में अपने समकक्षों की विशेषज्ञता के बारे में बेस मॉडल को सिखाने के लिए डोमेन-विशिष्ट डेटा का उपयोग करते हैं। यह प्रक्रिया स्वचालित रूप से डेटा के उन हिस्सों को ढूंढती है जो बेस मॉडल के लिए उत्पन्न करना कठिन है, और फिर यह निर्देश देता हैविशेषज्ञ एलएलएम पर स्विच करने के लिए आधार मॉडल, जो समान क्षेत्र के डेटा पर पूर्व-प्रशिक्षित था, सामान्य-उद्देश्य मॉडल 'मचान' पीढ़ी प्रदान करता है, और जब यह विशेष एलएलएम पर कॉल करता है, तो यह विशेषज्ञ को वांछित टोकन उत्पन्न करने के लिए प्रेरित करता है।हमारे निष्कर्षों से संकेत मिलता है कि एलएलएम सहयोग के पैटर्न को व्यवस्थित रूप से सीखते हैं, जैसे कि मनुष्य कैसे पहचानते हैं कि रिक्त स्थान को भरने के लिए किसी विशेषज्ञ को कब बुलाना है।"

लचीलेपन और तथ्यात्मकता का संयोजन

कल्पना कीजिए कि एक सामान्य प्रयोजन एलएलएम से किसी विशिष्ट नुस्खे वाली दवा के अवयवों का नाम पूछा जाए।यह गलत उत्तर दे सकता है, जिसके लिए किसी विशेष मॉडल की विशेषज्ञता की आवश्यकता होगी।

सह-एलएलएम के लचीलेपन को प्रदर्शित करने के लिए, शोधकर्ताओं ने जैसे डेटा का उपयोग कियाबायोएएसक्यूविभिन्न डोमेन में विशेषज्ञ एलएलएम के साथ बेस एलएलएम को जोड़ने के लिए मेडिकल सेटमेडिट्रॉन मॉडल, जो बिना लेबल वाले मेडिकल डेटा पर पूर्व-प्रशिक्षित है।इसने एल्गोरिदम को उन सवालों का जवाब देने में मदद करने में सक्षम बनाया जो एक बायोमेडिकल विशेषज्ञ आमतौर पर प्राप्त करते हैं, जैसे कि किसी विशेष बीमारी का कारण बनने वाले तंत्र का नामकरण।

उदाहरण के लिए, यदि आपने एक साधारण एलएलएम से किसी विशिष्ट नुस्खे वाली दवा के अवयवों का नाम पूछा है, तो वह गलत उत्तर दे सकता है।बायोमेडिकल डेटा में विशेषज्ञता वाले मॉडल की अतिरिक्त विशेषज्ञता के साथ, आपको अधिक सटीक उत्तर मिलेगा।सह-एलएलएम उपयोगकर्ताओं को यह भी सचेत करता है कि उत्तरों की दोबारा जाँच कहाँ करनी है।

सह-एलएलएम के प्रदर्शन को बढ़ावा देने का एक और उदाहरण: जब "ए" जैसी गणित समस्या को हल करने का काम सौंपा गया³· ए²यदि a=5," सामान्य-उद्देश्य मॉडल ने गलत उत्तर की गणना 125 की। चूंकि सह-एलएलएम ने मॉडल को लेम्मा नामक एक बड़े गणित एलएलएम के साथ अधिक सहयोग करने के लिए प्रशिक्षित किया, साथ में उन्होंने निर्धारित किया कि सही समाधान 3,125 था।

सह-एलएलएम ने स्वतंत्र रूप से काम करने वाले फाइन-ट्यून किए गए सरल एलएलएम और अनट्यून किए गए विशेष मॉडलों की तुलना में अधिक सटीक उत्तर दिए।सह-एलएलएम दो मॉडलों का मार्गदर्शन कर सकता है जिन्हें एक साथ काम करने के लिए अलग-अलग प्रशिक्षित किया गया था, जबकि अन्य प्रभावी एलएलएम सहयोग दृष्टिकोण, जैसे "प्रॉक्सी ट्यूनिंग" को अपने सभी घटक मॉडलों को समान रूप से प्रशिक्षित करने की आवश्यकता होती है।इसके अतिरिक्त, इस आधार रेखा के उत्पादन के लिए प्रत्येक मॉडल का एक साथ उपयोग करने की आवश्यकता होती हैउत्तर, जबकि एमआईटी का एल्गोरिदम विशेष टोकन के लिए अपने विशेषज्ञ मॉडल को सक्रिय करता है, जिससे अधिक कुशल पीढ़ी बनती है।

विशेषज्ञ से कब पूछना है

एमआईटी शोधकर्ताओं का एल्गोरिदम इस बात पर प्रकाश डालता है कि मानव टीम वर्क का अधिक बारीकी से अनुकरण करने से मल्टी-एलएलएम सहयोग में सटीकता बढ़ सकती है।अपनी तथ्यात्मक सटीकता को और अधिक बढ़ाने के लिए, टीम मानव आत्म-सुधार से सीख ले सकती है: वे एक अधिक मजबूत स्थगन दृष्टिकोण पर विचार कर रहे हैं जो विशेषज्ञ मॉडल के सही प्रतिक्रिया नहीं देने पर पीछे हट सकता है।यह अपग्रेड सह-एलएलएम को पाठ्यक्रम-सही करने की अनुमति देगा ताकि एल्गोरिदम अभी भी संतोषजनक उत्तर दे सके।

टीम इसे भी अपडेट करना चाहेगीविशेषज्ञमॉडल (केवल आधार मॉडल के प्रशिक्षण के माध्यम से) जब नई जानकारी उपलब्ध हो, उत्तरों को यथासंभव अद्यतन रखें।यह सह-एलएलएम को सबसे नवीनतम जानकारी को मजबूत तर्क शक्ति के साथ जोड़ने की अनुमति देगा।अंततः, मॉडल नवीनतम जानकारी का उपयोग करके एंटरप्राइज़ दस्तावेज़ों में सहायता कर सकता है, ताकि उन्हें तदनुसार अद्यतन किया जा सके।सह-एलएलएम सर्वर के भीतर रहने वाले दस्तावेज़ों को बेहतर बनाने के लिए अधिक शक्तिशाली एलएलएम के साथ काम करने के लिए छोटे, निजी मॉडलों को भी प्रशिक्षित कर सकता है।

"सह-एलएलएम दक्षता और प्रदर्शन में सुधार के लिए दो मॉडलों के बीच चयन करना सीखने के लिए एक दिलचस्प दृष्टिकोण प्रस्तुत करता है," टोरंटो विश्वविद्यालय के एसोसिएट प्रोफेसर और वेक्टर इंस्टीट्यूट के एसोसिएट रिसर्च डायरेक्टर कॉलिन रैफेल कहते हैं, जो इसमें शामिल नहीं थे।अनुसंधान।

"चूंकि रूटिंग निर्णय टोकन-स्तर पर किए जाते हैं, सह-एलएलएम कठिन पीढ़ी के चरणों को अधिक शक्तिशाली मॉडल तक टालने का एक विस्तृत तरीका प्रदान करता है। मॉडल-टोकन-स्तरीय रूटिंग का अनूठा संयोजन भी समान तरीकों की तुलना में काफी लचीलापन प्रदान करता हैकमी। सह-एलएलएम कार्य की एक महत्वपूर्ण दिशा में योगदान देता है जिसका उद्देश्य महंगे मोनोलिथिक एआई सिस्टम से बेहतर प्रदर्शन करने के लिए विशेष मॉडल के पारिस्थितिकी तंत्र विकसित करना है।

यह कहानी एमआईटी न्यूज़ के सौजन्य से पुनः प्रकाशित की गई है (web.mit.edu/newsoffice/), एक लोकप्रिय साइट जो एमआईटी अनुसंधान, नवाचार और शिक्षण के बारे में समाचार कवर करती है।