अपनी प्रभावशाली क्षमताओं के बावजूद, बड़े भाषा मॉडल परिपूर्ण से बहुत दूर हैं।ये कृत्रिम बुद्धिमत्ता मॉडल कभी-कभी किसी प्रश्न के उत्तर में गलत या असमर्थित जानकारी उत्पन्न करके "मतिभ्रम" करते हैं।
इस मतिभ्रम की समस्या के कारण, एलएलएम की प्रतिक्रियाओं को अक्सर मानव तथ्य-जांचकर्ताओं द्वारा सत्यापित किया जाता है, खासकर यदि कोई मॉडल स्वास्थ्य देखभाल या वित्त जैसी उच्च जोखिम वाली सेटिंग में तैनात किया जाता है।हालाँकि, सत्यापन प्रक्रियाओं में आम तौर पर लोगों को मॉडल द्वारा उद्धृत लंबे दस्तावेज़ों को पढ़ने की आवश्यकता होती है, यह कार्य इतना कठिन और त्रुटि-प्रवण है कि यह कुछ उपयोगकर्ताओं को पहले स्थान पर जेनरेटिव एआई मॉडल को तैनात करने से रोक सकता है।
मानव सत्यापनकर्ताओं की सहायता के लिए, एमआईटी शोधकर्ताओं ने एक उपयोगकर्ता-अनुकूल प्रणाली बनाई जो लोगों को एलएलएम की प्रतिक्रियाओं को अधिक तेज़ी से सत्यापित करने में सक्षम बनाती है।SymGen नामक इस टूल के साथ, एक एलएलएम उद्धरणों के साथ प्रतिक्रियाएं उत्पन्न करता है जो सीधे स्रोत दस्तावेज़ में जगह की ओर इशारा करते हैं, जैसे कि डेटाबेस में दिए गए सेल।
उपयोगकर्ता उस विशिष्ट शब्द या वाक्यांश को उत्पन्न करने के लिए उपयोग किए गए डेटा को देखने के लिए उसके टेक्स्ट प्रतिक्रिया के हाइलाइट किए गए हिस्सों पर होवर करते हैं।साथ ही, हाइलाइट न किए गए भाग उपयोगकर्ताओं को दिखाते हैं कि किन वाक्यांशों को जांचने और सत्यापित करने के लिए अतिरिक्त ध्यान देने की आवश्यकता है।
"हम लोगों को पाठ के उन हिस्सों पर चुनिंदा रूप से ध्यान केंद्रित करने की क्षमता देते हैं जिनके बारे में उन्हें अधिक चिंतित होने की आवश्यकता होती है। अंत में, SymGen लोगों को मॉडल की प्रतिक्रियाओं में अधिक आत्मविश्वास दे सकता है क्योंकि वे यह सुनिश्चित करने के लिए आसानी से करीब से देख सकते हैं कि जानकारी हैसत्यापित,'' शैनन शेन कहते हैंविद्युत अभियन्त्रणऔर कंप्यूटर विज्ञान स्नातक छात्र और SymGen पर एक पेपर के सह-प्रमुख लेखक, जो हैप्रकाशितपरarXivप्रीप्रिंट सर्वर.
एक उपयोगकर्ता अध्ययन के माध्यम से, शेन और उनके सहयोगियों ने पाया कि मैन्युअल प्रक्रियाओं की तुलना में SymGen ने सत्यापन समय को लगभग 20% बढ़ा दिया है।मनुष्यों के लिए मॉडल आउटपुट को मान्य करना तेज़ और आसान बनाकर, SymGen लोगों को क्लिनिकल नोट्स बनाने से लेकर वित्तीय बाज़ार रिपोर्टों को सारांशित करने तक, वास्तविक दुनिया की विभिन्न स्थितियों में तैनात एलएलएम में त्रुटियों की पहचान करने में मदद कर सकता है।
पेपर में शेन के साथ सह-प्रमुख लेखक और साथी ईईसीएस स्नातक छात्र लुकास टोरोबा हेनिगेन भी शामिल हैं;ईईसीएस स्नातक छात्र अनिरुद्ध "अनी" नृसिम्हा;बर्नहार्ड गैप, गुड डेटा इनिशिएटिव के अध्यक्ष;और वरिष्ठ लेखक डेविड सोंटेग, ईईसीएस के प्रोफेसर, एमआईटी जमील क्लिनिक के सदस्य और कंप्यूटर साइंस एंड आर्टिफिशियल इंटेलिजेंस लेबोरेटरी (सीएसएआईएल) के क्लिनिकल मशीन लर्निंग ग्रुप के नेता;और यूं किम, EECS के सहायक प्रोफेसर और CSAIL के सदस्य।यह शोध हाल ही में भाषा मॉडलिंग सम्मेलन में प्रस्तुत किया गया था।
प्रतीकात्मक संदर्भ
सत्यापन में सहायता के लिए, कई एलएलएम उद्धरण उत्पन्न करने के लिए डिज़ाइन किए गए हैं, जो बाहरी दस्तावेजों के साथ-साथ उनकी भाषा-आधारित प्रतिक्रियाओं को इंगित करते हैं ताकि उपयोगकर्ता उन्हें जांच सकें।हालाँकि, इन सत्यापन प्रणालियों को आम तौर पर लोगों द्वारा कई उद्धरणों को छांटने में किए जाने वाले प्रयास पर विचार किए बिना, एक बाद के विचार के रूप में डिज़ाइन किया गया है, शेन कहते हैं।
शेन कहते हैं, "जेनरेटिव एआई का उद्देश्य किसी कार्य को पूरा करने के लिए उपयोगकर्ता के समय को कम करना है। यदि आपको यह सत्यापित करने के लिए कि मॉडल कुछ उचित कह रहा है, इन सभी दस्तावेज़ों को पढ़ने में घंटों बिताने की ज़रूरत है, तो पीढ़ियों को व्यवहार में लाना कम सहायक है।"
शोधकर्ताओं ने सत्यापन समस्या को उन मनुष्यों के दृष्टिकोण से देखा जो काम करेंगे।
एक सिमजेन उपयोगकर्ता सबसे पहले एलएलएम को डेटा प्रदान करता है जिसे वह अपनी प्रतिक्रिया में संदर्भित कर सकता है, जैसे कि एक तालिका जिसमें बास्केटबॉल खेल के आंकड़े शामिल हैं।फिर, मॉडल को किसी कार्य को तुरंत पूरा करने के लिए कहने के बजाय, जैसे कि उस डेटा से गेम सारांश तैयार करना, शोधकर्ता एक मध्यवर्ती चरण करते हैं।वे मॉडल को प्रतीकात्मक रूप में अपनी प्रतिक्रिया उत्पन्न करने के लिए प्रेरित करते हैं।
इस संकेत के साथ, हर बार जब मॉडल अपनी प्रतिक्रिया में शब्दों को उद्धृत करना चाहता है, तो उसे डेटा तालिका से विशिष्ट सेल लिखना होगा जिसमें वह जानकारी शामिल है जिसका वह संदर्भ दे रहा है।उदाहरण के लिए, यदि मॉडल अपनी प्रतिक्रिया में "पोर्टलैंड ट्रेलब्लेज़र" वाक्यांश का हवाला देना चाहता है, तो वह उस टेक्स्ट को डेटा तालिका में सेल नाम से बदल देगा जिसमें वे शब्द शामिल हैं।
"क्योंकि हमारे पास यह मध्यवर्ती चरण है जिसमें पाठ एक प्रतीकात्मक प्रारूप में है, हम वास्तव में सूक्ष्म संदर्भ प्राप्त करने में सक्षम हैं। हम कह सकते हैं, आउटपुट में पाठ के हर एक विस्तार के लिए, यह बिल्कुल वही है जहां डेटा में यह मेल खाता हैकरने के लिए," हेनिजेन कहते हैं।
SymGen फिर एक नियम-आधारित टूल का उपयोग करके प्रत्येक संदर्भ को हल करता है जो डेटा तालिका से संबंधित पाठ को मॉडल की प्रतिक्रिया में कॉपी करता है।
"इस तरह, हम जानते हैं कि यह एक शब्दशः प्रतिलिपि है, इसलिए हम जानते हैं कि पाठ के उस हिस्से में कोई त्रुटि नहीं होगी जो वास्तविक डेटा चर से मेल खाती है," शेन कहते हैं।
सत्यापन को सुव्यवस्थित करना
मॉडल को प्रशिक्षित करने के तरीके के कारण वह प्रतीकात्मक प्रतिक्रियाएँ बना सकता है।बड़े भाषा मॉडलों को इंटरनेट से बड़ी मात्रा में डेटा खिलाया जाता है, और कुछ डेटा "प्लेसहोल्डर प्रारूप" में रिकॉर्ड किया जाता है जहां कोड वास्तविक मानों को प्रतिस्थापित करते हैं।
जब SymGen मॉडल को प्रतीकात्मक प्रतिक्रिया उत्पन्न करने के लिए प्रेरित करता है, तो यह एक समान संरचना का उपयोग करता है।शेन कहते हैं, "हम एलएलएम की क्षमताओं का लाभ उठाने के लिए प्रॉम्प्ट को एक विशिष्ट तरीके से डिज़ाइन करते हैं।"
एक उपयोगकर्ता अध्ययन के दौरान, अधिकांश प्रतिभागियों ने कहा कि SymGen ने एलएलएम-जनित पाठ को सत्यापित करना आसान बना दिया है।यदि वे मानक तरीकों का उपयोग करते हैं तो वे मॉडल की प्रतिक्रियाओं को लगभग 20% तेजी से मान्य कर सकते हैं।
हालाँकि, SymGen स्रोत डेटा की गुणवत्ता द्वारा सीमित है।एलएलएम एक गलत चर का हवाला दे सकता है, और एक मानव सत्यापनकर्ता कोई भी बुद्धिमान नहीं हो सकता है।इसके अलावा, SymGen में फीड करने के लिए उपयोगकर्ता के पास तालिका जैसे संरचित प्रारूप में स्रोत डेटा होना चाहिए।अभी, सिस्टम केवल सारणीबद्ध डेटा के साथ काम करता है।
आगे बढ़ते हुए, शोधकर्ता सिमजेन को बढ़ा रहे हैं ताकि यह मनमाने पाठ और डेटा के अन्य रूपों को संभाल सके।उदाहरण के लिए, उस क्षमता के साथ, यह एआई-जनरेटेड कानूनी दस्तावेज़ सारांश के कुछ हिस्सों को मान्य करने में मदद कर सकता है।वे यह अध्ययन करने के लिए चिकित्सकों के साथ सिमजेन का परीक्षण करने की भी योजना बना रहे हैं कि यह एआई-जनित नैदानिक सारांशों में त्रुटियों की पहचान कैसे कर सकता है।
अधिक जानकारी:लुकास टोरोबा हेनिगेन एट अल, प्रतीकात्मक संदर्भों के साथ सत्यापन योग्य पाठ निर्माण की ओर,arXiv(2023)।डीओआई: 10.48550/arxiv.2311.09188
जर्नल जानकारी: arXiv
यह कहानी एमआईटी न्यूज़ के सौजन्य से पुनः प्रकाशित की गई है (web.mit.edu/newsoffice/), एक लोकप्रिय साइट जो एमआईटी अनुसंधान, नवाचार और शिक्षण के बारे में समाचार कवर करती है।
उद्धरण:उपयोगकर्ता के अनुकूल प्रणाली एआई मॉडल की प्रतिक्रियाओं को सत्यापित करना आसान बनाती है (2024, 21 अक्टूबर)21 अक्टूबर 2024 को पुनः प्राप्तhttps://techxplore.com/news/2024-10-user-friendly-easier-ai-responses.html से
यह दस्तावेज कॉपीराइट के अधीन है।निजी अध्ययन या अनुसंधान के उद्देश्य से किसी भी निष्पक्ष व्यवहार के अलावा, नहींलिखित अनुमति के बिना भाग को पुन: प्रस्तुत किया जा सकता है।सामग्री केवल सूचना के प्रयोजनों के लिए प्रदान की गई है।