स्पेन में यूनिवर्सिटैट पॉलिटेक्निका डे वालेंसिया के एआई शोधकर्ताओं की एक टीम ने पाया है कि जैसे-जैसे लोकप्रिय एलएलएम (बड़े भाषा मॉडल) बड़े और अधिक परिष्कृत होते जाते हैं, उपयोगकर्ता के सामने यह स्वीकार करने की संभावना कम हो जाती है कि वे कुछ नहीं जानते हैं।उत्तर।
उनके अध्ययन मेंप्रकाशितजर्नल मेंप्रकृति, समूह ने नवीनतम का परीक्षण कियासंस्करणउनकी प्रतिक्रियाओं के संबंध में तीन सबसे लोकप्रिय एआई चैटबॉट्स में से,शुद्धता, और उपयोगकर्ता गलत उत्तर पहचानने में कितने अच्छे हैं।
जैसे-जैसे एलएलएम मुख्यधारा बन गए हैं, उपयोगकर्ता पेपर, कविताएं या गीत लिखने और हल करने के लिए उनका उपयोग करने के आदी हो गए हैंगणित की समस्याओंऔर अन्य कार्य, और सटीकता का मुद्दा एक बड़ा मुद्दा बन गया है।इस नए अध्ययन में, शोधकर्ताओं ने आश्चर्य जताया कि क्या सबसे लोकप्रिय एलएलएम प्रत्येक नए अपडेट के साथ अधिक सटीक होते जा रहे हैं और जब वे गलत होते हैं तो वे क्या करते हैं।
तीन सबसे लोकप्रिय एलएलएम, ब्लूम, एलएलएएमए और जीपीटी की सटीकता का परीक्षण करने के लिए, समूह ने उनसे हजारों प्रश्न पूछे और उन्हें प्राप्त उत्तरों की तुलना उन्हीं प्रश्नों के पिछले संस्करणों की प्रतिक्रियाओं से की।
उन्होंने गणित, विज्ञान, विपर्यय और भूगोल, और पाठ उत्पन्न करने या सूची का आदेश देने जैसी क्रियाएं करने की एलएलएम की क्षमता सहित विषयों में भी विविधता लाई।सभी प्रश्नों के लिए, उन्होंने पहले कठिनाई की डिग्री निर्दिष्ट की।
उन्होंने पाया कि चैटबॉट के प्रत्येक नए पुनरावृत्ति के साथ, सटीकता में सामान्य रूप से सुधार हुआ।उन्होंने यह भी पाया कि जैसे-जैसे प्रश्न अधिक कठिन होते गए, अपेक्षा के अनुरूप सटीकता कम होती गई।लेकिन उन्होंने यह भी पाया कि जैसे-जैसे एलएलएम बड़े और अधिक परिष्कृत होते गए, वे किसी प्रश्न का सही उत्तर देने की अपनी क्षमता के बारे में कम खुले होते गए।
पहले के संस्करणों में, अधिकांश एलएलएम उपयोगकर्ताओं को यह कहकर प्रतिक्रिया देते थे कि उन्हें उत्तर नहीं मिल सके या उन्हें अधिक जानकारी की आवश्यकता है।नए संस्करणों में, एलएलएम में अनुमान लगाने की अधिक संभावना थी, जिससे सामान्य तौर पर सही और गलत दोनों तरह के अधिक उत्तर प्राप्त होते थे।उन्होंने यह भी पाया कि सभी एलएलएम कभी-कभी आसान प्रश्नों के भी गलत उत्तर देते हैं, जिससे पता चलता है कि वे अभी भी विश्वसनीय नहीं हैं।
अनुसंधान टीम ने तब स्वयंसेवकों से अध्ययन के पहले भाग के उत्तरों को सही या गलत के रूप में रेटिंग देने के लिए कहा और पाया कि अधिकांश को गलत उत्तर पहचानने में कठिनाई हुई।
अधिक जानकारी:लेक्सिन झोउ एट अल, बड़े और अधिक शिक्षाप्रद भाषा मॉडल कम विश्वसनीय हो जाते हैं,प्रकृति(2024)।डीओआई: 10.1038/एस41586-024-07930-वाई
© 2024 साइंस एक्स नेटवर्क
उद्धरण:जैसे-जैसे एलएलएम बड़े होते जाते हैं, उनमें अज्ञानता स्वीकार करने की बजाय गलत उत्तर देने की संभावना अधिक होती है (2024, 27 सितंबर)27 सितंबर 2024 को पुनःप्राप्तhttps://techxplore.com/news/2024-09-llms-bigger-theyre-wrong.html से
यह दस्तावेज कॉपीराइट के अधीन है।निजी अध्ययन या अनुसंधान के उद्देश्य से किसी भी निष्पक्ष व्यवहार के अलावा, नहींलिखित अनुमति के बिना भाग को पुन: प्रस्तुत किया जा सकता है।सामग्री केवल सूचना के प्रयोजनों के लिए प्रदान की गई है।