Researchers test AI systems' ability to solve the New York Times' connections puzzle
बेसलाइन मॉडल और एलएलएम के लिए सभी पहेलियों और बीजों में औसत सफलता दर, पहेली श्रेणी के अनुसार विभाजित (ध्यान दें कि सीओटी चेन-ऑफ-थॉट प्रॉम्प्टिंग के उपयोग को इंगित करता है)।श्रेणियों में पीले से हरे, नीले से बैंगनी तक जाने में कठिनाई बढ़ जाती है।श्रेय:arXiv(2024)।डीओआई: 10.48550/arxiv.2404.11730

क्या कृत्रिम बुद्धिमत्ता (एआई) शब्दों के बीच अस्पष्ट संबंध खोजने में मानव कौशल की बराबरी कर सकती है?एनवाईयू टंडन स्कूल ऑफ इंजीनियरिंग के शोधकर्ताओं ने इसका पता लगाने के लिए द न्यूयॉर्क टाइम्स की दैनिक कनेक्शंस पहेली का सहारा लिया।

कनेक्शंस खिलाड़ियों को 16 शब्दों को विषयगत रूप से जुड़े चार सेटों में समूहित करने के लिए पांच प्रयास देता है, जो "सरल" समूहों से आगे बढ़ता है जो आम तौर पर सीधी परिभाषाओं के माध्यम से जुड़े होते हैं और "मुश्किल" होते हैं जो अपरंपरागत सोच की आवश्यकता वाले अमूर्त शब्द संघों को दर्शाते हैं।

5 से 8 अगस्त तक मिलान, इटली में होने वाले खेलों पर आईईईई 2024 सम्मेलन में प्रस्तुत किए जाने वाले एक अध्ययन में, शोधकर्ताओं ने जांच की कि क्या आधुनिक प्राकृतिक भाषा प्रसंस्करण (एनएलपी) सिस्टम इन भाषा-आधारित पहेलियों को हल कर सकते हैं।निष्कर्ष ये भी हैंप्रकाशितपरarXivप्रीप्रिंट सर्वर.

जूलियन टोगेलियस, एनवाईयू टंडन एसोसिएट प्रोफेसर ऑफ कंप्यूटर साइंस एंड इंजीनियरिंग (सीएसई) और गेम इनोवेशन लैब के निदेशक के साथ, अध्ययन के वरिष्ठ लेखक के रूप में, टीम ने दो एआई दृष्टिकोणों का पता लगाया।पहला लीवरेज्ड जीपीटी-3.5 और हाल ही में जारी जीपीटी-4, ओपनएआई के शक्तिशाली बड़े भाषा मॉडल (एलएलएम), जो मानव जैसी भाषा को समझने और उत्पन्न करने में सक्षम हैं।

दूसरे दृष्टिकोण में वाक्य एम्बेडिंग मॉडल, अर्थात् BERT, RoBERTa, MPNet और MiniLM का उपयोग किया गया, जो अर्थ संबंधी जानकारी को वेक्टर अभ्यावेदन के रूप में एन्कोड करते हैं लेकिन LLM की पूर्ण भाषा समझ और पीढ़ी क्षमताओं का अभाव है।

नतीजों से पता चला कि हालांकि सभी एआई सिस्टम कुछ कनेक्शंस पहेलियों को हल कर सकते हैं, लेकिन कुल मिलाकर यह कार्य चुनौतीपूर्ण बना हुआ है।जीपीटी-4 ने लगभग 29% पहेलियाँ हल कीं, जो एम्बेडिंग विधियों और जीपीटी-3.5 से काफी बेहतर है, लेकिन इसमें महारत हासिल करने से बहुत दूर है।.विशेष रूप से, मॉडल प्रतिबिंबित होते हैंपहेली के "सरल" से "मुश्किल" वर्गीकरण के साथ संरेखित कठिनाई स्तरों को खोजने में।

"एलएलएम तेजी से व्यापक होते जा रहे हैं, और जांच कर रहे हैं कि कनेक्शंस के संदर्भ में वे कहां विफल होते हैंगेम इनोवेशन लैब में पीएचडी छात्र ग्राहम टॉड, जो अध्ययन के प्रमुख लेखक हैं, ने कहा, "वे अर्थ संबंधी जानकारी को कैसे संसाधित करते हैं, इसकी सीमाएं प्रकट कर सकते हैं।"

शोधकर्ताओं ने पाया कि जीपीटी-4 को चरण-दर-चरण पहेलियों के माध्यम से तर्क करने के लिए स्पष्ट रूप से प्रेरित करने से उसके प्रदर्शन में 39% से अधिक पहेलियाँ हल हो गईं।

टिमोथी मेरिनो, पीएच.डी. ने कहा, "हमारा शोध इस बात की पुष्टि करता है कि इस तरह की 'चेन-ऑफ-थॉट' प्रेरणा दिखाने वाले पूर्व कार्य भाषा मॉडल को अधिक संरचित तरीकों से सोचने पर मजबूर कर सकते हैं।"गेम इनोवेशन लैब में छात्र जो अध्ययन का लेखक है।"पूछ रहा हूँभाषाएआई क्षमताओं की बेंचमार्किंग से परे, शोधकर्ता यह पता लगा रहे हैं कि क्या जीपीटी-4 जैसे मॉडल मनुष्यों को नए सिरे से शब्द पहेलियाँ उत्पन्न करने में सहायता कर सकते हैं।

यह रचनात्मक कार्य इस बात की सीमाओं को आगे बढ़ा सकता है कि कैसे मशीन लर्निंग सिस्टम अवधारणाओं का प्रतिनिधित्व करते हैं और प्रासंगिक निष्कर्ष निकालते हैं।

शोधकर्ताओं ने 12 जून, 2023 से 16 फरवरी, 2024 तक दैनिक पहेलियों का प्रतिनिधित्व करने वाले एक ऑनलाइन संग्रह से 250 पहेलियों के डेटासेट के साथ अपने प्रयोग किए।

टोगेलियस, टॉड और मेरिनो के साथ, सैम अर्ल, एक पीएच.डी.गेम इनोवेशन लैब में छात्र, अनुसंधान दल का भी हिस्सा था।यह अध्ययन टोगेलियस के काम में योगदान देता है जो खेलों को बेहतर बनाने के लिए एआई का उपयोग करता है और इसके विपरीत।टोगेलियस 2019 पुस्तक प्लेइंग स्मार्ट: ऑन गेम्स, इंटेलिजेंस और आर्टिफिशियल इंटेलिजेंस के लेखक हैं।

अधिक जानकारी:ग्राहम टॉड एट अल, मिस्ड कनेक्शंस: बड़े भाषा मॉडल के लिए पार्श्व सोच पहेलियाँ,arXiv(2024)।डीओआई: 10.48550/arxiv.2404.11730

जर्नल जानकारी: arXiv

उद्धरण:शोधकर्ताओं ने न्यूयॉर्क टाइम्स की कनेक्शन पहेली को हल करने के लिए एआई सिस्टम की क्षमता का परीक्षण किया (2024, 10 मई)10 मई 2024 को पुनःप्राप्तhttps://techxplore.com/news/2024-05-ai-ability-york-puzzle.html से

यह दस्तावेज कॉपीराइट के अधीन है।निजी अध्ययन या अनुसंधान के उद्देश्य से किसी भी निष्पक्ष व्यवहार के अलावा, नहींलिखित अनुमति के बिना भाग को पुन: प्रस्तुत किया जा सकता है।सामग्री केवल सूचना के प्रयोजनों के लिए प्रदान की गई है।