सिंघुआ विश्वविद्यालय में एआई शोधकर्ताओं की एक टीम ने, झिपु एआई के एक सहयोगी के साथ काम करते हुए, लॉन्गवाइटर नामक एक बड़ा भाषा मॉडल (एलएलएम) विकसित किया है, जिसके बारे में उनका दावा है कि यह 10,000 शब्दों तक का टेक्स्ट आउटपुट उत्पन्न करने में सक्षम है।समूह ने अपने प्रयासों और नए एलएलएम का वर्णन करते हुए एक पेपर लिखा है, जो हैउपलब्धपरarXivप्रीप्रिंट सर्वर.
चूंकि एलएलएम मुख्यधारा बन गए हैं, कई लोगों ने देखा है कि वे बहुत लंबे उत्तर देने में सक्षम नहीं हैं, जैसे कि पूरी किताबें या पांडुलिपियां - वर्तमान सीमा लगभग 2,000 शब्द प्रतीत होती है।शोधकर्ताओं का सुझाव है कि ऐसा इसलिए है क्योंकि वे सभी छोटे दस्तावेज़ों पर प्रशिक्षित हैं।अपने नए प्रयास में, उन्होंने पाया है कि यदि एलएलएम को थोड़ा बदल दिया जाए और फिर अधिक लंबे दस्तावेज़ों का उपयोग करके प्रशिक्षित किया जाए, तो वे लंबे दस्तावेज़ तैयार करने में सक्षम हैं।
अपने विचार का परीक्षण करने के लिए, अनुसंधान टीमों ने पहले एक पारंपरिक का उपयोग करके 9-बिलियन पैरामीटर एलएलएम को प्रशिक्षित कियाडाटासेट, जिसमें वे दस्तावेज़ शामिल थे जो अधिकतर 2,000 शब्दों से कम लंबे थे।जैसा कि अपेक्षित था, पूछे जाने पर, यह 2,000 शब्दों से अधिक लंबे पाठ बनाने में सक्षम नहीं था।
इसके बाद, टीम ने प्रशिक्षण सामग्री को संसाधित होते ही उप-कार्यों में विघटित करने के लिए एक पाइपलाइन का उपयोग करके एक पारंपरिक एलएलएम को संशोधित किया, जिसे उन्होंने एजेंटराइट नाम दिया।फिर उन्होंने एक डेटासेट इकट्ठा किया जिसे उन्होंने "लॉन्गवाइटर-6k" नाम दिया, जो एक डेटासेट है जिसमें 2,000 से 32,000 शब्दों तक की लंबाई वाले 6,000 लिखित दस्तावेज़ हैं।फिर उन्होंने नए डेटासेट LongWriter-6k का उपयोग करके संशोधित LLM को प्रशिक्षित किया और पाया कि ऐसा करने से दस्तावेज़ों की शब्द लंबाई लगभग 10,000 शब्दों तक बढ़ सकती है।
एलएलएम द्वारा तैयार किए गए नए निर्मित लंबे दस्तावेज़ों की समीक्षा में, टीम ने उन्हें विभिन्न संदर्भों में सुसंगत और प्रयोग करने योग्य पाया।उन्होंने GitHub पर अपने मॉडल के लिए ओपन-सोर्स कोड पोस्ट किया है, जो दूसरों को चीन में टीम ने जो किया है उस पर निर्माण करने की अनुमति देगा।उन्होंने एक वीडियो भी पोस्ट किया जिसमें लॉन्गराइटर को चीन में यात्रा करने वाले लोगों के लिए 10,000 शब्दों की पर्यटक गाइड तैयार करते हुए दिखाया गया है।
शोधकर्ता स्वीकार करते हैं कि ऐसे नैतिक विचार हैं जिन पर अब विचार किया जाना चाहिए क्योंकि यह पाया गया है कि एलएलएम संपूर्ण शोध पत्र, किताबें, पांडुलिपियां या शायद फिल्म स्क्रिप्ट भी तैयार कर सकते हैं।
अधिक जानकारी:युशी बाई और अन्य, लॉन्गराइटर: लॉन्ग कॉन्टेक्स्ट एलएलएम से 10,000+ वर्ड जेनरेशन को उजागर करना,arXiv(2024)।डीओआई: 10.48550/arxiv.2408.07055
जीथूब:github.com/THUDM/LongWriter
जर्नल जानकारी: arXiv
© 2024 साइंस एक्स नेटवर्क
उद्धरण:एआई शोधकर्ताओं ने 10,000 शब्दों तक के टेक्स्ट आउटपुट उत्पन्न करने में सक्षम एलएलएम पेश किया है (2024, 16 अगस्त)16 अगस्त 2024 को पुनः प्राप्तhttps://techxplore.com/news/2024-08-ai-llm-capable-generating-text.html से
यह दस्तावेज कॉपीराइट के अधीन है।निजी अध्ययन या अनुसंधान के उद्देश्य से किसी भी निष्पक्ष व्यवहार के अलावा, नहींलिखित अनुमति के बिना भाग को पुन: प्रस्तुत किया जा सकता है।सामग्री केवल सूचना के प्रयोजनों के लिए प्रदान की गई है।