सूचना सुरक्षा के लिए CISPA हेल्महोल्ट्ज़ सेंटर में अनुभवजन्य अनुसंधान सहायता (ईआरएस) की एक शोध टीम ने सबसे लोकप्रिय ट्रांसक्रिप्शन सेवाओं की एक व्यवस्थित तुलना की है।तुलना में मैनुअल के साथ-साथ एआई-आधारित ट्रांसक्रिप्शन के 11 प्रदाता शामिल थे।

इससे पता चलता है कि, अच्छी गुणवत्ता के बावजूद, बाद वाले में अभी भी स्पीकर एट्रिब्यूशन के साथ समस्याएं हैं और रिकॉर्डिंग और रिकॉर्डिंग के बीच विसंगतियां हैं।TRANSCRIPTIONवह अर्थ विकृत करता है।ओपनएआई के व्हिस्पर एआई ने एआई प्रदाताओं के बीच सबसे अच्छे परिणाम दिए।

साक्षात्कार एकत्रित करने का एक लोकप्रिय तरीका हैवैज्ञानिक डेटा.मात्रात्मक और गुणात्मक साक्षात्कार के बीच एक बुनियादी अंतर है।जबकि पहले को मानकीकृत प्रश्नावली की मदद से बड़ी संख्या में प्रतिभागियों से सांख्यिकीय रूप से उपयोगी जानकारी प्राप्त करने के लिए डिज़ाइन किया गया है, दूसरे का उद्देश्य साक्षात्कार डेटा प्राप्त करना है जो शोधकर्ताओं द्वारा व्याख्या की अनुमति देता है।

एक विशेष प्रकार का निर्देशित साक्षात्कार होता है, जिसमें प्रश्नों की एक तैयार सूची होती है, हालाँकि, साक्षात्कार के दौरान इससे विचलन हो सकता है।साक्षात्कार.सीआईएसपीए की अनुभवजन्य अनुसंधान सहायता (ईआरएस) टीम के समाजशास्त्री डॉ. राफेल मोरोज़िंस्की बताते हैं, "साइबर सुरक्षा अनुसंधान में, डिजिटल माध्यमों से काम करने वाले अभिनेताओं की कार्रवाई के पैटर्न और व्याख्या की खोज करते समय इन साक्षात्कारों का उपयोग किया जाता है।"ईआरएस टीम केंद्र के शोधकर्ताओं को पद्धति संबंधी मुद्दों पर सलाह देती है।

किसी ऑडियो फ़ाइल को टेक्स्ट में कनवर्ट करना

गुणात्मक डेटा विश्लेषण में प्रतिलेखन एक महत्वपूर्ण कदम है।"मानक प्रक्रिया साक्षात्कारों की ऑडियो रिकॉर्डिंग को पाठ में परिवर्तित करना है। डेटा की गुणवत्ता के लिए यह महत्वपूर्ण है कि प्रतिलेखन पर्याप्त हो," म्रोव्ज़िंस्की बताते हैं।वैज्ञानिक क्षेत्र के आधार पर, प्रतिलेखन के लिए अलग-अलग मानक हैं।

"मेंसाइबर सुरक्षा अनुसंधान, हम आम तौर पर उन प्रतिलेखों के साथ काम करते हैं जो बातचीत की सामग्री को सटीक रूप से पुन: प्रस्तुत करते हैं,'' म्रोव्ज़िंस्की कहते हैं। इसलिए, एक पर्याप्त प्रतिलेख में केवल प्रासंगिक बोले गए शब्द शामिल होते हैं। शोधकर्ता प्रतिलेख को दो तरीकों से प्राप्त कर सकते हैं: या तो यह अनुसंधान टीम द्वारा बनाया गया हैस्वयं, या कार्य तृतीय-पक्ष प्रदाताओं को आउटसोर्स किया गया है।

तृतीय-पक्ष प्रदाताओं के बीच, मैन्युअल ट्रांसक्रिप्शन के अलावा, हाल ही में स्वचालित, एआई-आधारित ट्रांसक्रिप्शन के बारे में वास्तविक प्रचार हुआ है।यह विकास और गुणवत्ता में तेजी से हुई छलांग के कारण है जो पिछले दो वर्षों में कई क्षेत्रों में एआई अनुप्रयोगों ने अनुभव किया है।

सीआईएसपीए की ईआरएस टीम के शोधकर्ता यह जानना चाहते थे कि बाजार में कौन सा प्रदाता सर्वोत्तम परिणाम प्राप्त करता है और मैन्युअल ट्रांसक्रिप्शन की तुलना में स्वचालित, एआई-आधारित ट्रांसक्रिप्शन कितना प्रदर्शन करता है।लक्ष्य सीआईएसपीए और साइबर सुरक्षा समुदाय के शोधकर्ताओं को गुणात्मक साक्षात्कार के साथ काम करने की सिफारिश प्रदान करने में सक्षम होना था।

ईआरएस टीम का दृष्टिकोण

अपने शोध प्रोजेक्ट के लिए, म्रोव्ज़िंस्की और उनके सहयोगियों डॉ. मारिया हेलेंथल, डॉ. रुडोल्फ सीगल और डॉ. माइकल शिलिंग ने एक परीक्षण डेटासेट बनाया।इसमें लगभग दस मिनट तक चलने वाले व्यक्तिगत साक्षात्कार और जर्मन और अंग्रेजी में सीआईएसपीए शोधकर्ताओं के साथ समूह चर्चा शामिल थी।सामग्री साइबर सुरक्षा के अनुसंधान क्षेत्र पर केंद्रित है।

"यह महत्वपूर्ण था कि समुदाय से तकनीकी शब्दों को शामिल किया जाए ताकि प्रतिलेखन की सटीकता का आकलन किया जा सके," म्रोज़िंस्की बताते हैं।रोजमर्रा के शोध में वास्तविक सेटिंग्स को बेहतर ढंग से प्रतिबिंबित करने के लिए कुछ साक्षात्कारों को पृष्ठभूमि शोर के साथ अतिरिक्त रूप से बढ़ाया गया था।

डेटा दिसंबर 2022 में ग्यारह प्रदाताओं को भेजा गया था। इनमें ट्रांसक्रिप्शन सेवाएं एम्बरस्क्रिप्ट, गोट्रांसक्रिप्ट, क्वालट्रांसक्राइब, रेव और स्क्रिबल, साथ ही एआई-आधारित ट्रांसक्रिप्शन प्रदाता अमेज़ॅन ट्रांसक्राइब, असेंबलीएआई, ऑडियोट्रांसक्रिप्शन.डी, गूगल क्लाउड, माइक्रोसॉफ्ट शामिल थे।Azure, और OpenAI द्वारा व्हिस्पर।

प्राप्त प्रतिलेखों के मूल्यांकन के लिए, म्रोज़िंस्की और उनके सहयोगियों ने एक संदर्भ प्रतिलेख बनाया जो तुलनात्मक विश्लेषण के आधार के रूप में कार्य करता था।इसके बाद विश्लेषण ने स्वयं दो केंद्रीय मानदंडों पर ध्यान केंद्रित किया।सबसे पहले, शोधकर्ताओं ने शब्द त्रुटि दर का आकलन किया, जो इंगित करता है कि एक प्रतिलेख संदर्भ प्रतिलेख से कितने शब्दों में भिन्न है।दूसरा, संदर्भ प्रतिलेख से गुणात्मक विचलन को मैन्युअल रूप से कोडित किया गया था।

मैन्युअल ट्रांस्क्रिप्शन सेवाओं ने AI को पछाड़ दिया

अपने पेपर में, म्रोज़िंस्की और उनके सहयोगियों ने निष्कर्ष निकाला है कि, सामान्य तौर पर, "अधिकांश मैन्युअल ट्रांसक्रिप्शन सेवाएं प्रदर्शन का सराहनीय स्तर हासिल करती हैं, जबकि एआई-आधारित सेवाएं अक्सर रिकॉर्डिंग और ट्रांसक्रिप्शन के बीच अर्थ-विकृत विसंगतियां दिखाती हैं।"

तकनीकी शब्दों में अर्थ की विकृति स्पष्ट देखी जा सकती है;म्रोज़िंस्की बताते हैं, "प्रतिलेख में, उदाहरण के लिए, 'हैश' शब्द 'राख' बन गया।"इस तरह हम पेपर का शीर्षक लेकर आए।"

ओपनएआई के व्हिस्पर ने एआई-आधारित प्रदाताओं के बीच सर्वोत्तम परिणाम हासिल किए।अधिकांश प्रदाता जर्मन की तुलना में अंग्रेजी को बेहतर ढंग से संभालते हैं।तीन प्रदाताओं ने जर्मन के लिए ट्रांसक्रिप्शन की पेशकश ही नहीं की।पृष्ठभूमि शोर का आमतौर पर परिणाम पर नकारात्मक प्रभाव पड़ता है।एआई-आधारित प्रदाताओं को विशेष रूप से स्पीकर असाइनमेंट में समस्याएँ थीं।

इसके अलावा, एआई द्वारा बनाए गए प्रतिलेखों को गुणात्मक डेटा विश्लेषण के लिए सॉफ़्टवेयर में आगे संसाधित करना संभव होने से पहले उन्हें पुन: स्वरूपित करना पड़ा।हालाँकि, शोधकर्ताओं का कहना है कि उनका विश्लेषण दिसंबर 2022 तक की अत्याधुनिक स्थिति को दर्शाता है और वर्तमान विकास को ध्यान में नहीं रखा जा सकता है।

शोध थापेश कियाकंप्यूटर और संचार सुरक्षा पर 2023 सीसीएस एसीएम सम्मेलन में।

अधिक जानकारी:रुडोल्फ सीगल एट अल, पोस्टर: हैश से एशेज तक - प्रतिलेखन सेवाओं की तुलना,कंप्यूटर और संचार सुरक्षा पर 2023 ACM SIGSAC सम्मेलन की कार्यवाही(2023)।डीओआई: 10.1145/3576915.3624380

द्वारा उपलब्ध कराया गयासूचना सुरक्षा के लिए CISPA हेल्महोल्ट्ज़ केंद्र