नॉर्थवेस्टर्न यूनिवर्सिटी के इंजीनियरों ने फुल-बॉडी मोशन कैप्चर के लिए एक नई प्रणाली विकसित की है - और इसके लिए विशेष कमरे, महंगे उपकरण, भारी कैमरे या सेंसर की एक श्रृंखला की आवश्यकता नहीं है।

इसके बजाय, इसके लिए एक साधारण मोबाइल डिवाइस की आवश्यकता होती है।

MobilePoser नामक नई प्रणाली स्मार्टफोन, स्मार्ट घड़ियों और वायरलेस ईयरबड सहित उपभोक्ता मोबाइल उपकरणों में पहले से ही एम्बेडेड सेंसर का लाभ उठाती है।के संयोजन का उपयोग करनासेंसर डेटा, मशीन लर्निंग और भौतिकी, MobilePoser वास्तविक समय में किसी व्यक्ति के पूर्ण-शरीर की मुद्रा और अंतरिक्ष में वैश्विक अनुवाद को सटीक रूप से ट्रैक करता है।

"मोबाइल उपकरणों पर वास्तविक समय में चलते हुए, MobilePoser उन्नत के माध्यम से अत्याधुनिक सटीकता प्राप्त करता हैयंत्र अधिगमऔर भौतिकी-आधारित अनुकूलन, विशेष उपकरणों की आवश्यकता के बिना गेमिंग, फिटनेस और इनडोर नेविगेशन में नई संभावनाओं को अनलॉक करता है," अध्ययन का नेतृत्व करने वाले नॉर्थवेस्टर्न के करण आहूजा ने कहा। "यह तकनीक मोबाइल मोशन कैप्चर की दिशा में एक महत्वपूर्ण छलांग लगाती है, जिससे इमर्सिव अनुभव अधिक सुलभ हो जाते हैं औरविभिन्न उद्योगों में नवीन अनुप्रयोगों के लिए दरवाजे खोलना।"

आहूजा की टीम 15 अक्टूबर को मोबाइलपॉसर का अनावरण करेगीयूजर इंटरफेस सॉफ्टवेयर और प्रौद्योगिकी पर 2024 एसीएम संगोष्ठीपिट्सबर्ग में."मोबाइलपोज़र: मोबाइल उपभोक्ता उपकरणों में आईएमयू से वास्तविक समय पूर्ण-शरीर मुद्रा अनुमान और 3डी मानव अनुवाद" "पोज़ ऐज़ इनपुट" विषय पर एक सत्र के एक भाग के रूप में होगा।

में एक विशेषज्ञह्यूमन कंप्यूटर इंटरेक्शन, आहूजा नॉर्थवेस्टर्न के मैककॉर्मिक स्कूल ऑफ इंजीनियरिंग में लिसा विस्नर-स्लिव्का और बेंजामिन स्लिव्का कंप्यूटर साइंस के सहायक प्रोफेसर हैं, जहां वह सेंसिंग, परसेप्शन, इंटरएक्टिव कंप्यूटिंग और एक्सपीरियंस (स्पाइस) लैब का निर्देशन करते हैं।

वर्तमान प्रणालियों की सीमाएँ

अधिकांश फिल्म प्रेमी मोशन-कैप्चर तकनीकों से परिचित हैं, जो अक्सर पर्दे के पीछे के फुटेज में प्रकट होते हैं।सीजीआई किरदार बनाने के लिए - जैसे "लॉर्ड ऑफ द रिंग्स" में गॉलम या "अवतार" में नावी - अभिनेता सेंसर से ढके फॉर्म-फिटिंग सूट पहनते हैं, क्योंकि वे विशेष कमरों के आसपास घूमते हैं।एक कंप्यूटर सेंसर डेटा कैप्चर करता है और फिर अभिनेता की गतिविधियों और सूक्ष्म अभिव्यक्तियों को प्रदर्शित करता है।

आहूजा ने कहा, "यह मोशन कैप्चर का स्वर्ण मानक है, लेकिन उस सेटअप को चलाने में $100,000 से अधिक का खर्च आता है।""हम एक सुलभ, लोकतांत्रिक संस्करण विकसित करना चाहते थे जिसे मूल रूप से कोई भी अपने पास पहले से मौजूद उपकरणों के साथ उपयोग कर सके।"

उदाहरण के लिए, अन्य गति-संवेदन प्रणालियाँ, जैसे Microsoft Kinect, स्थिर कैमरों पर निर्भर करती हैं जो शरीर की गतिविधियों को देखते हैं।यदि कोई व्यक्ति कैमरे के दृश्य क्षेत्र में है, तो ये सिस्टम अच्छी तरह से काम करते हैं।लेकिन वे मोबाइल या ऑन-द-गो एप्लिकेशन के लिए अव्यावहारिक हैं।

भविष्यवाणी करने वाली मुद्राएँ

इन सीमाओं को पार करने के लिए, आहूजा की टीम ने जड़त्वीय माप इकाइयों (आईएमयू) की ओर रुख किया, एक ऐसी प्रणाली जो शरीर की गति और अभिविन्यास को मापने के लिए सेंसर - एक्सेलेरोमीटर, जाइरोस्कोप और मैग्नेटोमीटर - के संयोजन का उपयोग करती है।

ये सेंसर पहले से ही स्मार्टफ़ोन और अन्य उपकरणों में मौजूद हैं, लेकिन सटीक गति-कैप्चर अनुप्रयोगों के लिए निष्ठा बहुत कम है।अपने प्रदर्शन को बढ़ाने के लिए, आहूजा की टीम ने एक कस्टम-निर्मित, मल्टी-स्टेज आर्टिफिशियल इंटेलिजेंस (एआई) एल्गोरिदम जोड़ा, जिसे उन्होंने उच्च गुणवत्ता वाले मोशन कैप्चर डेटा से उत्पन्न संश्लेषित आईएमयू माप के सार्वजनिक रूप से उपलब्ध बड़े डेटासेट का उपयोग करके प्रशिक्षित किया।

सेंसर डेटा के साथ, MobilePoser त्वरण और शरीर अभिविन्यास के बारे में जानकारी प्राप्त करता है।फिर, यह इस डेटा को एआई एल्गोरिदम के माध्यम से फीड करता है, जो संयुक्त स्थिति और संयुक्त घुमाव, चलने की गति और दिशा, और उपयोगकर्ता के पैरों और जमीन के बीच संपर्क का अनुमान लगाता है।

अंत में, MobilePoser पूर्वानुमानित गतिविधियों को परिष्कृत करने के लिए एक भौतिकी-आधारित ऑप्टिमाइज़र का उपयोग करता है ताकि यह सुनिश्चित किया जा सके कि वे वास्तविक जीवन के शारीरिक आंदोलनों से मेल खाते हों।उदाहरण के लिए, वास्तविक जीवन में जोड़ पीछे की ओर नहीं झुक सकते और सिर 360 डिग्री तक नहीं घूम सकता।भौतिकी अनुकूलक यह सुनिश्चित करता है कि कैप्चर की गई गतियाँ भी शारीरिक रूप से असंभव तरीकों से आगे नहीं बढ़ सकती हैं।

परिणामी प्रणाली में केवल 8 से 10 सेंटीमीटर की ट्रैकिंग त्रुटि होती है।तुलना के लिए, Microsoft Kinect में 4 से 5 सेंटीमीटर की ट्रैकिंग त्रुटि होती है, यह मानते हुए कि उपयोगकर्ता कैमरे के दृश्य क्षेत्र के भीतर रहता है।MobilePoser से यूजर को घूमने की आजादी मिलती है।

आहूजा ने कहा, "सटीकता तब बेहतर होती है जब कोई व्यक्ति एक से अधिक उपकरण पहनता है, जैसे कि उसकी कलाई पर एक स्मार्टवॉच और उसकी जेब में एक स्मार्टफोन।""लेकिन सिस्टम का एक महत्वपूर्ण हिस्सा यह है कि यह अनुकूली है। भले ही एक दिन आपके पास घड़ी न हो और केवल आपका फोन हो, यह आपके पूरे शरीर की मुद्रा का पता लगाने के लिए अनुकूल हो सकता है।"

संभावित उपयोग के मामले

जहां MobilePoser गेमर्स को अधिक गहन अनुभव दे सकता है, वहीं नया ऐप स्वास्थ्य और फिटनेस के लिए नई संभावनाएं भी प्रस्तुत करता है।यह उपयोगकर्ता को अपने पूरे शरीर की मुद्रा देखने में सक्षम बनाने के लिए केवल कदमों की गिनती से भी आगे जाता है, ताकि वे यह सुनिश्चित कर सकें कि व्यायाम करते समय उनका रूप सही है।नया ऐप चिकित्सकों को मरीजों की गतिशीलता, गतिविधि स्तर और चाल का विश्लेषण करने में भी मदद कर सकता है।आहूजा की यह भी कल्पना है कि प्रौद्योगिकी का उपयोग इनडोर नेविगेशन के लिए किया जा सकता है - जीपीएस के लिए एक मौजूदा कमजोरी, जो केवल बाहर काम करती है।

आहूजा ने कहा, "अभी, चिकित्सक एक स्टेप काउंटर के साथ मरीज की गतिशीलता पर नज़र रखते हैं।""यह दुखद है, है ना? हमारे फोन रोम में तापमान की गणना कर सकते हैं। वे हमारे शरीर की तुलना में बाहरी दुनिया के बारे में अधिक जानते हैं। हम चाहते हैं कि फोन सिर्फ बुद्धिमान कदम काउंटर से कहीं अधिक बनें। एक फोन को पता लगाने में सक्षम होना चाहिएविभिन्न गतिविधियाँ, अपनी मुद्राएँ निर्धारित करें और अधिक सक्रिय सहायक बनें।"

आहूजा की टीम ने अन्य शोधकर्ताओं को इस काम को आगे बढ़ाने के लिए प्रोत्साहित किया हैने अपने पूर्व-प्रशिक्षित मॉडल जारी किये, ओपन-सोर्स सॉफ़्टवेयर के रूप में डेटा प्री-प्रोसेसिंग स्क्रिप्ट और मॉडल प्रशिक्षण कोड।आहूजा का यह भी कहना है कि ऐप जल्द ही iPhone, AirPods और Apple Watch के लिए उपलब्ध होगा।

अधिक जानकारी:वास्को ज़ू एट अल, मोबाइलपोज़र: मोबाइल उपभोक्ता उपकरणों में आईएमयू से वास्तविक समय पूर्ण-शारीरिक मुद्रा अनुमान और 3डी मानव अनुवाद,यूजर इंटरफेस सॉफ्टवेयर और प्रौद्योगिकी पर 37वीं वार्षिक एसीएम संगोष्ठी की कार्यवाही(2024)।डीओआई: 10.1145/3654777.3676461