कॉन्टैक्टलेस कंट्रोल: इनसाइड लुक

पिछले हब में, हम बेलारूसी डेवलपर्स से INCOS परियोजना के साथ मिले थे। इस पोस्ट में, हम एक प्लास्टिक बॉक्स के अंदर देखेंगे और प्रोटोटाइप के चरणों और उपयोग किए गए जेस्चर पहचान एल्गोरिदम से परिचित होंगे।





इसलिए, मैं डेवलपर्स को यह शब्द देता हूं:

कुछ साल पहले, हमारी INCOS टीम को संपर्क रहित नियंत्रण के क्षेत्र में एक परियोजना को लागू करने का प्रयास करने का विचार मिला।
सबसे पहले, यह एक विशिष्ट उपकरण के बारे में नहीं था, लेकिन धीरे-धीरे मैं कुछ और करना चाहता था, और अंततः, आईएनसीआर प्रणाली का निर्माण हुआ। आज मौजूद डिवाइस, जिसके साथ आप स्क्रीन पर वस्तुओं को सीधे शरीर के आंदोलनों के साथ नियंत्रित कर सकते हैं, अक्सर सार्वभौमिक नहीं होते हैं, अर्थात। एक यूएसबी पोर्ट के माध्यम से सीधे किसी भी डिवाइस से कनेक्ट नहीं किया जा सकता है। वास्तव में, यह आधार हमारे लिए एक रचनात्मक प्रेरणा के रूप में कार्य करता है। अन्य उपकरणों के विपरीत, हमारे सिस्टम को कनेक्ट किया जा सकता है, उदाहरण के लिए, स्मार्ट टीवी समर्थन वाले टीवी के लिए।

इस मामले में, INCOS को एक छिपाई डिवाइस के रूप में परिभाषित किया जाएगा। वास्तव में, आप सिस्टम को न केवल कंप्यूटर और टीवी से कनेक्ट कर सकते हैं, बल्कि किसी अन्य डिवाइस से भी ले सकते हैं, जिसमें एक USB, वाई-फाई, ईथरनेट, ब्लूटूथ पोर्ट है और INCOS को एक माउस और कीबोर्ड के रूप में देखने में सक्षम है। INCOS का एक और लाभ यह है कि यह प्रणाली उन कार्यक्रमों के सेट तक सीमित नहीं है जिनमें इसका उपयोग किया जा सकता है। उदाहरण के लिए, आप इसे किसी भी गेम में नियंत्रित करने के लिए उपयोग कर सकते हैं, जिनमें 2000 से पहले जारी किए गए (मैं गेमर नहीं हूं, लेकिन कभी-कभी मुझे स्टारक्राफ्ट खेलना पसंद है)। वर्तमान में, INCOS विकल्प को एक ही समय में कई उपकरणों से जोड़ने के लिए विकसित किया जा रहा है।
इस प्रयोजन के लिए, यह एक प्रोग्राम usb- स्विच का उपयोग करना चाहिए। इस प्रकार, प्रत्येक डिवाइस समय में विभिन्न बिंदुओं पर उपलब्ध होगा। INCOS "स्मार्ट रिमोट कंट्रोल" फ़ंक्शन प्रदान करता है, जिसमें टीवी रिमोट कंट्रोल का उपयोग किए बिना चैनल स्विच करना शामिल है। इशारे और वॉयस कमांड को रिमोट कंट्रोल पर विभिन्न बटन को सौंपा जा सकता है (टीवी रिमोट कंट्रोल के साथ INCOS सिस्टम और रिमोट कंट्रोल कुंजियों के सेट के लिए अंतर्निहित अवरक्त रिसीवर को प्रशिक्षित करने के बाद)। विभिन्न प्रकार के संपर्क रहित नियंत्रण प्रणालियां, उदाहरण के लिए किनेक्ट, आमतौर पर तथाकथित टॉफ कैमरों पर आधारित होती हैं, अर्थात। तथाकथित गहराई मानचित्र बनाने के लिए अवरक्त विकिरण का उपयोग करें। हालांकि, विभिन्न प्रकार के टॉफ कैमरों का विश्लेषण करने के बाद, और उनकी कीमत सीमा (और हमारे लिए सबसे उपयुक्त प्रतियों की कीमत सैकड़ों और हजारों यूरो में अनुमानित थी) एक सरल, सस्ता और अधिक क्रोधित समाधान: एक स्टीरियो जोड़ी।
हां, निश्चित रूप से इसकी कमियां हैं। उदाहरण के लिए, स्टीरियो जोड़ी पर आधारित एक उपकरण अंधेरे की तुलना में प्रकाश में बेहतर काम करता है (जो डिवाइस एक अवरक्त ग्रिड का निर्माण करते हैं वे आमतौर पर दूसरे के आसपास होते हैं)। हालांकि, सही दृष्टिकोण के साथ, कई समस्याओं से बचा जा सकता है (विशेष रूप से, कैमरों के अतिरिक्त अवरक्त रोशनी का उपयोग करके उक्त हल किया गया था)।



इससे पहले, रास्पबेरी बोर्ड को डिवाइस के लिए आधार माना जाता था। हालांकि, प्रदर्शन कारणों से, एक अलग मंच चुनने का फैसला किया गया था (हालांकि, रास्पबेरी से जुड़ने की क्षमता अभी भी बनी हुई है)



वर्तमान में, सिस्टम का मूल क्यूबी मिनी-पीसी (ऑलविनर ए 10 प्रोसेसर पर आधारित) है, हालांकि, प्रोसेसर को एक और अधिक शक्तिशाली के साथ बदलने के लिए नए क्यूबबोर्ड मॉडल के रिलीज के संबंध में भी विचार किया जा रहा है।



अतिरिक्त अवरक्त रोशनी के साथ हमारी परीक्षण बेंच
इस समय छवि का रिज़ॉल्यूशन 320x240 पिक्सेल और 640x480 है (यह कैमरों की आवृत्ति के अनुसार है और, तदनुसार, प्रसंस्करण की गति), एफपीएस की संख्या 60 या उससे अधिक है, हालांकि, इस संकल्प को बढ़ाने के लिए काम चल रहा है। अधिकतम दूरी जिस पर उपकरण काम करता है वह 3.5-4 मीटर है, न्यूनतम 20-30 सेमी है, हालांकि आप इसे समायोजित कर सकते हैं। कैमरा व्यूइंग एंगल (विशेष वाइड-एंगल लेंस का उपयोग करके) लगभग 800 है।
INCOS के सॉफ्टवेयर घटक को लागू करने के लिए, OpenCV लाइब्रेरी का उपयोग करने का निर्णय लिया गया था, और परिणामी आकृति के कंकाल के लिए - CGAL। इन दोनों पुस्तकालयों को ओपन सोर्स लाइसेंस के तहत वितरित किया जाता है। कैमरों से प्राप्त दो छवियों को एक एल्गोरिथ्म का उपयोग करके संसाधित किया जाता है जो बाईं और दाईं छवियों (कर्ट कोनोलिज एल्गोरिथ्म) में पिक्सेल के बीच पूर्ण अंतर के चलती रकम का उपयोग करता है। इस प्रकार, एक गहरा मानचित्र का निर्माण किया जाता है। फिर विशेष रूप से डिज़ाइन किए गए सॉफ़्टवेयर फ़िल्टर का उपयोग करके परिणामी छवि में शोर का उन्मूलन होता है।



बाएं कैमरे से छवि, दाईं ओर से और परीक्षण बेंच पर एक गहरा नक्शा।
उन क्षेत्रों को उजागर करने के लिए जो कैमरे से सही दूरी पर हैं (और मानव शरीर पृष्ठभूमि तत्वों की तुलना में कैमरे के करीब है), विकास के इस स्तर पर एक थ्रेशोल्ड परिवर्तन का उपयोग किया जाता है। किनारों को उजागर करने और मानव शरीर के आकृति को पहचानने के लिए, क्षणों पर आधारित एक समोच्च विश्लेषण का उपयोग किया जाता है। फिर, मॉडल के कंकाल का निर्माण CGAL लाइब्रेरी के तरीकों का उपयोग करके किया जाता है। इस उपकरण को बनाने का मुख्य लक्ष्य न केवल हाथों का इतना नियंत्रण था, बल्कि पूरे शरीर का था, इसलिए, हाथ के कंकाल में, केवल अंगूठे और अन्य उंगलियों को एक पूरे के रूप में ध्यान में रखा जाता है। अगला, शाखाओं की ज्यामितीय विशेषताओं का विश्लेषण किया जाता है और कक्षाओं में विभाजित किया जाता है: शाखाएं जिनमें विशिष्ट बिंदु होते हैं और जिनमें उपयुक्त क्लासिफायरियर और मशीन लर्निंग के तरीकों का उपयोग नहीं होता है (विशेष रूप से, सपोर्ट वेक्टर विधि)। विशेषता अंक निर्धारित करने के बाद, उन्हें ट्रैक किया जाता है। जेस्चर पहचान के लिए, फ़्रेम के अनुक्रम का विश्लेषण किया जाता है और इशारे की पहचान वर्तमान में निकटतम पड़ोसी विधि का उपयोग करके की जाती है



छवि में, आप इन्फ्रारेड रोशनी द्वारा एक हाथ को रोशन कर सकते हैं, एक बिनाराइज्ड छवि (ऊपर), और एक हाथ समोच्च (कंकाल और विशेषता अंक अक्षम हैं)



कंकाल और सुविधा बिंदु प्रदर्शन सक्षम



ऊपरी शरीर समोच्च पहचान



चित्रा में, हाथ शरीर की तुलना में करीब है
जैसा कि आप जानते हैं, इस समय कोई आवाज पहचान प्रणाली नहीं है जो 100% इस कार्य को करती है। हमारी प्रणाली, बेशक, इस संबंध में अद्वितीय नहीं है। यह जोर दिया जाना चाहिए कि सिस्टम मुख्य रूप से अलग-अलग भाषण, या वॉयस कमांड को मानता है। इस स्थिति में, आप किसी भी भाषा में कार्रवाई के लिए एक कमांड "संलग्न" कर सकते हैं, क्योंकि शब्द और शब्द का ध्वन्यात्मक भार डिवाइस के लिए मायने नहीं रखता है। आवाज नियंत्रण तंत्र को लागू करने के लिए, हमने CMUSphinx लाइब्रेरी की जांच की, साथ ही साथ तंत्रिका नेटवर्क के क्षेत्र में हमारे कुछ विकास भी किए। अब हम जूलियस लाइब्रेरी को भी देख रहे हैं। वर्तमान में, सिस्टम कोहेनन न्यूरल नेटवर्क का उपयोग करता है। पूर्व-प्रसंस्करण के दौरान, हेमिंग स्मूथिंग और असतत फूरियर रूपांतरण, साथ ही लॉगरिदमिक स्पेक्ट्रम संपीड़न का उपयोग किया जाता है।
INCOS सिस्टम और स्मार्ट होम सिस्टम के बीच बातचीत का विकास जारी है। इस स्तर पर, INCOS में ईथरनेट केबल कनेक्ट करने के लिए एक कनेक्टर है, जैसा कि इन उपकरणों को एक स्थानीय नेटवर्क के माध्यम से नियंत्रित किया जाता है, जो आपको वेब-आधारित इंटरफ़ेस के माध्यम से सिस्टम को कॉन्फ़िगर करने की अनुमति देता है।

हम देखते हैं कि इस स्तर पर पहले से ही एक कार्यशील प्रोटोटाइप है जो आपको संपर्क रहित नियंत्रण एल्गोरिदम की जांच करने की अनुमति देता है। दुर्भाग्य से, ऊपर प्रस्तुत सामग्री अभी भी Boomstarter के प्रोजेक्ट में हमसे जो वादा करती है, उससे बहुत दूर है। लेकिन लोग इस परियोजना पर काम कर रहे हैं, नए घटकों का उपयोग कर रहे हैं और निर्धारित लक्ष्य की ओर बढ़ते हैं। मुझे उम्मीद है कि बूमस्टार्टर पर हमारा संयुक्त समर्थन INCOS के रूप में इस तरह के एक दिलचस्प और आशाजनक परियोजना को जीवन देगा।