विंडोज एसडीके के लिए काइनेट। भाग 3. कार्यशीलता

• विंडोज एसडीके के लिए काइनेट। भाग 1. सेंसर
• विंडोज एसडीके के लिए काइनेट। भाग 2. डेटा स्ट्रीम
• [विंडोज एसडीके के लिए Kinect। भाग 3. कार्यशीलता]
• हम Kinect के साथ क्यूब्स खेलते हैं
• कार्यक्रम, aport!

एक मानव आकृति पर नज़र रखना

इस तरह की एक अद्भुत विशेषता के साथ, Kinect एक व्यक्ति के आंकड़े और आंदोलन को पहचानने में सक्षम है। और, वास्तव में, एक भी नहीं, लेकिन छह! यह निर्धारित करने के अर्थ में कि अधिकतम छह लोग सेंसर के क्षेत्र में हैं, लेकिन केवल दो विस्तृत जानकारी एकत्र की जा सकती है। चित्र पर एक नज़र डालें:



व्यक्तिगत रूप से, मेरा पहला सवाल था: "उसने (किनेक्ट] इन दो मिर्चों के लिए एक पूर्ण 20-बिंदु कंकाल क्यों बनाया, और बाकी के लिए केवल नाभि दिखाया?" लेकिन यहां बात भेदभाव नहीं है, यह सिर्फ सेंसर डिफ़ॉल्ट रूप से कार्य करता है - पहली बार के लिए एक विस्तृत कंकाल दो मान्यता प्राप्त आंकड़ों से बना है, बाकी इस तथ्य से संतुष्ट हैं कि उन्हें कम से कम देखा गया था। MSDN का भी एक उदाहरण है कि इस व्यवहार को कैसे बदला जाए, उदाहरण के लिए, संवेदक के निकटतम लोगों के लिए एक विस्तृत कंकाल का निर्माण करना।

निर्मित कंकाल के बिंदुओं को संयुक्त कहा जाता है, जिसे संयुक्त, संयुक्त, नोड के रूप में अनुवाद किया जा सकता है। गाँठ मुझे एक अधिक पर्याप्त अनुवाद लगती है, और यहां तक ​​कि सिर को एक संयुक्त फोन करने के लिए किसी तरह बहुत अच्छा नहीं है।

तो, फ्रेम में मौजूद आंकड़ों के बारे में जानकारी प्राप्त करने के लिए आपको पहली चीज जो करने की आवश्यकता है, वह वांछित स्ट्रीम को सक्षम करना है:

//          sensor.SkeletonFrameReady += SkeletonsReady; //   sensor.SkeletonStream.Enable(); 

दूसरा है कंकालफ्रेमरेड्डी घटना को संभालना। जो कुछ भी करना बाकी है वह फ्रेम से ब्याज के आंकड़ों के बारे में जानकारी निकालना है। एक आकृति - कंकाल वर्ग की एक वस्तु। ऑब्जेक्ट ट्रैकिंग की स्थिति पर डेटा संग्रहीत करता है - ट्रैकिंगस्टैट संपत्ति (चाहे पूर्ण कंकाल बनाया गया हो या यह केवल आकृति के स्थान के बारे में जाना जाता है), आकृति के नोड्स के बारे में डेटा जोड़ों की संपत्ति है। यह अनिवार्य रूप से एक शब्दकोश है, जिसकी कुंजियाँ संयुक्त टाइप संज्ञान के मूल्य हैं। उदाहरण के लिए, आप अपने बाएं घुटने का स्थान प्राप्त करना चाहते थे - कुछ भी आसान नहीं है!

 Joint kneeLeft = skeleton.Joints[JointType.KneeLeft]; int x = kneeLeft.Position.X; int y = kneeLeft.Position.Y; int z = kneeLeft.Position.Z; 

जॉइंटाइप एन्यूमरेशन वैल्यू मूल रूप से एक विट्रुवियन मैन के फिगर में दिखाई जाती है।



इन पंक्तियों से पहले, मैंने 20-नोड के कंकाल के बारे में लिखा था। निर्माण जो हमेशा संभव नहीं है। इसलिए एक शासन था जिसे बैठा कंकाल ट्रैकिंग कहा जाता था। इस मोड में, सेंसर पूर्ण 10-नोड कंकाल का निर्माण नहीं करता है।



इस मोड में आंकड़े पहचानना शुरू करने के लिए Kinect के लिए, यह स्ट्रीम इनिशियलाइज़ेशन के दौरान SkeletonStream ऑब्जेक्ट की TrackingMode प्रॉपर्टी को सेट करने के लिए पर्याप्त है:

 kinect.SkeletonStream.TrackingMode = SkeletonTrackingMode.Seated; 

एक बैठे आंकड़े के ट्रैकिंग मोड में, सेंसर छह आंकड़े तक भी पहचान सकता है और दो आंकड़े ट्रैक कर सकता है। लेकिन कुछ ख़ासियतें हैं। इसलिए, उदाहरण के लिए, "नोटिस" के सेंसर के लिए आपको अपने हाथों को घुमाने की ज़रूरत है, जबकि पूर्ण कंकाल पहचान मोड में यह सेंसर के सामने खड़े होने के लिए पर्याप्त है। एक बैठे हुए आंकड़े को ट्रैक करना एक अधिक संसाधन-गहन ऑपरेशन है, इसलिए एफपीएस को कम करने के लिए तैयार रहें।

श्रृंखला का एक अन्य लेख - हम काइनेट के साथ क्यूब्स खेलते हैं , पूरी तरह से एक मानव आकृति पर नज़र रखने के विषय के लिए समर्पित है।

वाक् पहचान

कड़ाई से बोलते हुए, भाषण मान्यता किनेक्ट की एक अंतर्निहित विशेषता नहीं है, क्योंकि यह एक अतिरिक्त एसडीके का उपयोग करता है, और सेंसर एक ऑडियो सिग्नल स्रोत के रूप में कार्य करता है। इसलिए, वाक् पहचान अनुप्रयोगों के विकास के लिए Microsoft भाषण प्लेटफ़ॉर्म की स्थापना की आवश्यकता होगी। यदि वांछित है, तो आप अलग-अलग भाषा पैक स्थापित कर सकते हैं, और क्लाइंट मशीनों के लिए एक अलग पैकेज (भाषण मंच रनटाइम) है।

सामान्य तौर पर, भाषण मंच के लिए उपयोग का मामला इस प्रकार है:

1. सिस्टम में उपलब्ध भाषा से आवश्यक भाषा के लिए एक मान्यता इंजन का चयन करें;
2. एक शब्दकोश बनाएं और इसे चयनित हैंडलर को पास करें। मानवीय रूप से बोलते हुए, यह तय करना आवश्यक है कि आपके एप्लिकेशन को किन शब्दों को पहचानने में सक्षम होना चाहिए और उन्हें स्ट्रिंग के रूप में मान्यता प्रोसेसर में भेजना चाहिए (प्रत्येक शब्द की ध्वनि के साथ ऑडियो फ़ाइलों को बनाने की कोई आवश्यकता नहीं है);
3. प्रोसेसर के लिए ऑडियो स्रोत सेट करें। यह Kinect, माइक्रोफोन, ऑडियो फ़ाइल हो सकती है;
4. मान्यता शुरू करने के लिए हैंडलर को एक कमांड दें।

उसके बाद, यह केवल उस घटना को संभालने के लिए रहता है जो तब होता है जब भी हैंडलर शब्द को पहचानता है। इस मंच के साथ काम करने का एक उदाहरण लेख कार्यक्रम, एओआर में पाया जा सकता है !

फेस ट्रैकिंग

आंकड़ा ट्रैकिंग के विपरीत , फेस ट्रैकिंग वीडियो स्ट्रीम (कलर स्ट्रीम) से प्राप्त डेटा और रेंजफाइंडर (डेप्थ स्ट्रीम) के डेटा स्ट्रीम के आधार पर, प्रोग्रामेटिक रूप से पूरी तरह से कार्यान्वित की जाती है। इसलिए, क्लाइंट कंप्यूटर के संसाधन निर्धारित करेंगे कि ट्रैकिंग कितनी तेजी से काम करेगी।

यह ध्यान देने योग्य है कि फेस ट्रैकिंग चेहरे की पहचान के समान नहीं है। यह मज़ेदार है, लेकिन कुछ लेखों में मैं बिल्कुल उन कहानियों से मिला जो कि किनेक्ट का चेहरा पहचानने का कार्य है। तो फेस ट्रैकिंग क्या है और यह कहां उपयोगी हो सकती है?

फेस ट्रैकिंग 87 नोडल फेस पैटर्न के निर्माण के साथ एक फ्रेम में एक व्यक्ति के चेहरे को ट्रैक कर रहा है। MSDN के अनुसार, कई व्यक्तियों की निगरानी करना संभव है, लेकिन ऊपरी सीमा के बारे में यह नहीं कहा जाता है, यह संभवतः दो के बराबर है (इतने सारे लोगों के लिए, सेंसर एक एन नोडल कंकाल का निर्माण कर सकता है)। खेलों में कार्यक्षमता उपयोगी हो सकती है ताकि आपका चरित्र (अवतार) आपके चेहरे पर प्रदर्शित भावनाओं के पूरे पैलेट को व्यक्त कर सके; उन अनुप्रयोगों में जो आपके मूड (अश्रुपूर्ण या चंचल) के अनुकूल होते हैं; चेहरा पहचान अनुप्रयोगों में, अंत में, या यहां तक ​​कि भावनाओं (डॉ। लाइटमैन?)।

तो, योजना। वास्तव में, यहाँ यह है (मेरे सपनों की योजना):



इन 87 नोड्स के अलावा, आप 13 और के लिए निर्देशांक प्राप्त कर सकते हैं: आंखों के केंद्र, नाक, होंठों के कोने और सिर की सीमाएं। एसडीके एक 3 डी फेस मास्क भी बना सकता है, जैसा कि निम्नलिखित आकृति में दिखाया गया है:



अब फेस ट्रैकिंग एसडीके द्वारा कार्यान्वित फेस ट्रैकिंग की एक आम समझ से लैस है, यह समय है कि आप उसे बेहतर तरीके से जान सकें। फेस ट्रैकिंग एसडीके डेवलपर टूलकिट के साथ शामिल एक COM लाइब्रेरी (FaceTrackLib.dll) है। Microsoft आवरण परियोजना (आवरण) Microsoft.Kinect.Toolkit.FaceTracking भी है , जिसे सुरक्षित रूप से प्रबंधित परियोजनाओं में उपयोग किया जा सकता है। दुर्भाग्य से, रैपर का विवरण खोजना संभव नहीं था, बशर्ते लिंक के अलावा (मेरा मानना ​​है कि सक्रिय विकास जारी है और जबकि फेस ट्रैकिंग एसडीके को काइन्केड एसडीके में शामिल नहीं किया गया है, हम केवल एमएसडीएन पर प्रदर्शित होने में मदद की उम्मीद कर सकते हैं)।

मैं केवल कुछ कक्षाओं पर ध्यान केंद्रित करूंगा। सेंटरपीस फेसट्रैक क्लास है, अजीब तरह से पर्याप्त है। उनके कार्यों में ट्रैकिंग इंजन (इंजन) को शुरू करना और फ्रेम में किसी व्यक्ति के आंदोलनों को ट्रैक करना शामिल है। ओवरलोड ट्रैक विधि आपको वीडियो कैमरा और रेंजफाइंडर से डेटा का उपयोग करने वाले व्यक्ति की खोज करने की अनुमति देती है। विधि के अधिभार में से एक मानव आकृति लेता है - कंकाल , जो खोज की गति और गुणवत्ता को सकारात्मक रूप से प्रभावित करता है। फेसमॉडल वर्ग 3 डी मॉडल बनाने में मदद करता है, साथ ही साथ मॉडल को एक कैमरा समन्वय प्रणाली में परिवर्तित करता है। Microsoft.Kinect.Toolkit.FaceTracking प्रोजेक्ट में, रैपर क्लासेस के अलावा, आप सरल, लेकिन कम उपयोगी प्रकार नहीं पा सकते हैं। उदाहरण के लिए, फ़ीचरपॉप एन्यूमरेशन चेहरे की रूपरेखा के सभी नोड्स का वर्णन करता है (ऊपर 87 बिंदुओं के साथ आंकड़ा देखें)।

सामान्य तौर पर, ट्रैकिंग का उपयोग करने के लिए एल्गोरिथ्म इस तरह दिख सकता है:

1. एक सेंसर का चयन करें और वीडियो स्ट्रीम (रंग धारा) , रेंजफाइंडर (गहराई धारा) और आंकड़ा ट्रैकिंग स्ट्रीम (कंकाल स्ट्रीम) के डेटा स्ट्रीम को सक्षम करें;
2. एक AllFramesReady सेंसर इवेंट हैंडलर जोड़ें, जो तब होता है जब सभी थ्रेड्स के फ़्रेम उपयोग के लिए तैयार होते हैं;
3. ईवेंट हैंडलर में, फेसट्रैक को आरंभीकृत करें (यदि यह पहले से नहीं किया गया है), फ्रेम में पाए गए आकृतियों के माध्यम से जाएं और उनके लिए निर्मित चेहरे के पैटर्न को इकट्ठा करें;
4. प्रक्रिया का चेहरा पैटर्न (उदाहरण के लिए, निर्मित 3 डी मास्क दिखाएं या फ्रेम में लोगों की भावनाओं को निर्धारित करें)।

मैं यह नोट करना चाहता हूं कि मैं जानबूझकर कोड उदाहरण नहीं देता हूं, क्योंकि मैं कुछ पंक्तियों में एक उदाहरण नहीं दे सकता, लेकिन मैं इस लेख को विशाल मल्टी-लाइन लिस्टिंग के साथ अधिभार नहीं देना चाहता।

याद रखें कि फ्रेम में चेहरे की गुणवत्ता सिर की दूरी और उसकी स्थिति (झुकाव) दोनों पर निर्भर करती है। सेंसर के लिए स्वीकार्य सिर झुकाव को ऊपर और नीचे, 20 °, बाएं और दाएं ° 45 °, पक्ष झुकाव l 45 ° माना जाता है। इष्टतम मान क्रमशः are 10 °, values ​​30 ° और are 45 ° झुके हुए ऊपर-नीचे, बाएँ-दाएँ और बग़ल में हैं, ( 3D हेड पोज़ देखें)।

काइनेट स्टूडियो

पहली बार जब आप काइनेट के लिए कुछ लिखने की कोशिश करते हैं, तो यह महसूस होता है कि कुछ याद आ रहा है एक मिनट के लिए नहीं छोड़ता है। और जब आप सौवीं बार ब्रेकपॉइंट सेट करते हैं ताकि वे एक निश्चित इशारे के साथ ठीक काम करें, और जब आप कैमरे के सामने सौवीं बार यह इशारा करते हैं, तो आप समझते हैं कि वास्तव में क्या गायब है! एक साधारण एमुलेटर। ताकि आप आवश्यक इशारों को रिकॉर्ड कर सकें, और फिर शांति से बैठकर बहस कर सकें। अजीब तरह से, दुनिया भर के डेवलपर्स द्वारा भेजे गए अच्छे की किरणें, जो किनेक्ट के लिए विकास का अनुभव करती हैं, लक्ष्य तक पहुंच गई हैं। डेवलपर टूलकिट में Kinect Studio नामक टूल शामिल है।



Kinect Studio को डिबगर या एमुलेटर के रूप में सोचा जा सकता है। इसकी भूमिका बेहद सरल है, आपको सेंसर से प्राप्त डेटा को रिकॉर्ड करने और अपने आवेदन में भेजने में मदद करने के लिए। आप बार-बार रिकॉर्ड किए गए डेटा को वापस खेल सकते हैं, और यदि आप चाहें, तो उन्हें एक फ़ाइल में सहेजें और थोड़ी देर के बाद डिबगिंग पर लौटें।

Kinect Studio के साथ आरंभ करने के लिए, आप एप्लिकेशन से कनेक्ट होते हैं और एक सेंसर का चयन करते हैं। अब सब कुछ सेंसर डेटा की रिकॉर्डिंग शुरू करने या सहेजे गए डेटा को इंजेक्ट करने के लिए तैयार है।

अंतभाषण

समीक्षा लेख, जिसे योजनाबद्ध भी नहीं किया गया था, काम के दौरान एक से अधिक परिवर्तनों से गुजरा, लेकिन परिणामस्वरूप तीन भागों में विभाजित किया गया। उनमें, मैंने वर्ल्ड वाइड वेब के विस्तार पर मिलने वाली सामग्री को इकट्ठा करने की कोशिश की। लेकिन फिर भी, MSDN ज्ञान का मुख्य स्रोत रहा है और बना हुआ है। अब Kinect एक बिल्ली के बच्चे की तरह अधिक है जो सिर्फ एक उत्पाद की तुलना में क्रॉल करना सीख रहा है जिसे न केवल मस्ती के लिए माना जा सकता है। मैं खुद एक निश्चित संदेह के साथ उसका इलाज करता हूं। लेकिन कौन जानता है कि कल क्या होगा। अब Kinect गेमिंग उद्योग में अच्छे परिणाम दिखा रहा है, और Windows के लिए Kinect दुनिया भर के डेवलपर्स के लिए रचनात्मकता के लिए गुंजाइश खोलता है।