हम Kinect के साथ क्यूब्स खेलते हैं

• विंडोज एसडीके के लिए काइनेट। भाग 1. सेंसर
• विंडोज एसडीके के लिए काइनेट। भाग 2. डेटा स्ट्रीम
• विंडोज एसडीके के लिए काइनेट। भाग 3. कार्यशीलता
• [हम काइनेट के साथ क्यूब्स खेलते हैं]
• कार्यक्रम, aport!

यह कभी-कभी आश्चर्य होता है कि आईटी उद्योग कितनी तेजी से विकसित हो रहा है। मुझे याद है कि हाल ही में टेकडेज़ सेमिनार में से एक में, एवगेनी मार्केनकोव ने नेटल प्रोजेक्ट के बारे में पहला वीडियो दिखाया था। कितने लोगों को यह नाम याद है? दरअसल, अब इस परियोजना को Kinect के रूप में जाना जाता है!



सेंसर को Xbox 360 कंसोल के लिए विकसित किया गया था, और फरवरी 2012 से पर्सनल कंप्यूटर के लिए उपलब्ध है। बहुत पहले नहीं, मुझे सेंसर का मूल्यांकन करने और कुछ कोड लिखने का अवसर मिला।

मुझे लगता है कि आप एसडीके समीक्षा के लिए समर्पित श्रृंखला के पिछले लेख पहले ही पढ़ चुके हैं। यह कार्रवाई में Kinect की कोशिश करने का समय है! लेख में मैं बात करूंगा कि आप पासा का एक छोटा खेल कैसे लिख सकते हैं। और निश्चित रूप से क्यूब्स आपके हाथों से आगे बढ़ेंगे!

तो, सबसे पहले, हमें सेंसर के लिए एसडीके की आवश्यकता है, इसे आधिकारिक साइट से डाउनलोड किया जा सकता है। एसडीके में आपको कई उदाहरण और प्रलेखन मिलेंगे। मैं Coding4Fun क्विक स्टार्ट सीरीज़ देखने की भी सलाह देता हूं। और codeplex पर स्टार्टर Kinect पेंट के लिए, आप कोड को डाउनलोड, संकलित कर सकते हैं।

मैं निश्चित रूप से इस खेल में भौतिकी से विचलित नहीं होना चाहता। लेकिन उसके बिना भी, किसी तरह दुखी। समाधान बहुत सरल है - एक तैयार पुस्तकालय का उपयोग करें। सिल्वरलाइट और विंडोज फोन के लिए एक अच्छा भौतिकी हेल्पर प्रोजेक्ट है। दुर्भाग्य से, वर्तमान संस्करण (4.0) WPF का समर्थन नहीं करता है (इस विषय पर लेखक की टिप्पणियां यहां हैं ), लेकिन पिछले संस्करण ने इसका समर्थन किया था। इसलिए, आप उस संस्करण का स्रोत कोड ले सकते हैं जो WPF का समर्थन करता है, परियोजनाओं को .NET 4.0 में अपग्रेड करता है, और असेंबलियों को संकलित करता है। लेख के अंत में अद्यतन परियोजना के लिंक।

अब Visual Studio 2010 में हम एक नया WPF Application (C #) प्रोजेक्ट बनाते हैं। SDK उदाहरणों में Microsoft.Samples.Kinect.WpfViewers परियोजना शामिल है। इसमें, आप कैमरे और सेंसर माइक्रोफोन (दर्शकों) के साथ काम करने के लिए तैयार नियंत्रण पा सकते हैं, साथ ही सेंसर (चयनकर्ता) के साथ कनेक्शन तर्क को घेरने वाला एक तत्व भी है। इस परियोजना को हमारे समाधान में जोड़ें। यहाँ क्या हुआ:



टूलबॉक्स विंडो में, WpfViewers से नियंत्रण उपलब्ध हैं।



अब MainWindows.xaml में हम रूट ग्रिड को कैनवस से बदल देंगे, इस पर हम क्यूब्स खींचेंगे। सेंसर से कनेक्ट करने और कैमरे से वीडियो स्ट्रीम प्रदर्शित करने के लिए फार्म पर KinectSensorChooser और KinectColorViewer तत्वों को रखें।



बंधन पर ध्यान दें। आपको KinectColorViewer वर्ग के Kinect गुण को KinectSensorChoosal वर्ग की Kinect संपत्ति के साथ जोड़ना होगा। तो रंग दर्शक को पता चल जाएगा कि हम किस सेंसर के साथ काम कर रहे हैं। यह केवल आवश्यक थ्रेड्स के प्रारंभ को जोड़ने के लिए बनी हुई है। यह KinectSensorChanged इवेंट हैंडलर (KinectSensorChooser वर्ग) में किया जा सकता है, जो कनेक्ट होने पर आपको सेंसर को इनिशियलाइज़ करने की अनुमति देगा। सामान्य शब्दों में, यह निम्नानुसार किया जाता है:

sensor.ColorStream.Enable(); //   sensor.SkeletonFrameReady += SkeletonsReady; //   ,           sensor.SkeletonStream.Enable(); //   sensor.Start(); //   

सक्षम करें थ्रेड विधियाँ अतिभारित हैं, आप उन मापदंडों को पास कर सकते हैं जो डिफ़ॉल्ट व्यवहार को बदलते हैं। इसलिए ColorStream के लिए अतिभारित सक्षम विधि छवि प्रारूप (RGB या YUV) और साथ ही इसके रिज़ॉल्यूशन को कॉन्फ़िगर करने के लिए ColorImageFormat के मान का मान लेती है।

तकनीकी रूप से, यह एप्लिकेशन लॉन्च करने और किनेक्ट के दृष्टि क्षेत्र में आने वाले वीडियो को देखने के लिए पर्याप्त है।

खेल में भौतिकी का उपयोग करने के लिए, सबसे पहले, परियोजना के लिए विधानसभा लिंक जोड़ें: फार्सेफिफ़िक्स, स्प्राइटहैंड.फेयरहेलर और स्प्राइटहैंड। फ़िज़िक्स हेल्पर लाइब्रेरी से भौतिकी। अब एक आयत बनाएं - यह फर्श या पृथ्वी होगी, जैसा आप चाहते हैं। PhysicsObjectBehavior के भौतिक ऑब्जेक्ट को उसके साथ जोड़ें और IsStatic संपत्ति को सही पर सेट करें। मैं विस्तार से फिजिक्स हेल्पर का उपयोग नहीं करूंगा; आप लाइब्रेरी पेज पर एक वीडियो ट्यूटोरियल देख सकते हैं। क्यूब्स को xaml मार्कअप या C # कोड में निर्दिष्ट किया जा सकता है। मुख्य बात यह है कि हौसले से बनाए गए क्यूब के लिए शारीरिक व्यवहार की आवश्यकता के बारे में मत भूलना।

 private void CreateCube() { var cube = new Rectangle { Name = string.Format("PART_Cube_{0}", Guid.NewGuid().ToString("N")), Width = CubeSide, Height = CubeSide, Fill = new SolidColorBrush(Colors.Red), Stroke = new SolidColorBrush(Colors.Black), StrokeThickness = 3, RadiusX = CubeCornerRadius, RadiusY = CubeCornerRadius }; var behavior = new PhysicsObjectBehavior { IsStatic = false }; behavior.Attach(cube); PART_LayoutRoot.Children.Add(cube); } 

आगे बढ़ने से पहले, एक कर्सर बनाएं जो हाथ की गति को पूरे क्षेत्र में प्रदर्शित करेगा। आप कुछ तैयार चित्र ले सकते हैं या पथ तत्व का उपयोग करके कर्सर को खूबसूरती से आकर्षित कर सकते हैं। मैंने कोई चित्र नहीं लिया या पथ के साथ खूबसूरती से खींचा नहीं, लेकिन तीसरे रास्ते पर गया और पथ को बदसूरत बना दिया।


गैपिंग रेड होल बिल्कुल भी घाव नहीं है, लेकिन केवल केंद्र के लिए एक संकेतक है, जिसका उद्देश्य मैं थोड़ा आगे बताऊंगा।

अब यह केवल SkeletonFrameReady घटना को संभालने और पूरे क्षेत्र में "चमत्कार हाथ" स्थानांतरित करने के लिए बनी हुई है। ईवेंट प्रोसेसिंग के लिए सामान्य दृष्टिकोण इस प्रकार है: एक फ्रेम प्राप्त करें, फ्रेम में पाए जाने वाले सभी मानव आकृतियों (कंकाल) के लिए इससे डेटा निकालें, और इन आंकड़ों में से पहले ट्रैक किए गए का चयन करें। Kinect एक फ्रेम में छह आंकड़ों पर डेटा प्रदान कर सकता है, लेकिन केवल दो ही आंदोलन को ट्रैक कर सकते हैं ( प्लेयर सेगमेंटेशन डेटा देखें)। एक साधारण खेल के लिए, यह हमारे लिए पहला ट्रैक किया गया खिलाड़ी है:

 private Skeleton GetTrackedSkeleton(SkeletonFrameReadyEventArgs frameReadyEventArgs) { using (SkeletonFrame skeletonFrameData = frameReadyEventArgs.OpenSkeletonFrame()) { if (skeletonFrameData == null) { return null; } Skeleton[] allSkeletons = new Skeleton[skeletonFrameData.SkeletonArrayLength]; skeletonFrameData.CopySkeletonDataTo(allSkeletons); return allSkeletons.Where(s => s.TrackingState == SkeletonTrackingState.Tracked).FirstOrDefault(); } } 

मानव आकृति (कंकाल) के बारे में जानकारी 20 बिंदुओं का एक समूह है। विट्रुवियन आदमी की छवि उनके प्रदर्शन के लिए सबसे उपयुक्त है।



इसलिए, कंकाल से हम खिलाड़ी के शरीर के उस हिस्से की स्थिति प्राप्त कर सकते हैं जो हमें रुचि रखते हैं और यदि आवश्यक हो तो खेल मैदान को अपडेट कर सकते हैं। हम निम्नलिखित इशारा प्रणाली को स्वीकार करते हैं:

• यदि खिलाड़ी का बायाँ हाथ ऊपर उठा हुआ है और उसका दाहिना हाथ मरने के ऊपर है, तो दायाँ हाथ (ड्रैग्स) से चलता है;
  
• यदि बायाँ हाथ नीचे की ओर है , तो दायाँ खेल मैदान पर आसानी से जा सकता है

बाएं हाथ की स्थिति की जांच करना बहुत सरल है। यह बाएं हाथ और बाएं कंधे के वाई-निर्देशांक की तुलना करने के लिए पर्याप्त है:

 private bool IsAcionMode(JointCollection joints) { Joint lh = joints[JointType.HandLeft]; Joint ls = joints[JointType.ShoulderLeft]; return lh.Position.Y > ls.Position.Y; } 

यह निर्धारित करने के लिए कि खिलाड़ी का दाहिना हाथ मरने के ऊपर है, आप VisualTreeHelper वर्ग के हिटटेस्ट फ़ंक्शन का उपयोग कर सकते हैं। "चमत्कार हाथ" में लाल वृत्त याद है? यह इस बिंदु के तहत है कि हम एक क्यूब की तलाश कर रहे हैं।

इशारे प्रसंस्करण कार्य:

 private void UpdateScenaItems(Skeleton skeleton) { Point currentPos = skeleton.Joints[JointType.HandRight] .ScaleTo((int)PART_LayoutRoot.ActualWidth, (int)PART_LayoutRoot.ActualHeight, 0.50f, 0.20f) .Position .ToPoint2D(); Rectangle cube = GetCubeUnderCursor(currentPos); var isAction = IsAcionMode(skeleton.Joints); if (!isAction || (isAction && cube == null)) { UpdateCursorPosition(currentPos); return; } MoveCubeUnderCursor(cube, currentPos); } 

ScaleTo एक्सटेंशन विधि का उपयोग निर्देशांक को खेल के मैदान के पैमाने पर लाने के लिए किया जाता है। यह विधि Coding4Fun Kinect Toolkit (NuGet के माध्यम से डाउनलोड के लिए उपलब्ध) का हिस्सा है। ToPoint2D मेरी एक्सटेंशन विधि है जिसका उपयोग कंकाल को प्वाइंट में बदलने के लिए किया जाता है। यह स्पष्ट है कि UpdateCursorPosition विधि में हम केवल कर्सर को स्थानांतरित करते हैं, और MoveCubeUnderCursor विधि में हम घन को खींचते हैं।

अब आप खेल शुरू कर सकते हैं और अपने हाथों को थोड़ा हिला सकते हैं!



नीचे आपको गेम के सोर्स कोड और असेंबली मिलेंगे।
पुनश्च समय-समय पर, ब्लॉक एक साथ चिपकते हैं या फर्श में फंस जाते हैं - मज़ेदार।
पीपीएस अगले लेख में मैं बात करूंगा कि वॉइस कमांड को समझने के लिए एप्लिकेशन को कैसे सिखाना है।

गेम बनाता है
खेल स्रोत कोड
PhysicsHelper लाइब्रेरी असेंबली
PhysicsHelper पुस्तकालय स्रोत कोड