कार्यक्रम, aport!

• विंडोज एसडीके के लिए काइनेट। भाग 1. सेंसर
• विंडोज एसडीके के लिए काइनेट। भाग 2. डेटा स्ट्रीम
• विंडोज एसडीके के लिए काइनेट। भाग 3. कार्यशीलता
• हम Kinect के साथ क्यूब्स खेलते हैं
• [कार्यक्रम, aport!]

पिछले लेख में, मैंने विंडोज के लिए Microsoft Kinect के साथ काम करने के विषय पर छुआ था और क्यूब्स के खेल के उदाहरण का उपयोग करके सेंसर की क्षमताओं का प्रदर्शन किया था। आपको याद दिला दूं कि एक मानव आकृति (कंकाल ट्रैकिंग) पर नज़र रखना केवल सेंसर सुविधा नहीं है, और आज मैं भाषण मान्यता के बारे में बात करना चाहूंगा।

Microsoft भाषण प्लेटफ़ॉर्म से परिचित होने के लिए, हम एक सरल एप्लिकेशन लिखेंगे जिसमें एक मनमाना ऑब्जेक्ट (उदाहरण के लिए, एक टैंक) विमान के साथ आगे बढ़ेगा। मैंने दो कारणों से पिछले उदाहरण में वॉयस कमांड नहीं जोड़े। सबसे पहले, कालानुक्रमिक रूप से, यह उदाहरण पहले दिखाई दिया था। और, दूसरी बात, मैं प्रत्येक उदाहरण में एक अलग कार्यक्षमता पर ध्यान केंद्रित करना चाहता था (ऐसा कोड सीखना आसान है)।

निर्धारित करें कि कौन से पैकेज हमारे लिए उपयोगी हैं:

• Microsoft भाषण मंच - एसडीके । आवश्यक पैकेज। यह भाषण पहचान के साथ आरंभ करने के लिए एक मंच और टूलकिट है।
• Microsoft भाषण मंच - रनटाइम भाषाएँ । वैकल्पिक पैकेज। डिफ़ॉल्ट रूप से, एसडीके में अंग्रेजी भाषण को पहचानने के लिए केवल एक पुस्तकालय शामिल है। आप अन्य भाषाओं के साथ काम करने के लिए अतिरिक्त लाइब्रेरी डाउनलोड कर सकते हैं।
• विंडोज के लिए माइक्रोसॉफ्ट Kinect - एसडीके । वैकल्पिक पैकेज।

मैं आपको एक भयानक रहस्य बताता हूँ, एक सेंसर की उपस्थिति भाषण मान्यता की संभावना के लिए एक शर्त नहीं है। स्पीच प्लेटफार्म काइनेक्ट के स्वतंत्र रूप से विकसित किया गया है, लेकिन एक ही समय में, आप निश्चित रूप से भाषण मान्यता के कार्यान्वयन के साथ Kinect SDK में उदाहरण पाएंगे। हमारा उदाहरण एक सेंसर और एक नियमित माइक्रोफोन दोनों के साथ काम करेगा।

सबसे पहले, आपको यह समझने की आवश्यकता है कि वास्तव में क्या प्रोग्राम करना है। क्रियाओं का क्रम अत्यंत सरल है:

1. आवश्यक भाषा के लिए सिस्टम में उपलब्ध से एक मान्यता इंजन का चयन करें;
2. आदेशों का एक शब्दकोश बनाएं और परिणामस्वरूप हैंडलर को पास करें;
3. प्रोसेसर के लिए ऑडियो स्रोत सेट करें। यह Kinect, माइक्रोफोन, ऑडियो फ़ाइल हो सकती है;
4. मान्यता शुरू करने के लिए हैंडलर को एक कमांड दें।

अब Visual Studio में हम एक नया WPF Application प्रोजेक्ट बनाएंगे। मैं C # में लिखूंगा।

चलो एक जुड़ा सेंसर खोजने की कोशिश करके शुरू करते हैं। KinectSensor वर्ग इसे KinectSensors संपत्ति प्रदान करता है:

KinectSensor kinect = KinectSensor.KinectSensors .Where(s => s.Status == KinectStatus.Connected) .FirstOrDefault(); 

स्पीच रिकग्निशन हैंडलर - SpeechRecognitionEngine क्लास, इसका स्टैटिक तरीका InstalledRecognizers () सिस्टम में स्थापित सभी हैंडलर के बारे में जानकारी प्राप्त करने में मदद करता है।

 RecognizerInfo info = SpeechRecognitionEngine.InstalledRecognizers() .Where(ri => string.Equals(ri.Culture.Name, "en-US", StringComparison.InvariantCultureIgnoreCase)) .FirstOrDefault(); 

यह अनुमान लगाना आसान है कि इस तरह के प्रोसेसर होने पर हमें अंग्रेजी भाषण मान्यता प्रोसेसर ( RecognizerInfo ) के बारे में जानकारी मिलती है। InstalledRecognizers विधि हैंडलर के उदाहरण नहीं लौटाती है, लेकिन केवल उनके बारे में जानकारी है। इसलिए, अगला कदम हैंडलर का एक उदाहरण बनाना है। हम बस हैंडलर पहचानकर्ता को पास करने वाले को देते हैं:

 var sre = new SpeechRecognitionEngine(info.Id); 

अब इस बारे में सोचते हैं। हमें विमान पर वस्तु को नियंत्रित करने की आवश्यकता है। कौन सी टीमें इसके लिए उपयुक्त हैं? मुझे लगता है कि 4 टीमें पर्याप्त हैं: UP (ऊपर), DOWN (डाउन), LEFT (बाएं), RIGHT (दाएं)। और एक बदलाव के लिए, आप पांचवीं EXIT कमांड (आउटपुट) जोड़ सकते हैं। मैं ध्यान देता हूं कि मैंने अंग्रेजी में कमांड्स को पहचानने के लिए कोड लिखा था, लेकिन आप उपलब्ध 54 में से किसी अन्य को चुन सकते हैं। हम कमांड का शब्दकोश बनाते हैं और इसे मान्यता प्रोसेसर में लोड करते हैं।

 var commands = new Choices(); commands.Add("up"); commands.Add("down"); commands.Add("left"); commands.Add("right"); commands.Add("exit"); var gb = new GrammarBuilder(commands) { Culture = info.Culture }; sre.LoadGrammar(new Grammar(gb)); 

प्रकार की पसंद की एक वस्तु मान्यता के लिए शब्दों (आदेशों) की एक सूची बनाती है। अगला कदम कमांड कल्चर से जुड़ा एक व्याकरण ऑब्जेक्ट बनाना है, और फिर व्याकरण को मान्यता प्रोसेसर में लोड किया जाता है।

प्रत्येक शब्द जो आप कहते हैं, हैंडलर व्याकरण में शब्द पैटर्न के साथ तुलना करके निर्धारित करता है कि क्या आपने कोई आदेश दिया है। लेकिन याद रखें कि प्रत्येक मान्यता प्रयास त्रुटि की कुछ संभावना के साथ है, थोड़ा आगे आप इसे एक उदाहरण के साथ देखेंगे।

अब आप भाषण पहचान की घटनाओं के लिए हैंडलर को परिभाषित कर सकते हैं। हमारे लिए यह महत्वपूर्ण है कि स्पीच रिकॉग्नाइज्ड ईवेंट को हैंडल किया जाए जो तब होता है जब मान्यता प्राप्त प्रोसेसर डिक्शनरी में स्पोकन कमांड के लिए मैच ढूंढता है। SpeechRecognizedEventArgs ऑब्जेक्ट में, हमारे पास उपलब्ध परिणाम हैं जिसमें आप पा सकते हैं: मान्यता प्राप्त शब्द , शब्द की सही पहचान होने की संभावना , और बहुत कुछ । अन्य दो घटनाएं, SpeechHypothesized और SpeechRecognitionRejected, वास्तविक उपयोग की तुलना में डीबगिंग के लिए अधिक रुचि रखते हैं। पहली घटना तब होती है जब मान्यता हैंडलर एक मान्यता धारणा बनाता है। दूसरा तब है जब मान्यता प्रोसेसर केवल संभाव्यता के एक छोटे अंश के साथ एक शब्द निर्धारित कर सकता है।

 private void Sre_SpeechRecognized(object sender, SpeechRecognizedEventArgs e) { //     70% if (e.Result.Confidence >= 0.7) { Action handler = null; switch (e.Result.Text.ToUpperInvariant()) { case "UP": case "DOWN": case "LEFT": case "RIGHT": handler = () => { /* some actions */ }; break; case "EXIT": handler = () => { this.Close(); }; break; default: break; } if (handler != null) { //   ,      UI     Dispatcher.BeginInvoke(handler, DispatcherPriority.Normal); } } } 

हमारे लिए जो कुछ भी है वह ऑडियो सिग्नल के स्रोत को सेट करना और मान्यता शुरू करना है। यहाँ मैं Kinect की एक विशेषता को नोट करना चाहता हूँ। ऑडियो स्ट्रीम इनिशियलाइज़ेशन के बाद लगभग 4 सेकंड के ऑपरेशन के लिए तैयार है। यह विचार करने योग्य है और, उदाहरण के लिए, 4 सेकंड की देरी के साथ मान्यता को ट्रिगर करने के लिए टाइमर बनाना।

याद रखें, मैंने शुरुआत में कहा था कि हमारा कोड Kinect और एक नियमित माइक्रोफोन दोनों के साथ काम करेगा? इसे महसूस करने के लिए, यह ऑडियो सिग्नल के स्रोत को सही ढंग से सेट करने के लिए पर्याप्त है।

 if (kinect != null) { var audioSource = kinect.AudioSource; audioSource.BeamAngleMode = BeamAngleMode.Adaptive; var kinectStream = audioSource.Start(); //    Kinect sre.SetInputToAudioStream(kinectStream, new SpeechAudioFormatInfo(EncodingFormat.Pcm, 16000, 16, 1, 32000, 2, null)); } else { //         sre.SetInputToDefaultAudioDevice(); } //  .          . sre.RecognizeAsync(RecognizeMode.Multiple); 

UI के लिए, यहाँ सब कुछ सरल है। हम किसी भी आकार की एक वस्तु खींचते हैं (यह एक तस्वीर भी हो सकती है), मैंने एक टैंक खींचा।



और जाने के लिए एनीमेशन जोड़ें। बेशक, टैंक को बग़ल में ले जाने पर हास्यपूर्ण परिस्थितियाँ न बनाने के लिए, मैंने सही दिशा में एक मोड़ के लिए एनीमेशन भी जोड़ा। LEFT कमांड के लिए एक उदाहरण एनीमेशन (बाएं):

 <Storyboard x:Key="LEFT"> <DoubleAnimationUsingKeyFrames Storyboard.TargetProperty="(UIElement.RenderTransform).(TransformGroup.Children)[2].(RotateTransform.Angle)" Storyboard.TargetName="PART_Tank"> <EasingDoubleKeyFrame KeyTime="0:0:0.5" Value="-90"/> </DoubleAnimationUsingKeyFrames> <DoubleAnimation Storyboard.TargetProperty="(Canvas.Left)" Storyboard.TargetName="PART_Tank" Duration="0:0:1" By="-30"/> </Storyboard> 

कार्रवाई में मान्यता:


आपको लेख के अंत में स्रोत कोड फ़ाइलें और संकलित संस्करण मिलेंगे। कृपया ध्यान दें कि यदि आप बिना संकलित एसडीके के संकलित उदाहरण को चलाते हैं, तो आपको Microsoft भाषण प्लेटफ़ॉर्म रनटाइम और अंग्रेज़ी मान्यता इंजन MSSpeech_SR_en-US_TELE.msi स्थापित करने की आवश्यकता है

संक्षेप में, मैं कहूंगा कि माइक्रोसॉफ्ट स्पीच प्लेटफ़ॉर्म वास्तव में एक बड़ा और दिलचस्प उत्पाद है, मैंने इसे केवल एक छोटे से हिस्से पर छुआ है। रुचि रखने वालों के लिए, मैं आपको सलाह दूंगा कि किनेक्ट एसडीके में इस मंच के साथ काम करने के उदाहरण देखें, मुझे लगता है कि यह एक अच्छा शुरुआती बिंदु है।

निष्कर्ष में, मैं प्रयोगों के लिए प्रदान किए गए सेंसर के लिए VIAcode को धन्यवाद देना चाहूंगा।

Kinect के बिना एक उदाहरण बनाएँ
Kinect के साथ एक उदाहरण का निर्माण
नमूना स्रोत