STM32F4- डिस्कवरी पर भाषण मान्यता

इस लेख में मैं बात करना चाहता हूं कि आप STM32F4-Discovery डिबग बोर्ड का उपयोग करके माइक्रोकंट्रोलर पर भाषण को कैसे पहचान सकते हैं। चूंकि कंप्यूटर के लिए भी स्पीच रिकग्निशन एक कठिन काम है, ऐसे में इसे Google सेवा का उपयोग करके किया जाता है। इस तरह से भाषण मान्यता विभिन्न कार्यों में उपयोगी हो सकती है, उदाहरण के लिए, स्मार्ट होम उपकरणों में से एक में।

STM32F4-Discovery डीबग कार्ड अक्सर लेखों में वर्णित STM32-Discovery डीबग कार्ड से अलग-अलग होता है। कोर्टेक्स-एम 4 एफ आर्किटेक्चर का उपयोग करते हुए, इस पर माइक्रोकंट्रोलर एसटीएम 32 एफ 407 वीजीटी 6 स्थापित है, जिसमें 1 एमबी फ्लैश और 192 केबी रैम है। नियंत्रक 168 मेगाहर्ट्ज की आवृत्ति पर काम करने में सक्षम है।

अंतर्निहित एम्पलीफायर के साथ एक ऑडियो-डीएसी (इसका आउटपुट हेडफोन जैक से जुड़ा हुआ है) और डिबग बोर्ड पर एक डिजिटल एमईएमएस माइक्रोफोन स्थापित किया गया है, धन्यवाद जिससे एसटीएमएमएफ 4-डिस्कवरी पर आधारित ध्वनि के साथ काम करने वाले डिवाइस को आसानी से बनाना संभव है।

Google Voice खोज का उपयोग करते हुए भाषण मान्यता यहां वर्णित है: अनुच्छेद।
माइक्रोकंट्रोलर का उपयोग करके किसी भी वाक्यांश को पहचानने के लिए, आपको कई क्रियाएं करने की आवश्यकता है:

• नियंत्रक मेमोरी में रिकॉर्ड ध्वनि।
• ऑडियो एन्कोडिंग का प्रदर्शन करें।
• Google सर्वर से कनेक्ट करें।
• सर्वर पर एक पोस्ट अनुरोध और एनकोडेड ऑडियो डेटा भेजें।
• सर्वर से प्रतिक्रिया प्राप्त करें।

आवाज की रिकॉर्डिंग
चूंकि बोर्ड में पहले से ही एक डिजिटल माइक्रोफोन है, हम इसके साथ ध्वनि रिकॉर्ड करेंगे। इस मामले में, यह एक पीडीएम माइक्रोफोन है। इसमें केवल दो सिग्नल आउटपुट हैं - घड़ी और डेटा। यदि घड़ी संकेत है, तो PDM मॉड्यूलेशन का उपयोग करते हुए एक सिग्नल इनकोडिंग माइक्रोफोन डेटा आउटपुट पर दिखाई देता है (अधिक विवरण के लिए पल्स-घनत्व मॉडुलन देखें)। STM32F4-Discovery पर, माइक्रोफोन SPI / I2S से जुड़ा होता है - माइक्रोफोन से डेटा प्राप्त करने के लिए, डेटा प्राप्त करने के लिए I2S को कॉन्फ़िगर करने के लिए पर्याप्त है, और I2S से रुकावट के बाद, प्राप्त डेटा को रजिस्टर से पढ़ें। इन आंकड़ों को कंट्रोलर मेमोरी में स्टोर किया जाता है, और पर्याप्त मात्रा में डेटा दर्ज किए जाने के बाद, उन्हें फ़िल्टर किया जाता है, जिसके परिणामस्वरूप ऑडियो डेटा के कई नमूने हैं।
माइक्रोफ़ोन के साथ कार्य एसटी से दस्तावेज़ AN3998 में वर्णित है - यह माइक्रोफ़ोन के सिद्धांत, इसके कनेक्शन की विशेषताओं और फ़िल्टर फ़ंक्शन के साथ कार्य का वर्णन करता है।

एसटी वेबसाइट पर, बोर्ड के लिए विभिन्न उदाहरणों के बीच, ध्वनि के साथ काम करने का एक उदाहरण है, लेकिन यह काफी परिष्कृत है - उदाहरण दिखाता है कि नियंत्रक की मेमोरी से और बोर्ड से जुड़े यूएसबी फ्लैश ड्राइव से ध्वनि कैसे खेलें। फ्लैश ड्राइव पर ध्वनि रिकॉर्डिंग भी प्रदर्शित की जाती है। मैंने वहां से साउंड बजाने और रिकॉर्डिंग के लिए कोड लिया। इस कोड में बस कुछ त्रुटियां और खामियां हैं - शायद, उदाहरण जल्दी में लिखा गया था।

ध्वनि एन्कोडिंग
भाषण मान्यता सेवा के साथ काम करने के विवरण इंटरनेट पर बार-बार दिए गए हैं। सभी मामलों में, लेखक FLAC ऑडियो कोडेक का उपयोग करते हैं, क्योंकि Google गैर-मानक Speex एन्कोडिंग डेटा का उपयोग करता है।
इसे क्रोमियम ब्राउज़र कोड से देखा जा सकता है: ध्वनि की रिकॉर्डिंग के लिए जिम्मेदार कोड।
POST अनुरोध का वर्णन इंगित करता है कि डेटा प्रकार "ऑडियो / एक्स-स्पीक्स-विद हेडर-बाइट" है।
बस इतना ही कि STM32 पर FLAC प्रारूप में डेटा को एनकोड करना संभव नहीं होगा - ऐसी कोई लाइब्रेरी नहीं है। लेकिन Speex कोड को STM32 में पोर्ट किया जाता है, इसलिए मैंने इस कोडक को एन्कोडिंग के लिए उपयोग किया। क्रोमियम कोड से, यह समझना बहुत आसान है कि कोडेक संशोधन क्या है: बाइट्स में फ़्रेम की लंबाई के बराबर एक अतिरिक्त बाइट एन्कोडेड ऑडियो डेटा के प्रत्येक फ्रेम से पहले डाला जाता है।

डबल बफ़रिंग का उपयोग करके एक साथ ध्वनि रिकॉर्डिंग और एन्कोडिंग किया जाता है: जबकि ऑडियो डेटा के 160 नमूने बफ़र्स में से एक को लिखे जा रहे हैं, दूसरे बफर के डेटा को स्पैक्स प्रारूप में एन्कोड किया गया है। एन्कोडेड डेटा को कंट्रोलर मेमोरी में स्टोर किया जाता है। रिकॉर्डिंग में 2 सेकंड लगते हैं, जिसके परिणामस्वरूप एन्कोडेड ऑडियो डेटा के 2100 बाइट्स बनते हैं। नमूनाकरण आवृत्ति - 8 kHz।

Google सर्वर कनेक्शन

इंटरनेट से कनेक्ट करने के लिए, WIFI मॉड्यूल - RN-XV के साथ एक डिबग बोर्ड का उपयोग किया जाता है। इसमें एक WIFI मॉड्यूल RN-171 (बोर्ड के नीचे), एक एंटीना, 3 सेटिओड्स और पिन कनेक्टर हैं। मॉड्यूल के साथ संचार UART के माध्यम से है, इसलिए इसके साथ काम करने के लिए 4 तार पर्याप्त हैं। स्पार्कफुन में बोर्ड की लागत, जहां मैंने इसे ऑर्डर किया है वह $ 35 है। वाईफ़ाई ही - मॉड्यूल की लागत $ 30 है। स्पार्कफुन पर मॉड्यूल के बारे में और पढ़ें: आरएन-एक्सवी वाईफली मॉड्यूल।

सर्वर पर डेटा स्थानांतरित करने के लिए, आपको इसे टीसीपी के माध्यम से कनेक्ट करने की आवश्यकता है, और फिर इस प्रकार का अनुरोध भेजें:

POST http://www.google.com/speech-api/v1/recognize?xjerr=1&client=chromium&lang=ru-RU HTTP/1.1@#Content-type: audio/x-speex-with-header-byte; rate=8000@#Connection: close@#Content-length: 2100@#@#

@ # वर्ण CRLF के साथ कार्यक्रम को प्रतिस्थापित करते हैं। अनुरोध भेजने के बाद, आपको 2100 बाइट्स एन्कोडेड ऑडियो डेटा सर्वर पर भेजने की आवश्यकता है। सभी डेटा प्राप्त करने के बाद, सर्वर वाक् पहचान करता है और मान्यता प्राप्त स्ट्रिंग को अतिरिक्त जानकारी के साथ प्रसारित करता है, जिसके बाद सर्वर से कनेक्शन बंद हो जाता है।

सर्वर प्रतिक्रिया स्वीकार किए जाने के बाद, प्रोग्राम इसमें से मान्यता प्राप्त लाइन का चयन करता है और इसे दूसरे UART माइक्रोकंट्रोलर के माध्यम से प्रदर्शित करता है। इस UART से डेटा टर्मिनल में कंप्यूटर को प्रेषित किया जाता है, जिसमें मान्यता प्राप्त वाक्यांश दिखाई देता है। उसके बाद, नियंत्रक एक नया वाक्यांश रिकॉर्ड करना शुरू करने के लिए तैयार है।

परिणामस्वरूप डिजाइन इस तरह दिखता है:


और यहाँ है कि यह कैसे काम करता है:


अद्यतन:

जब मैंने लेख पोस्ट किया, तब मैं रिकॉर्डिंग शुरू करने में सक्षम था जब एक ज़ोर की आवाज़ (भाषण सहित) दिखाई देती है। इसके लिए, प्रोग्राम लगातार रिकॉर्ड करता है और ध्वनि को एन्कोड करता है। एन्कोडेड डेटा को एक ऐरे में रखा जाता है। इसके अंत तक पहुंचने के बाद, डेटा इसकी शुरुआत में फिट होने लगता है। उसी समय, प्रोग्राम लगातार जांचता है कि क्या एक तेज ध्वनि दिखाई दी है। जब यह दिखाई देता है, तो प्रोग्राम रिकॉर्ड पॉइंटर के मान को बचाता है और 2 सेकंड के लिए रिकॉर्ड करता है। रिकॉर्डिंग को रोकने के बाद, प्रोग्राम डेटा को दूसरे बफर में कॉपी करता है। चूंकि यह ज्ञात है कि ध्वनि किस बिंदु पर दिखाई देती है, आप कुछ समय पहले डेटा ले सकते हैं। इस प्रकार, शब्द की पहली आवाज़ खो नहीं जाती है।

VAD कार्य वीडियो:


कार्यक्रम IAR में लिखा गया है।
कार्यक्रम आपको सर्वर पर भेजने से पहले रिकॉर्ड किए गए वाक्यांश को खेलने की अनुमति देता है। ऐसा करने के लिए, मुख्य फ़ंक्शन में कुछ पंक्तियों को अनइंस्टॉल करने के लिए पर्याप्त है।

संलग्न संग्रह में कई परियोजनाएं शामिल हैं:
my_audio_test - रिकॉर्ड और तुरंत माइक्रोफोन से ध्वनि पुन: उत्पन्न करता है।
speex_out - नियंत्रक की फ़्लैश मेमोरी में संग्रहीत Speex प्रारूप में ध्वनि को पुन: पेश करता है।
speex_rec - रिकॉर्ड और ध्वनि 2 सेकंड के लिए Speex का उपयोग कर, जिसके बाद यह रिकॉर्डिंग बजाता है।
speech_wifi - स्पीच रिकग्निशन प्रोजेक्ट ही, इस प्रोजेक्ट में WIFI का उपयोग किया जाता है।
speech_wifi_vad VAD के साथ एक स्पीच रिकग्निशन प्रोजेक्ट है, यह प्रोजेक्ट WIFI का उपयोग करता है।

www.dropbox.com/s/xke5rq8lzi980x5/NEW_VOICE.zip?dl=0