🔹 #⃣ ⏹️ रोबोट को कानों की आवश्यकता क्यों है? (सर्वेक्षण: क्या मुझे ओपनटॉड की आवश्यकता है) 👲 🗒️ 💡

कुख्यात अमेरिकी विज्ञान कथा लेखक आइजैक असिमोव द्वारा तैयार रोबोटिक्स के कानूनों के दूसरे में कहा गया है कि रोबोट को मनुष्य द्वारा दिए गए आदेशों का पालन करना चाहिए। मैं रोबोट को ऑर्डर कैसे दे सकता हूं? यदि आप ज्यादातर विज्ञान कथा फिल्मों को मानते हैं, तो रोबोट के साथ संवाद करने का सबसे आरामदायक तरीका प्राकृतिक मानव भाषण है। यही कारण है कि हमने रोबोट टॉड को मनुष्य का एक वास्तविक नौकर के रूप में प्रदान किया, रूसी में आवाज नियंत्रण आदेशों और भाषण संश्लेषण को समझने का लंबे समय से प्रतीक्षित अवसर। अब यह पर्याप्त है, उदाहरण के लिए, "रोबोट पर जाएं, रसोई में जाएं" ताकि रोबोट आवश्यक कार्य कर सके। कट के तहत, हम आपको रोबोट पर भाषण को पहचानने और संश्लेषित करने के लिए उपयोग किए जाने वाले सॉफ़्टवेयर के बारे में अधिक बताएंगे, और वीडियो में हम वॉइस कमांड का उपयोग करने के उदाहरण दिखाएंगे।
हमारी परियोजना के विकास का सदिशता हब्रोसैक्विटी की राय पर निर्भर करती है। क्या आप एक खुले स्रोत के विकास मंच के रूप में टॉड का उपयोग करने में रुचि रखते हैं? कृपया हमारे चुनाव में मतदान करें।

पॉकेट्सफिंक्स में भाषण मान्यता

आधुनिक स्मार्टफ़ोन के अधिकांश मालिकों ने पहले से ही कुछ प्रकार के वॉइस सर्च सिस्टम की कोशिश की है और स्पर्श डेटा इनपुट के पारंपरिक तरीके पर इसके कुछ लाभों की सराहना की है। और कुछ स्वचालन प्रेमियों ने अपने पीसी को आवाज नियंत्रण आदेशों को समझने के लिए सिखाया है, हैबे और नेटवर्क पर लाभ इस विषय पर पर्याप्त मैनुअल है।
यदि आपका रोबोट लिनक्स का उपयोग करता है, तो उसे होम पीसी पर ऐसा करने की तुलना में भाषण को समझना अधिक कठिन नहीं होगा। आप भाषण मान्यता के लिए किसी भी ओपन सोर्स इंजन का उपयोग कर सकते हैं। क्लाउड वाक् पहचान सेवाओं के विपरीत, यह रोबोट को इंटरनेट से जुड़े रहने और अनुपस्थित रहने की अनुमति देता है।
हमारा रोबोट अमेरिका के कार्नेगी मेलन विश्वविद्यालय द्वारा विकसित और मैसाचुसेट्स इंस्टीट्यूट ऑफ टेक्नोलॉजी और सन माइक्रोसिस्टम्स द्वारा सक्रिय रूप से समर्थित ओपन सोर्स सीएमयू स्फिंक्स वॉयस इंजन का उपयोग करता है। इस इंजन के फायदों में से एक विशिष्ट व्यक्ति के लिए ध्वनि मॉडल को अनुकूलित करने की क्षमता है। और जो हमारे लिए महत्वपूर्ण है, इंजन आसानी से आरओएस में एकीकृत है - हमारे टॉड के लिए एक रोबोटिक ढांचा।
CMU स्फिंक्स में 3 मुख्य घटक होते हैं:

ध्वनिक मॉडल ध्वनि को ध्वनि में परिवर्तित करता है
शब्दों में शब्दकोश, परिवर्तित स्वनिम
भाषा मॉडल - प्राप्त शब्दों से एक वाक्य बनाता है

ध्वनिक मॉडल ध्वनि रिकॉर्डिंग का एक समूह है, जिसे भाषण खंडों में विभाजित किया गया है। एक छोटे से शब्दकोश के लिए, आप स्वयं एक ध्वनिक आधार बना सकते हैं, लेकिन वोक्सफ़ॉर्गे.ओआरजी परियोजना के ध्वनिक आधार का उपयोग करना बेहतर है, जिसमें रूसी में दस घंटे से अधिक श्रुतलेख शामिल हैं।
ध्वनिक मॉडल को अपनाने का अगला चरण वैकल्पिक है, लेकिन यह आपकी आवाज़ के लिए मान्यता को बेहतर बना देगा। आपके द्वारा निर्देशित वाक्यांशों को मुख्य ध्वनिक मॉडल में जोड़ा जाता है, जो आपको पहचानते समय आपके उच्चारण की विशेषताओं को ध्यान में रखने की अनुमति देता है।
सीएमयू स्फिंक्स में एक शब्दकोष केवल वाक्यांशों और उनके संगत स्वरों के साथ एक पाठ फ़ाइल है। हमारे शब्दकोश में विभिन्न रोबोट नियंत्रण कमांड हैं:

शब्दकोश

बिना बी.बी.
बिना (2) बीब iz
बिना (3) bb है
बिना (4) बी बी जेई जेड
बिना (5) बी.बी.
आगे f pp i rr jo t
समय वी आर जे जेएम आई
जहाँ जी डी.डी.
दो डीवी आ
दो या तीन डीवी आ टी आर आर आई
दिन डी डी जे एनएन
कल z आ फुट ay
हॉल ज़ आ ल
हैलो zdr आ stvuj
तुम जानते हो zn आ मैं श
नाम है ज़ुव यू टी
जैसे k k k
क्या मैं आ के मैं
जो (2) काक आ
kak oo j क्या है
अंत कंच आ
kt oo
रसोई k uu h nn uj
मैं तुमसे प्यार करता हूँ बी.बी.
मुझे mm i nn ja
प्यारा मिमी ii गीत
आई एम एनएन जेई
आप कर सकते हैं oo zh y sh
मेरा एम ऊ जो
naj tt ii खोजें
सप्ताह nn i dd je ll i
मैं पीछे से देखूँगा
एक dd ii n
पिताजी पी आ पीपी मैं
बीयर पीपी ii v ay
आप p ay zh yv aa i sh कर रहे हैं
play p ay igr aa im
अलविदा पाक आ
मौसम पग ऊ ड़ अइ
आइटम पी आरआर आईडी मिमी जेई टी
p rr i vv i zz ii
हाय पी आर आर मैं वीवी जे टी
बताओ आर ऐ स्के ज़ य
आज ss iv oo d nn i
अब ss ij ch ja s
अब (2) ss i ch ja s
अब (3) sch ja s
कितना sk oo ll k ay
आप मुझे बीबी जाट
आप (2) टीटी जा
आप (3) मैं
पॉइंट टी ओओ के के ऐ
तीन टी आरआर ii
तीन से चार टी आरआर आई च यह य आर आर आई
आप ty
जानिए कैसे u mm je i sh
चार ch यह yy rr i
कुछ भी टी ओ ओ एन एन इब यू टीटी
कुछ भी (2) ch t oo nn ib uu tt
कुछ भी (3) ch t oo nn ibu tt

शब्दकोश एक भाषा मॉडल में परिवर्तित हो जाता है जो CMU स्फिंक्स इंजन के लिए समझ में आता है। तो, अंत में, भाषण मान्यता की प्रक्रिया जैसा दिखता है।

आरओएस में, किसी भी प्रोग्राम नोड, / पहचानकर्ता / आउटपुट विषय की सदस्यता, अब पाठ प्रारूप में CMU स्फिंक्स भाषा मॉडल में निर्मित वाक्य प्राप्त कर सकते हैं। हमने एक छोटा सा वॉयस कंट्रोल नोड लिखा जो मान्यता प्राप्त वाक्यांशों को प्राप्त करता है और उन्हें गश्त कमांड में परिवर्तित करता है या रोबोट प्रतिक्रिया वाक्यांशों को संश्लेषित करता है। नीचे आपको इस विषय पर एक वीडियो मिलेगा।

महोत्सव में भाषण संश्लेषण

रोबोट के साथ पूर्ण संचार के लिए, पर्याप्त आवाज प्रतिक्रिया नहीं है। हमारे रोबोट टॉड को लिनक्स पर उपलब्ध फेस्टिवल स्पीच सिंथेसिस पैकेज के साथ बोलने में मदद मिली। महोत्सव कई बड़े विश्वविद्यालयों का एक संयुक्त विकास भी है, जो उच्च गुणवत्ता वाले भाषण संश्लेषण प्रदान करता है और रूसी भाषा का समर्थन करता है। स्फिंक्स / फेस्टिवल के एक समूह के आधार पर, आप पूर्ण संवाद लागू कर सकते हैं। और यहाँ एक वीडियो है जो हमारे रोबोट के वॉयस कमांड के उपयोग को दर्शाता है।

और क्या सुन सकते हैं?

ध्वनि से संबंधित कार्य के बारे में बोलते हुए, कोई भी HARK का उल्लेख नहीं कर सकता है। HARK जापानी साउंड सॉफ्टवेयर है जो ध्वनि को संसाधित करने की क्षमता को बहुत विस्तार देता है। यहाँ उनमें से कुछ हैं:

ध्वनि स्रोत स्थानीयकरण
कई उपयोगी ध्वनि स्रोतों को उजागर करना (उदाहरण के लिए, एक ही समय में बात कर रहे कई लोगों के वाक्यांश)
साउंड स्ट्रीम से "क्लीन" स्पीच निकालने के लिए शोर फ़िल्टरिंग
Telepresence के लिए 3 डी ऑडियो प्रभाव

यह केवल एक माइक्रोफोन के साथ HARK का उपयोग करने के लिए बहुत अधिक समझ में नहीं आता है, क्योंकि अधिकांश ध्वनि प्रसंस्करण कार्य माइक्रोफ़ोन के तथाकथित सरणी के आधार पर हल किए जाते हैं। और यहाँ Kinect पूरी तरह से सही तरह से फिट बैठता है, जिसमें सामने की तरफ 4 माइक्रोफोन लगे होते हैं।
बेशक, हम अपनी परियोजना में HARK का उपयोग करने का अवसर नहीं चूकते थे। क्षेत्र में गश्त की प्रक्रिया में, रोबोट को आसपास के घटनाओं का जवाब देना चाहिए, जिसमें एक व्यक्ति का उपचार भी शामिल है। HARK द्वारा प्रदान किया गया ध्वनि स्रोत स्थानीयकरण मॉड्यूल रोबोट को उस व्यक्ति को खोजने में मदद कर सकता है जिससे वह बात कर रहा है, भले ही वह दृष्टि के अनुरूप न हो। इस तरह के कार्य को ध्वनि स्रोत के स्थानीयकरण और सिर के रोटेशन के लिए कम किया जाता है, ताकि यह वार्ताकार के विपरीत हो। हमारे वीडियो में देखें कि यह कैसा है।

हमारे ब्लॉग के नियमित पाठकों ने देखा होगा कि पिछले प्रकाशन के बाद से, टॉड रोबोट न केवल समझदार हो गया है, बल्कि बड़ा भी हो गया है, एक जोड़तोड़ और दूसरा किनेक्ट हासिल कर लिया है। अगली पोस्ट में, हम जोड़तोड़ को नियंत्रित करने और वस्तुओं को पकड़ने के लिए इसका उपयोग करने के बारे में बात करेंगे। हमारे ब्लॉग में मिलते हैं।

रोबोट को कानों की आवश्यकता क्यों है? (सर्वेक्षण: क्या मुझे ओपनटॉड की आवश्यकता है)

पॉकेट्सफिंक्स में भाषण मान्यता

महोत्सव में भाषण संश्लेषण

और क्या सुन सकते हैं?

More articles: