अपने कंप्यूटर को नियंत्रित करने के लिए Google भाषण API का उपयोग करना

सभी हब्बरेजीतलामी को शुभ दिन।

स्मार्ट होम बनाने में इसके उपयोग सहित Google भाषण एपीआई के उपयोग के बारे में पहले ही कई लेख लिखे जा चुके हैं।

इस लेख में मैं बताना चाहता हूं कि आप कंप्यूटर के वॉयस कंट्रोल के लिए एक छोटा सा प्रोग्राम कैसे लिख सकते हैं।

बिल्ली के नीचे, कौन परवाह करता है।


विकास के लिए, मैं Embarcadero RAD Studio XE और कई मुफ्त सहायक घटकों (JEDI Core, JEDI VCL, New Audio Components for Delphi, Synapse, uJSON, CoolTrayIcon) का उपयोग करता हूं

लेख "हमारे .NET अनुप्रयोग में Google वॉइस खोज का उपयोग करना" वर्णित है कि Google भाषण एपीआई कैसे काम करता है और सूक्ष्मताएं क्या हैं।

मैं अपने कार्यक्रम के एल्गोरिथ्म और सहायक घटकों का उपयोग करने की कुछ बारीकियों का वर्णन करूंगा।

1. FLAC प्रारूप में ध्वनि रिकॉर्डिंग

इसके लिए, मैं डेल्फी घटक के लिए नए ऑडियो घटकों का उपयोग करता हूं। ध्वनि को FLAC प्रारूप में 8 kHz की आवृत्ति के साथ दर्ज किया गया है और एक फ़ाइल में सहेजा गया है।

VCL घटक DXAudioIn1 रिकॉर्डिंग के लिए जिम्मेदार है, इसमें रिकॉर्डिंग सेटिंग्स (1 चैनल और 8 kHz की आवृत्ति) भी शामिल है

इसके अलावा, DXAudioIn1 का डेटा FastGainIndicator1 पर जाता है, जिसमें OnGainData स्तर का प्रसंस्करण होता है, यदि स्तर सेट स्तर (लाल सूचक) की तुलना में N गुना कम हो गया है, तो रिकॉर्डिंग रोक दी जाती है और डेटा Google को भेजा जाता है।
जब स्तर कुछ थ्रेशोल्ड एम बार (नीला सूचक) से अधिक हो जाता है तो मैंने स्वचालित रिकॉर्डिंग शुरू करना संभव बना दिया।

बेशक, ऐसा एल्गोरिथ्म बहुत विश्वसनीय नहीं है, लेकिन यह स्टार्ट को दबाने और बटन बंद करने की आवश्यकता को समाप्त करता है। स्तरों और संचालन की संख्या के लिए उपयुक्त सेटिंग्स के साथ, कार्यक्रम माइक्रोफोन से एक उपयोगी घटक की उपस्थिति के तथ्य को पकड़ता है।

और अंत में, FastGainIndicator1 का डेटा FLACOut1 घटक पर जाता है, जो सीधे FLAC प्रारूप में एक फाइल पर लिखता है।

रिकॉर्डिंग शुरू करने के लिए StartRecord प्रक्रिया जिम्मेदार है।

2. मान्यता के लिए Google को फ़ाइल भेजना और प्रतिक्रिया प्राप्त करना

रिकॉर्ड फ़ाइल को Google को Synapse लाइब्रेरी का उपयोग करके मान्यता के लिए भेजा जाता है।

Synapse के साथ काम करने की सूक्ष्मताएं और तथ्य यह है कि HTTPS का उपयोग करके डेटा भेजने की आवश्यकता है?

a) Libeay32.dll और ssleay32.dll पुस्तकालयों की आवश्यकता है
b) उपयोग में, आपको SSL_OpenSSL फ़ाइल कनेक्ट करनी होगी

HTTPPostFile फ़ंक्शन फ़ाइल भेजने के लिए ज़िम्मेदार है।

इसे बस कहा जाता है:
HTTPPostFile ('https://www.google.com/speech-api/v1/recognize?xjerr=1&client=chromium&lang=en-RU', 'userfile', ExtractFilename (OutFileName), स्ट्रीम, स्ट्रालिस्ट);

जहाँ
स्ट्रीम एक TFileStream स्ट्रीम है जिसमें हम अपनी रिकॉर्ड की गई फ़ाइल को FLAC प्रारूप में पढ़ते हैं।
StrList Google से एक प्रतिक्रिया के साथ एक TStringList है।

HTTPPostFile फंक्शन अपने आप में काफी सरल है, लेकिन इसमें सूक्ष्मताएं हैं:

function TMainForm.HTTPPostFile(Const URL, FieldName, FileName: String; Const Data: TStream; Const ResultData: TStrings): Boolean; const CRLF = #$0D + #$0A; var HTTP: THTTPSend; Bound, Str: String; begin Bound := IntToHex(Random(MaxInt), 8) + '_Synapse_boundary'; HTTP := THTTPSend.Create; try Str := '--' + Bound + CRLF; Str := Str + 'content-disposition: form-data; name="' + FieldName + '";'; Str := Str + ' filename="' + FileName + '"' + CRLF; Str := Str + 'Content-Type: audio/x-flac; rate=8000' + CRLF + CRLF; HTTP.Document.Write(Pointer(Str)^, Length(Str)); HTTP.Document.CopyFrom(Data, 0); Str := CRLF + '--' + Bound + '--' + CRLF; HTTP.Document.Write(Pointer(Str)^, Length(Str)); HTTP.MimeType := 'audio/x-flac; rate=8000, boundary=' + Bound; Result := HTTP.HTTPMethod('POST', URL); ResultData.LoadFromStream(HTTP.Document); finally HTTP.Free; end; end; 

3. Google से प्रतिक्रिया स्ट्रिंग को पार्स करना और कमांड निष्पादित करना

Google की एक प्रतिक्रिया रेखा एक JSON फॉर्म में आती है, उदाहरण के लिए:

{[स्थिति ": 0," आईडी ":" 5e34348f2887c7a3cc27dc3695ab4575-1 "," परिकल्पना ": [{" उच्चारण ":" नोटपैड "," आत्मविश्वास ": 0.7581704}]}}

पार्सिंग के लिए, मैं uJSON लाइब्रेरी का उपयोग करता हूं।

प्रतिक्रिया क्षेत्रों का क्या अर्थ है:
फ़ील्ड स्थिति = 0 - रिकॉर्ड सफलतापूर्वक पहचाना जाता है
फ़ील्ड स्थिति = 5 - रिकॉर्ड पहचाना नहीं गया है
आईडी फ़ील्ड एक अद्वितीय अनुरोध पहचानकर्ता है
परिकल्पना क्षेत्र मान्यता का परिणाम है; इसमें 2 उपक्षेत्र शामिल हैं:
उच्चारण - मान्यता प्राप्त वाक्यांश
confidence - मान्यता आत्मविश्वास

फ़ाइल भेजना, प्रतिक्रिया को पार्स करना, कमांड को खोजना और निष्पादित करना, मैंने इसे एक अलग JvThreadRecognize धागा में रखा।

आदेशों की सूची MSpeechCommand.ini फ़ाइल में संग्रहीत की जाती है, एक उदाहरण फ़ाइल:

;notepad.exe
;script\Show_Desktop.scf
;script\Lock_Workstation.cmd
;script\Halt_Workstation.cmd
;script\Reboot_Workstation.cmd
;script\Logoff_Workstation.cmd
qip;C:\Program Files\QIP Infium\infium.exe
;firefox.exe

परिणाम: यह कार्यक्रम समाप्त होने का दिखावा नहीं करता है, यह कंप्यूटर पर कुछ कमांड निष्पादित करने के लिए Google स्पीच एपीआई का उपयोग करने का एक उदाहरण है (अब तक यह केवल एप्लिकेशन लॉन्च कर रहा है और सिस्टम कमांड निष्पादित कर रहा है)। लेकिन कोई भी इसे अंतिम रूप देने के लिए परेशान नहीं करता और सिखाता है कि माउस को कैसे स्थानांतरित किया जाए, पाठ संपादक में पाठ टाइप करें, आदि

तैयार-निर्मित बिल्ड प्रोग्राम और स्रोत (GPLv3) code.google.com/p/mspeech पर उपलब्ध हैं

रचनात्मक आलोचना और इच्छाओं को सुनकर मुझे खुशी होगी। आपका धन्यवाद