तारांकन + UniMRCP + VoiceNavigator। भाषण संश्लेषण और Asterisk में मान्यता। भाग 1

भाग २
भाग ३
भाग ४

एस्टरिस्क में समुदाय की बढ़ती रुचि को देखते हुए, मैंने संश्लेषण और भाषण मान्यता का उपयोग करके आवाज मेनू के निर्माण के बारे में योगदान करने और बात करने का फैसला किया।

लेख का उद्देश्य विशेषज्ञों के लिए एस्टेरिस्क में आईवीआर के निर्माण और आवाज की स्वयं-सेवा प्रणालियों की समझ रखने के अनुभव के साथ है।

जीएचएस (वॉयस सेल्फ-सर्विस सिस्टम) वॉयस एप्लिकेशन बनाने की क्षमता का विस्तार करता है और उपयोगकर्ता को ऑपरेटर के हस्तक्षेप के बिना स्वतंत्र रूप से सूचना और ऑर्डर सेवाएं प्राप्त करने की अनुमति देता है। यह कॉल को रूट करना, फ्लाइट शेड्यूल की जानकारी देना और जारी करना, बैंक अकाउंट की स्थिति, टैक्सी ऑर्डर करना, डॉक्टर से अपॉइंटमेंट लेना आदि हो सकता है।
मान्यता आपको DTMF का उपयोग करके बनाए गए रैखिक मेनू को छोड़ने की अनुमति देती है, मानव भाषा में सिस्टम से बात करती है और आसानी से कई विकल्पों के साथ मेनू बनाती है।
संश्लेषण गतिशील रूप से बदलती जानकारी और बड़ी मात्रा में पाठ डेटा के साथ काम को सरल करता है।




नीचे मैं VoiceNavigator के साथ तारांकन चिह्न के एकीकरण का वर्णन करूंगा मैं एक ऐसी कंपनी का कर्मचारी हूं, जो इसे विकसित करती है और छोटे प्लेटफार्मों (एस्टरिस्क, फ्रीस्विच) के साथ इसमें अंतर, समर्थन और एकीकरण में लगी हुई है। मुझे कहना होगा कि समाधान का भुगतान किया जाता है। रूसी भाषण के संश्लेषण और मान्यता के लिए वास्तव में काम करने वाले ओपनसोर्स अनुप्रयोग नहीं हैं।

Asterisk में रूसी भाषण का संश्लेषण और मान्यता

संश्लेषण और मान्यता कार्यक्षमता को लागू करने के लिए उद्योग मानक MRCP प्रोटोकॉल का उपयोग है।

तारांकन इसके लिए UniMRCP पुस्तकालय का उपयोग करता है।
UniMRCP एक खुला स्रोत क्रॉस-प्लेटफ़ॉर्म सॉफ़्टवेयर है जिसमें MRCP क्लाइंट और MRCP सर्वर के कार्यों को लागू करने के लिए आवश्यक उपकरण शामिल हैं।
परियोजना धीरे-धीरे विकसित हो रही है और जहां तक ​​मुझे पता है, यह आज के लिए एमआरसीपी प्रोटोकॉल के साथ काम करने का एकमात्र ओपनसोर्स समाधान है। Asterisk (1.4 के साथ शुरू होने वाले सभी संस्करण) और FreeSWITCH का समर्थन करता है।

VoiceNavigator

VoiceNavigator एक सॉफ्टवेयर पैकेज है जो एक अलग विंडोज मशीन पर स्थापित किया गया है और MRCP प्रोटोकॉल का उपयोग करके संश्लेषण और मान्यता इंजन तक पहुंच प्रदान करता है।
इसमें एसटीसी एमआरसीपी सर्वर, एसटीसी टीटीएस भाषण संश्लेषण सूट और एसटीसी एएसआर भाषण मान्यता सूट शामिल है।

MRCP सर्वर

एमआरसीपी सर्वर प्रयुक्त वॉयस प्लेटफॉर्म और एएसआर और टीटीएस के बीच बातचीत को नियंत्रित करता है। एसटीसी MRCP सर्वर निम्नलिखित वॉयस प्लेटफॉर्म का समर्थन करता है: Asterisk, FreeSWITCH, Avaya Voice Portal, Genesys Voice Platform, Cisco Unified CCX, Siemens OpenScape।

MRCP अनुरोध RTSP प्रोटोकॉल कमांड द्वारा प्रेषित किए जाते हैं।
ऑडियो डेटा प्रसारित करने के लिए, RTP प्रोटोकॉल का उपयोग किया जाता है।
एमआरसीपी सर्वर के माध्यम से आवाज मंच भाषण मान्यता और संश्लेषण मॉड्यूल तक पहुंच का अनुरोध करता है, इस पर निर्भर करते हुए, विभिन्न इंटरैक्शन योजनाओं का उपयोग किया जाता है।

ASR

एएसआर मॉड्यूल भाषण मान्यता के साथ संबंधित है। ASR के लिए मुख्य अवधारणा SRGS व्याकरण है ।
SRGS (वाक् पहचान व्याकरण विनिर्देश) एक मानक है जो वाक् पहचान में प्रयुक्त व्याकरण की संरचना का वर्णन करता है। SRGS आपको उन शब्दों या वाक्यांशों को निर्दिष्ट करने की अनुमति देता है जिन्हें भाषण इंजन द्वारा पहचाना जा सकता है।
व्याकरणों का निर्माण एक अलग विज्ञान है और, यदि रुचि है, तो मैं एक अलग लेख लिखने के लिए तैयार हूं।

टीटीएस

टीटीएस मॉड्यूल भाषण संश्लेषण अनुप्रयोगों में उपयोग के लिए एक्सएमएल पर आधारित भाषण संश्लेषण मार्कअप लैंग्वेज (एक्सएमएल) का उपयोग करता है।
संश्लेषण को टैग द्वारा नियंत्रित किया जाता है। उनकी मदद से, आप उच्चारण निर्धारित कर सकते हैं, नियंत्रण, गति, मात्रा, ठहराव की लंबाई, पढ़ने के नियम आदि को नियंत्रित कर सकते हैं।
MDGs से भाषण संश्लेषण का एक उदाहरण यहाँ vitalvoice.ru/demo पर पाया जा सकता है

कार्य योजना

वॉयस प्लेटफॉर्म पर कॉल आता है।
वॉयस प्लेटफॉर्म वॉयस मेनू स्क्रिप्ट को सक्रिय करता है, जिसके अनुसार ग्राहक के साथ आगे बातचीत होती है।
वॉइस मेनू का परिदृश्य निर्धारित करता है: जब सिस्टम को सब्सक्राइबर को निर्देश पढ़ना चाहिए, तो एक प्रश्न पूछें और उसके उत्तर को कैसे संसाधित करें।
VoiceNavigator वॉयस प्लेटफॉर्म से वाक् पहचान और भाषण संश्लेषण अनुरोध प्राप्त करता है, उन्हें निष्पादित करता है, और MRCP प्रोटोकॉल का उपयोग करके निष्पादन का परिणाम देता है।
वाक् पहचान में, आवाज मंच SRGS व्याकरण और डिजीटल भाषण प्रसारित करता है और एनएलएसएमएल के रूप में उत्तर प्राप्त करता है।
भाषण संश्लेषण में, आवाज मंच सादा पाठ या SSML प्रसारित करता है और प्रतिक्रिया में संश्लेषित भाषण प्राप्त करता है।

UniMRCP स्थापित और कॉन्फ़िगर करें

चलो व्यावहारिक भाग पर चलते हैं।
निम्नलिखित में एस्टरिस्क सेंटोस के लिए मूल में UniMRCP की स्थापना का वर्णन है। अन्य ओएस पर स्थापित करते समय, थोड़ा अंतर हो सकता है।

आधिकारिक साइट से यूनी-एस्ट-पैकेज-0.3.2 का नवीनतम संस्करण डाउनलोड करें।
पैकेज में शामिल हैं:
• तारांकित संस्करण 1.6.2.9 - इस संस्करण के साथ काम UniMRCP डेवलपर द्वारा सत्यापित किया गया है;
• एस्टरिस्क-यूएनएमआरसीपी-ब्रिज 0.1.0 - एस्टेरिस्क और यूनीएमआरसीपी मॉड्यूल की जोड़ी के लिए एक पुल;
• UniMRCP - मॉड्यूल UniMRCP 1.0.0;
• एपीआर - अपाचे पोर्टेबल रनटाइम 1.4.2;
• APR-Util - अपाचे पोर्टेबल रनटाइम यूटिलिटी लाइब्रेरी 1.3.9;
• सोफिया-एसआईपी - एसआईपी उपयोगकर्ता-एजेंट पुस्तकालय 12.1.10।

स्थापना के लिए ऑटोकॉन्फ़, लिबटूल, जीसीसी, पीकेजी-कॉन्फ़िगरेशन की आवश्यकता होती है।
अनपैक करने के बाद, हम फ़ोल्डर की जड़ में तीन स्क्रिप्ट देखते हैं:
ast-install.sh - सिस्टम पर स्थापित नहीं होने पर भेजे जाने वाले तारांकन चिह्न को स्थापित करता है।
uni-install.sh - UniMRCP स्थापित करता है
कनेक्टर-install.sh - Asterisk और UniMRCP के बीच पुल स्थापित करता है।

हम उन्हें इस क्रम में लॉन्च करते हैं (यदि तारांकन स्थापित है - ast-install.sh आवश्यक नहीं है) और सकारात्मक में सभी सवालों का जवाब दें।
हम देखते हैं कि सब कुछ त्रुटियों के बिना स्थापित है।
मेरे अनुभव में, त्रुटियां केवल तभी होती हैं जब निर्भरता संतुष्ट नहीं होती है। यदि तारांकन पहले स्रोत से बनाया गया था, तो सभी आश्रितों को पहले से ही संतुष्ट होना चाहिए और स्थापना त्वरित और आसान होगी।

स्थापना के बाद, Asterisk में 2 नए मॉड्यूल res_speech_unimrcp.so और app_unimrcp.so थे, और डायलप्लान को MRCPSynth और MRCPRecog कमांड मिले। आप तारांकन चिह्न कंसोल में प्रवेश करके स्थापना को सत्यापित कर सकते हैं:
*CLI> module show like mrcp
Module Description Use Count
res_speech_unimrcp.so UniMRCP Speech Engine 0
app_unimrcp.so MRCP suite of applications 0
2 modules loaded

इससे पहले कि आप संश्लेषण और मान्यता संसाधनों के साथ काम कर सकें, आपको उन्हें जोड़ना होगा। फ़ाइल /etc/asterisk/mrcp.conf का उपयोग MRCP सर्वर से कनेक्ट करने के लिए किया जाता है। आप इसकी सामग्री को संपादित कर सकते हैं या इसे निम्नलिखित के साथ बदल सकते हैं (सबसे महत्वपूर्ण मापदंडों को समझाने के लिए टिप्पणियां जोड़ी गई हैं):
[general]
; ASR TTS, .
; MRCP-
default-asr-profile = vn-internal
default-tts-profile = vn-internal
; UniMRCP logging level to appear in Asterisk logs. Options are:
; EMERGENCY|ALERT|CRITICAL|ERROR|WARNING|NOTICE|INFO|DEBUG -->
log-level = DEBUG
max-connection-count = 100
offer-new-connection = 1
; rx-buffer-size = 1024
; tx-buffer-size = 1024
; request-timeout = 60

;
[vn-internal]
; +++ MRCP settings +++
; MRCP-
version = 1
;
; +++ RTSP +++
; === RSTP settings ===
; MRCP-
server-ip = 192.168.2.106

;, VoiceNavigator
server-port = 8000
; force-destination = 1

; MRCP-
;( VoiceNavigator – )
resource-location =

; VoiceNavigator
speechsynth = tts
speechrecog = asr
;
; +++ RTP +++
; === RTP factory ===
;IP- , Asterisk RTP-.
rtp-ip = 192.168.2.104
; rtp-ext-ip = auto

; RTP-
rtp-port-min = 32768
rtp-port-max = 32888
; === RTP settings ===
; --- Jitter buffer settings ---
playout-delay = 50
; min-playout-delay = 20
max-playout-delay = 200
; --- RTP settings ---
ptime = 20
codecs = PCMU PCMA L16/96/8000
; --- RTCP settings ---
rtcp = 1
rtcp-bye = 2
rtcp-tx-interval = 5000
rtcp-rx-resolution = 1000

तारांकन चिह्न को पुनरारंभ करने के बाद, प्रोफ़ाइल सक्रिय हो जाएगी और सिस्टम काम करने के लिए तैयार है और पहला वॉयस एप्लिकेशन तैयार करेगा।

जैसा कि पहले बताया गया है, Asterisk काम करने के लिए app_unimrcp.so लाइब्रेरी के कार्यों MRCPSynth और MRCPRecog का उपयोग करता है:

MRCPSynth

MRCPSynth फ़ंक्शन का निम्न प्रारूप है:
MRCPSynth (पाठ, विकल्प), जहां
पाठ - संश्लेषण के लिए पाठ (पाठ \ SSML),
विकल्प - संश्लेषण मापदंडों।

संश्लेषण पैरामीटर:
पी - mrcp.conf फ़ाइल में निहित संश्लेषण संसाधन के लिए कनेक्शन प्रोफ़ाइल
i - अंक, फोन पर क्लिक करके, संश्लेषण बाधित हो जाएगा
f - संश्लेषित भाषण रिकॉर्डिंग के लिए फ़ाइल का नाम (रिकॉर्डिंग कच्चे में बनाया गया है, यदि पैरामीटर या फ़ाइल नाम निर्दिष्ट नहीं किया गया है तो रिकॉर्डिंग निष्पादित नहीं की जाती है)
v - आवाज जिसे संश्लेषित करने की आवश्यकता है, उदाहरण के लिए, "मैरी 8000"।

एक फ़ंक्शन का उपयोग करने का डायलप्लान उदाहरण

सादे-पाठ:

 exten => 7577,n,MRCPSynth(    ) 

SSML:

 exten => 7577,MRCPSynth(<?xml version=\"1.0\"?><speak version=\"1.0\" xml:lang=\"ru-ru\" xmlns=\"http://www.w3.org/2001/10/synthesis\"><voice name=\"8000\">    .</voice></speak>) 

सादा-पाठ पर SSML का उपयोग करने का लाभ विभिन्न टैग (वाणी, गति और अभिव्यक्ति की अभिव्यक्ति, ठहराव, पाठ की व्याख्या, आदि) का उपयोग करने की क्षमता है।

MRCPRecog

MRCPRecog फ़ंक्शन का निम्न प्रारूप है:
MRCPRecog (व्याकरण, विकल्प), जहां
व्याकरण - व्याकरण (URL \ SRGS), HTTP- सर्वर पर स्थित फ़ाइल के लिए एक लिंक द्वारा निर्दिष्ट या सीधे फ़ंक्शन बॉडी में।
विकल्प - मान्यता विकल्प।

मान्यता विकल्प:
पी - mrcp.conf फ़ाइल में निहित मान्यता संसाधन के लिए कनेक्शन प्रोफ़ाइल
i - किस मान्यता प्राप्त होने पर DTMF कोड अंक बाधित हो जाएगा।
यदि मान "कोई भी" या अन्य वर्ण है, तो मान्यता प्राप्त होने पर बाधित हो जाएगी, और पात्र को डायलिंग योजना में वापस कर दिया जाएगा।
f - निमंत्रण के रूप में खेलने के लिए फ़ाइल का नाम
बी - प्लेइंग फाइल (बार-इन मोड) को बाधित करने और मान्यता शुरू करने की क्षमता (बाधित नहीं हो सकती है = 0, आप बाधित कर सकते हैं और भाषण पहचान ASR इंजन = 1 द्वारा किया जाता है, आप बाधित कर सकते हैं और भाषण पहचान Asterisk = 2 द्वारा किया जाता है)
टी - समय, जिसके बाद मान्यता प्रणाली मान्यता-टाइमआउट (003) कोड के साथ मान्यता प्रक्रिया को बाधित कर सकती है, यदि मान्यता शुरू हो गई है, और एक भी मान्यता विकल्प नहीं है। मान को [0..MAXTIMEOUT] श्रेणी में मिलीसेकंड में निर्दिष्ट किया गया है।
सीटी - आत्मविश्वास की मान्यता का थ्रेसहोल्ड (0.0 - 1.0)।
यदि मान्यता के दौरान लौटाया गया आत्मविश्वास-स्तर विश्वास-दहलीज से कम है, तो मान्यता का परिणाम कोई मेल नहीं है।
sl - गैर-शब्दकोश कमांड के लिए संवेदनशीलता। (0.0 - 1.0)। उच्च मूल्य, शोर के लिए संवेदनशीलता जितनी अधिक होगी।
nb - लौटे मान्यता परिणामों की संख्या को परिभाषित करता है। एन मान्यता परिणाम लौटाए जाते हैं, आत्मविश्वास-दहलीज से अधिक आत्मविश्वास स्तर के साथ। डिफ़ॉल्ट मान = 1।
नाइट - वह समय जिसके बाद मान्यता प्रणाली मान्यता प्रक्रिया को बाधित कर सकती है, कोड नो-इनपुट-टाइमआउट (002) के साथ, यदि मान्यता शुरू हो गई है और कोई भाषण नहीं मिला है। मान को मिलीसेकंड में निर्दिष्ट किया जाता है, सीमा में [0..MAXTIMEOUT]।

एक फ़ंक्शन का उपयोग करने का डायलप्लान उदाहरण

फ़ंक्शन बॉडी में व्याकरण सेट करना:

 exten => 7577,n,MRCPRecog(<?xml version=\"1.0\"?><grammar xmlns=\"http://www.w3.org/2001/06/grammar\" xml:lang=\"ru-ru\" version=\"1.0\" mode=\"voice\" root=\"test\"><rule id=\"test\"><one-of><item></item><item></item><item></item><item></item><item></item><item></item><item></item><item></item><item></item></one-of></rule></grammar>,f=hello&b=1) 

व्याकरण संदर्भ:

 exten => 7577,n,MRCPRecog(http://192.168.1.1/digits.xml,f=hello&b=1) 

पैरामीटर f = hello & b = 1 साउंड फ़ाइल का स्कोरिंग प्रदान करता है, उदाहरण के लिए, "1 से 100 तक की संख्या बोलें", जिसे बज-इन का उपयोग करके बाधित किया जा सकता है, अर्थात। संदेश को अंत तक सुने बिना बात करना शुरू करें और इस तरह मान्यता प्रक्रिया शुरू करें।

मान्यता परिणाम Asterisk को NLSML के रूप में $ {RECOG_RESULT} चर में लौटाया जाता है।
उत्तर उदाहरण:

 <?xml version="1.0"?><result grammar="C:\Documents and Settings\All Users\Application Data\Speech Technology Center\Voice Digger\temp\e856d208-7794-43b0-bb89-01947e37e655.slf"><interpretation confidence="90" grammar="C:\Documents and Settings\All Users\Application Data\Speech Technology Center\Voice Digger\temp\e856d208-7794-43b0-bb89-01947e37e655.slf"><input mode="speech" confidence="90" timestamp-start="2011-07-04T0-00-00" timestamp-stop="2011-07-04T0-00-00"></input><instance confidence="90"><SWI_literal></SWI_literal><SWI_grammarName>C:\Documents and Settings\All Users\Application Data\Speech Technology Center\Voice Digger\temp\e856d208-7794-43b0-bb89-01947e37e655.slf</SWI_grammarName><SWI_meaning>8</SWI_meaning></instance></interpretation></result> 

इस निष्कर्ष में सबसे महत्वपूर्ण पैरामीटर हैं:
मान्यता परिणाम = "आठ"
कॉन्फिडेंस लेवल = 90
शब्दार्थ टैग: 8

प्रारंभिक अवस्था में, उदाहरण के लिए, REGEX का उपयोग करके एप्लिकेशन लॉजिक बनाया जा सकता है

 exten => 8800,5,GotoIf(${REGEX("" ${RECOG_RESULT})}?100:10) 

अधिक सही NLSML पार्सर का उपयोग है।
VoiceNavigator के साथ आने वाला Parser पर्ल में एक AGI स्क्रिप्ट है। आप इसे चर का मान प्राप्त कर सकते हैं => s, n, AGI (NLSML.agi, $ {QUOTE ($ {RECOG_RESULT})}) और इसके परिणामस्वरूप चर $ {RECOG_UTR0} = आठ, $ {RECOG_INT0} = 8, $ { RECOG_CNF0} = 90

संख्याओं के लिए एक साधारण आवाज मान्यता आवेदन का उदाहरण

 exten => 7577,1,Answer exten => 7577,n,MRCPSynth(     .   ) exten => 7577,n,MRCPRecog(<?xml version=\"1.0\"?><grammar xmlns=\"http://www.w3.org/2001/06/grammar\" xml:lang=\"ru-ru\" version=\"1.0\" mode=\"voice\" root=\"test\"><rule id=\"test\"><one-of><item></item><item></item><item></item></one-of></rule></grammar>,f=beep&b=1) exten => 7577,n,GotoIf(${REGEX("" ${RECOG_RESULT})}?one:if_2) exten => 7577,n(if_2),GotoIf(${REGEX("" ${RECOG_RESULT})}?two:if_3) exten => 7577,n(if_3),GotoIf(${REGEX("" ${RECOG_RESULT})}?three:error) exten => 7577,n(one),MRCPSynth(   ) exten => 7577,n,Hangup exten => 7577,n(two),MRCPSynth(   ) exten => 7577,n,Hangup exten => 7577,n(three),MRCPSynth(   ) exten => 7577,n,Hangup exten => 7577,n(error),MRCPSynth(    ) exten => 7577,n,Hangup 

अगली श्रृंखला उपयोग किए गए संश्लेषण टैग और मान्यता व्याकरण के निर्माण के बारे में अधिक विस्तार से बात करेगी।

आपके सवालों और टिप्पणियों का इंतजार रहेगा।