भाषण मान्यता में छिपे मार्कोव मॉडल

लोगों के बीच सबसे तेज़ और सबसे प्रभावी बातचीत बोली जाने वाली भाषा के माध्यम से होती है। भाषण की मदद से, विभिन्न भावनाओं और भावनाओं को प्रेषित किया जा सकता है, और सबसे महत्वपूर्ण बात - उपयोगी जानकारी। ध्वनि इनपुट-आउटपुट के लिए कंप्यूटर इंटरफेस बनाने की आवश्यकता संदेह से परे है, क्योंकि उनकी प्रभावशीलता मानव गतिविधि के सबसे विविध क्षेत्रों में तैयार करने की व्यावहारिक रूप से असीमित संभावनाओं पर आधारित है।

अंग्रेजी भाषण को संश्लेषित करने वाली पहली इलेक्ट्रॉनिक मशीन को न्यूयॉर्क में 1939 में एक व्यापार शो में प्रस्तुत किया गया था और इसे वोडर कहा जाता था, लेकिन जिस ध्वनि को पुन: पेश किया गया था वह बेहद फजी था। भाषण मान्यता के लिए पहला उपकरण 1952 में दूसरे वर्ष में प्रकाशित हुआ था और संख्याओं को पहचानने में सक्षम था।

भाषण मान्यता की प्रक्रिया में, निम्नलिखित कठिनाइयों को प्रतिष्ठित किया जा सकता है: मनमाना, भोले उपयोगकर्ता; सहज भाषण, एग्र्रामैटिस और भाषण "कचरा" के साथ; ध्वनिक शोर और विरूपण की उपस्थिति; भाषण हस्तक्षेप की उपस्थिति।

इस लेख में विभिन्न तरीकों में से, हम छिपे हुए मार्कोव मॉडल (एसएमएम) का उपयोग करके एक सांख्यिकीय मॉडल बनाने की संभावना पर विचार करेंगे।

पार्ट-टू-स्पीच टैगिंग

प्राकृतिक भाषा का विश्लेषण करते समय, पहला कदम यह निर्धारित करना है: वाक्य के प्रत्येक भाग को भाषण के किस भाग को संदर्भित करता है। अंग्रेजी में, इस स्तर पर कार्य को पार्ट-टू-स्पीच टैगिंग कहा जाता है। हम एक व्यक्तिगत वाक्य सदस्य के भाषण के भाग को कैसे परिभाषित कर सकते हैं? अंग्रेजी में एक वाक्य पर विचार करें: "कैन जंग करेंगे।" तो, एक निश्चित लेख या "विषयों" का एक कण है; कर सकते हैं - दोनों एक क्रिया, एक संज्ञा और एक क्रिया हो सकते हैं; इच्छाशक्ति - मोडल क्रिया, संज्ञा और क्रिया; जंग एक संज्ञा या क्रिया है। सांख्यिकीय दृष्टिकोण में, प्रत्येक व्याकरणिक अर्थ में शब्दों का उपयोग करने की संभावनाओं की तालिका बनाना आवश्यक है। मैन्युअल रूप से विश्लेषण किए गए परीक्षण ग्रंथों के आधार पर इस समस्या को हल किया जा सकता है। और तुरंत ही समस्याओं में से एक को एकल किया जा सकता है: ज्यादातर मामलों में "कैन" शब्द का उपयोग एक क्रिया के रूप में किया जाता है, लेकिन कभी-कभी यह एक संज्ञा भी हो सकती है। इस खामी को देखते हुए, एक मॉडल बनाया गया था जो इस तथ्य को ध्यान में रखता है कि विशेषण या संज्ञा लेख का पालन करेंगे:

जहां:
टी - टैग (संज्ञा, विशेषण, आदि)
w - पाठ में शब्द (जंग, कर सकते हैं ...)
p (w | t) सम्भावना है कि w शब्द टैग t से मेल खाता है
p (t1 | t2) संभावना है कि t1 t2 के बाद जाता है

यह प्रस्तावित सूत्र से देखा जा सकता है कि हम टैग चुनने की कोशिश कर रहे हैं ताकि यह शब्द टैग से मेल खाता हो और टैग पिछले टैग से मेल खाता हो। यह विधि आपको यह निर्धारित करने की अनुमति देती है कि "कर सकते हैं" एक संज्ञा के रूप में कार्य करता है, और एक क्रिया के रूप में नहीं।

इस सांख्यिकीय मॉडल को एर्गोडिक एसएमएम के रूप में वर्णित किया जा सकता है:

एर्गोडिक मार्कोव मॉडल

व्यवहार में एर्गोडिक मार्कोव मॉडल

इस आरेख में प्रत्येक शीर्ष भाषण के एक अलग हिस्से को दर्शाता है जिसमें जोड़े लिखे गए हैं (शब्द; संभावना है कि शब्द भाषण के इस विशेष भाग को संदर्भित करता है)। संक्रमण एक दूसरे के बाद भाषण के एक हिस्से की संभावित संभावना दिखाते हैं। इसलिए, उदाहरण के लिए, संभावना है कि 2 लेख एक पंक्ति में जाएंगे, बशर्ते कि लेख होता है, 0.0016 के बराबर होगा। भाषण मान्यता का यह चरण बहुत महत्वपूर्ण है, क्योंकि वाक्य की व्याकरणिक संरचना की सही परिभाषा आपको पुन: प्रस्तुत वाक्य के अभिव्यंजक रंग के लिए सही व्याकरणिक संरचना चुनने की अनुमति देती है।

एन-ग्राम मॉडल

एन-ग्राम भाषण मान्यता मॉडल भी हैं। वे इस धारणा पर आधारित हैं कि एक वाक्य में अगले शब्द का उपयोग करने की संभावना केवल एन -1 शब्दों पर निर्भर करती है। आज, सबसे लोकप्रिय आश्रम और ट्राइग्राम भाषा के मॉडल हैं। ऐसे मॉडलों में खोज एक बड़ी तालिका (केस) पर होती है। तेजी से चलने वाले एल्गोरिथ्म के बावजूद, ऐसे मॉडल अर्थ और वाक्यविन्यास संबंधों को पकड़ने में सक्षम नहीं हैं यदि निर्भर शब्द 5 शब्द अलग हैं। एन-ग्राम मॉडल का उपयोग, जहां एन 5 से अधिक है, को जबरदस्त शक्ति की आवश्यकता होती है।

जैसा कि ऊपर उल्लेख किया गया है, आज सबसे लोकप्रिय मॉडल ट्रिग्राम मॉडल है। वाक्य 1 को देखने की सशर्त संभावना, ... wn करीब है:

P (w1, ..., wn) = (P (wi | w1, ..., w2) w |P (wi | wi- (n-1), ..., wi-1)

उदाहरण के लिए, वाक्य पर विचार करें "मैं घर जाना चाहता हूं"। इस प्रस्ताव की संभावना की गणना n-gram की आवृत्ति की गणना से की जा सकती है (इस उदाहरण में, हम n - 3 लेते हैं:

P (I, want, to, go, home) I P (I) * P (want। I) * P (I, I), चाहते हैं * P (go | want, to) * P (home | to, go) )

यह ध्यान देने योग्य है कि एक लंबी दूरी का ट्रिग्राम मॉडल जिसमें विश्लेषण न केवल दो पिछले शब्दों द्वारा किया जाता है, बल्कि किसी भी शब्द के जोड़े द्वारा पास होता है। इस तरह के एक ट्रिग्राम मॉडल में बिना सूचना के शब्दों को छोड़ दिया जा सकता है, जिससे मॉडल में संगतता की भविष्यवाणी में सुधार होता है।