पारसीम रूसी भाषा

पिछली बार ( लगभग एक साल पहले ) हमने रूसी पाठ में भाषण के कुछ हिस्सों को निर्धारित किया, शब्दों का रूपात्मक विश्लेषण किया। इस लेख में, हम पूरे वाक्यों को पार्स करने के लिए एक कदम आगे जाएंगे।

हमारा लक्ष्य एक रूसी भाषा पार्सर बनाना है, अर्थात्। एक कार्यक्रम जो इनपुट के रूप में मनमाने ढंग से पाठ को स्वीकार करेगा, और आउटपुट के रूप में इसकी वाक्य रचना को तैयार करेगा। उदाहरण के लिए, इस तरह:

"  ": ( ( . ( )) (. . ( ) ( . ( ))) (. .))) 

इसे वाक्य वृक्ष कहते हैं। चित्रमय रूप में, इसे निम्नानुसार दर्शाया जा सकता है (एक सरलीकृत रूप में):



किसी वाक्य की वाक्य रचना की संरचना का निर्धारण (पार्सिंग) पाठ विश्लेषण श्रृंखला के मुख्य चरणों में से एक है। प्रस्ताव की संरचना को जानने के बाद, हम एक गहन विश्लेषण और अन्य दिलचस्प चीजें कर सकते हैं। उदाहरण के लिए, हम एक स्वचालित अनुवाद प्रणाली बना सकते हैं। सरल रूप में, यह इस तरह दिखता है: प्रत्येक शब्द को एक शब्दकोश में अनुवाद करें, और फिर वाक्यविन्यास पेड़ से एक वाक्य उत्पन्न करें:


पार्सिंग वाक्यों ( 1 , 2 ) के बारे में हैबरे पर पहले से ही कई लेख थे, और संवाद सम्मेलन में भी पार्सर प्रतियोगिताएं आयोजित की जाती हैं । हालांकि, इस लेख में मैं सूखे सिद्धांत के बजाय रूसी भाषा को पार्स करने के तरीके के बारे में बात करना चाहूंगा।

समस्याएं और कार्य

तो, मैं रूसी भाषा को पार्स क्यों करना चाहता हूं और यह एक अनसुलझी समस्या क्यों है? सबसे पहले, बड़ी संख्या में अस्पष्टताओं (उदाहरण के लिए), बड़ी संख्या में अस्पष्टताओं (नियमों के अनुसार) के कारण मानव भाषाओं को पार्स करना मुश्किल है, नियमों, नए शब्दों आदि के अपवाद, दूसरे, अंग्रेजी भाषा के लिए बड़ी संख्या में विकास और अध्ययन मौजूद हैं, लेकिन एक रूसी के लिए बहुत कम। एक रूसी के लिए एक खुला पार्सर ढूंढना लगभग असंभव है। सभी मौजूदा विकास (उदाहरण के लिए, STAGE, ABBYY और अन्य) जनता के लिए बंद हैं। हालाँकि, किसी भी गंभीर पाठ विश्लेषण कार्य के लिए, आपके पास एक सिंटेक्टिक पार्सर होना चाहिए।

सिद्धांत की बिट

इस तथ्य के बावजूद कि यह एक व्यावहारिक लेख है, सैद्धांतिक नहीं, मुझे यह जानने के लिए थोड़ा सिद्धांत देने की आवश्यकता है कि हम क्या करेंगे। तो, आइए हम एक सरल वाक्य "माँ ने फ्रेम को धोया।" क्या हम पार्सर के परिणामस्वरूप प्राप्त करना चाहते हैं? बड़ी संख्या में ऐसे मॉडल हैं जो मानव भाषाओं का वर्णन करते हैं, जिनमें से मैं दो सबसे लोकप्रिय में से एक को बाहर करूंगा:

1. घटक का व्याकरण (निर्वाचन क्षेत्र व्याकरण)
2. निर्भरता का व्याकरण (निर्भरता व्याकरण)

उनमें से पहला (घटकों का व्याकरण) वाक्य को छोटी संरचनाओं में तोड़ने की कोशिश करता है - समूह, और फिर प्रत्येक समूह को छोटे समूहों में, और इसी तरह जब तक हम व्यक्तिगत शब्दों या वाक्यांशों तक नहीं पहुंचते। इस लेख में पहला उदाहरण घटकों के व्याकरण की सिर्फ एक ही औपचारिकता का उपयोग करके दिया गया था:

• संज्ञा और क्रिया में वाक्य को तोड़ो
• हम एक संज्ञा समूह को एक संज्ञा (माँ) में तोड़ देते हैं
• क्रिया समूह (साबुन) और दूसरी संज्ञा समूह पर क्रिया समूह
• संज्ञा पर दूसरा क्रिया समूह (फ्रेम)

घटकों के व्याकरण का उपयोग करते हुए एक वाक्य को पार्स करने के लिए, आप औपचारिक भाषाओं के पार्सर का उपयोग कर सकते हैं (इसके बारे में बहुत सारे लेख थे हेब्रे: 1 , 2 )। समस्या बाद में असंतोष के रूप में होगी कई वाक्यविन्यास के पेड़ एक ही वाक्य के अनुरूप होंगे। हालांकि, सबसे बड़ी समस्या यह है कि घटकों का व्याकरण रूसी भाषा के लिए बहुत उपयुक्त नहीं है, क्योंकि रूसी में, एक वाक्य में शब्दों का क्रम अक्सर अर्थ को बदले बिना परस्पर जुड़ सकता है। रूसी के लिए, निर्भरता का एक व्याकरण हमारे लिए बेहतर है।

निर्भरता व्याकरण में, शब्द क्रम महत्वपूर्ण नहीं है, क्योंकि हम केवल यह जानना चाहते हैं कि वाक्य में प्रत्येक शब्द कौन सा है और इन कनेक्शनों का प्रकार किस पर निर्भर करता है। उदाहरण के लिए, यह इस तरह दिखता है:


इस वाक्य में, "माँ" क्रिया "वॉश" पर निर्भर करती है और यह विषय है, "फ्रेम" क्रिया "वॉश" पर भी निर्भर करता है, लेकिन एक "वस्तु" है। भले ही हम वाक्य में शब्दों का क्रम बदल दें, फिर भी कनेक्शन समान रहेंगे। इसलिए, हमारे पार्सर से हम एक वाक्य में शब्दों के लिए निर्भरता की एक सूची प्राप्त करना चाहते हैं। यह इस तरह लग सकता है:

 "  ": (, ) (, ) 

हम सिद्धांत के साथ समाप्त होंगे और अभ्यास के लिए आगे बढ़ेंगे।

मौजूदा दृष्टिकोण

पार्सर बनाने के दो मुख्य दृष्टिकोण हैं:

1. नियम आधारित विधि
2. शिक्षक के साथ मशीन सीखना (पर्यवेक्षित मशीन सीखना)

दोनों विधियों को संयोजित करना भी संभव है और शिक्षक के बिना मशीन सीखने के अभी भी तरीके हैं, जहां पार्सर खुद नियमों को बनाने की कोशिश करता है, अनलिस्टेड ग्रंथों में पैटर्न खोजने की कोशिश कर रहा है ( प्रोतासोव, 2006 )।

नियम-आधारित विधि का उपयोग लगभग सभी वाणिज्यिक प्रणालियों में किया जाता है, जैसा कि यह सबसे बड़ी सटीकता देता है। मूल विचार नियमों का एक सेट बनाना है जो यह निर्धारित करता है कि एक वाक्य में कनेक्शन कैसे बनाया जाए। उदाहरण के लिए, हमारे वाक्य "मामा साबुन फ्रेम" में हम निम्नलिखित नियम लागू कर सकते हैं (मान लें कि हमने पहले से ही सभी अस्पष्टताओं को हटा दिया है और शब्दों की व्याकरणिक श्रेणियां जानते हैं):

1. शब्द ("माँ") नाममात्र के मामले में, स्त्री लिंग और एकवचन को एकवचन में क्रिया ("साबुन") पर निर्भर होना चाहिए, भूत काल, स्त्री लिंग और कनेक्शन का प्रकार इस विषय में होना चाहिए "
2. अभियोगात्मक मामले में शब्द ("फ्रेम") क्रिया पर निर्भर होना चाहिए और कनेक्शन का प्रकार "ऑब्जेक्ट" होना चाहिए

प्रणाली में कई समान नियम और साथ ही विरोधी नियम हो सकते हैं जो इंगित करते हैं कि आपको कनेक्शन बनाने की आवश्यकता नहीं है, उदाहरण के लिए, यदि एक संज्ञा और एक क्रिया में एक अलग लिंग या संख्या है, तो उनके बीच कोई संबंध नहीं है। तीसरे प्रकार के नियम भी हैं, जो इंगित करते हैं कि कौन से विकल्प संभव होने पर शब्दों की जोड़ी को प्राथमिकता दी जानी चाहिए। उदाहरण के लिए, वाक्य में "माँ ने खिड़की को धोया है": "माँ" और "खिड़की" दोनों एक विषय के रूप में कार्य कर सकते हैं, हालाँकि, हम अगले के बजाय क्रिया पर आने वाले शब्द को पसंद कर सकते हैं।
यह दृष्टिकोण बहुत ही संसाधन गहन है। एक पार्सर बनाने के लिए भाषाविदों की एक अच्छी टीम की आवश्यकता होती है जो पूरी रूसी भाषा का शाब्दिक वर्णन करना चाहिए। इसलिए, हम दूसरे दृष्टिकोण में अधिक रुचि रखते हैं - एक शिक्षक के साथ मशीन सीखने।

मशीन लर्निंग के उपयोग से पार्सिंग में विचार, मशीन लर्निंग की अन्य सभी समस्याओं की तरह, बहुत सरल है: हम कंप्यूटर को सही उत्तरों के साथ कई उदाहरण देते हैं, जिस पर सिस्टम को स्वयं सीखना चाहिए। सिंटैक्टिक पार्सर्स को प्रशिक्षित करने के लिए - प्रशिक्षण के लिए डेटा के रूप में, विशेष रूप से चिह्नित कॉरपसड्र्स (ट्रीबैंक), उन ग्रंथों का संग्रह जिसमें सिंटैक्टिक संरचना लेबल की गई है, का उपयोग किया जाता है। ऐसे मामले में हमारा प्रस्ताव इस तरह दिख सकता है:

 1  .... 2  2  ... 0 - 3  .... 2  

इस प्रारूप में, हम प्रत्येक वाक्य को एक पंक्ति के रूप में लिखते हैं, जहाँ प्रत्येक पंक्ति टैब द्वारा अलग की गई प्रविष्टियों के रूप में एक शब्द का वर्णन करती है। प्रत्येक शब्द के लिए, हमें निम्नलिखित डेटा संग्रहीत करने की आवश्यकता है:

1. वाक्य संख्या (1)
2. शब्द रूप (माँ)
3. व्याकरणिक श्रेणियां (संज्ञा)।
4. मुख्य शब्द संख्या (2)
5. संचार का प्रकार (विषय)

इस लेख में, दुर्भाग्य से, विभिन्न पार्सर्स के विस्तृत एल्गोरिदम का वर्णन करने के लिए पर्याप्त स्थान नहीं है। मैं केवल यह दिखाऊंगा कि आप रूसी भाषा के साथ काम करने के लिए एक मौजूदा पार्सर को कैसे प्रशिक्षित कर सकते हैं।

हम ट्रेनर को प्रशिक्षित करते हैं

कई खुले पार्सर हैं जिन्हें रूसी भाषा के साथ काम करने के लिए प्रशिक्षित किया जा सकता है। यहाँ दो हैं जिन्हें मैंने प्रशिक्षित करने की कोशिश की है:

1. एमएसटी पार्सर , न्यूनतम फैले हुए पेड़ को खोजने की समस्या पर आधारित है
2. MaltParser मशीन लर्निंग पर आधारित है (हालांकि एमएसटी पार्सर भी, लेकिन थोड़ा अलग विचार है)

एक एमएसटी पार्सर को प्रशिक्षित करने में अधिक समय लगता है और यह माल्टपैरसर की तुलना में खराब परिणाम भी देता है, इसलिए हम बाद में दूसरे पर ध्यान केंद्रित करेंगे।
तो, पहले आपको MaltParser डाउनलोड करना होगा और डाउनलोड किए गए संग्रह को अनज़िप करना होगा ।

 > wget http://maltparser.org/dist/maltparser-1.7.1.tar.gz > tar xzvf maltparser-1.7.1.tar.gz > cd maltparser-1.7.1 

पार्सर जावा में लिखा गया है, इसलिए आपको काम करने के लिए एक जेवीएम की आवश्यकता है। यदि आप अंग्रेजी, फ्रेंच या स्वीडिश के साथ काम करते हैं, तो आप इन भाषाओं के लिए तैयार मॉडल डाउनलोड कर सकते हैं। हालांकि, हम रूसी के साथ काम करते हैं, इसलिए यह हमारे लिए अधिक मजेदार होगा।

एक नया भाषा मॉडल सिखाने के लिए, हमें एक लेबल वाले कॉर्पस की आवश्यकता है। रूसी के लिए, वर्तमान में केवल एक सिंटैक्टिक रूप से चिह्नित मामला है - सिंटैग्रस , जो एनकेआरजे का हिस्सा है। मैं अप्रसार और अनुसंधान लक्ष्यों के आधार पर सिंतगुरुओं तक पहुंच हासिल करने में कामयाब रहा। कॉर्पस एक्सएमएल प्रारूप में चिह्नित ग्रंथों का एक समूह है:

 <S ID="8"> <W DOM="2" FEAT="S    " ID="1" LEMMA="" LINK=""></W> <W DOM="_root" FEAT="V     " ID="2" LEMMA=""></W> <W DOM="2" FEAT="S    " ID="3" LEMMA="" LINK="2-"></W>, <W DOM="3" FEAT="A   " ID="4" LEMMA="" LINK=""></W> <W DOM="4" FEAT="S    " ID="5" LEMMA="" LINK="1-"></W> <W DOM="5" FEAT="S    " ID="6" LEMMA="" LINK=""></W>. </S> 

पार्सर को प्रशिक्षित करने के लिए, हमें फ़ाइलों को malttab प्रारूप में बदलने की आवश्यकता है। इन उद्देश्यों के लिए, एक छोटी स्क्रिप्ट लिखी गई थी जो XML को पढ़ती है और व्याकरण श्रेणियों को सामान्य करते हुए वांछित प्रारूप प्रदर्शित करती है:

  Smnom.sg 2   Vmreal.sg 0 ROOT  Sfins.sg 2 2-  Afins.sg 3   S.dat.m.sg 4 1-  S.dat.m.sg 5  

दस्तावेज़ कहता है कि पार्सर को प्रशिक्षित करने के लिए, आपको इसे निम्न मापदंडों के साथ चलाना होगा:

 > java -jar maltparser-1.7.1.jar -c russian -i /path/to/corpus.conll -m learn -   (    russian.mco) -i   -   -m  ,     learn -  

हालाँकि, मैंने अतिरिक्त तर्कों के साथ प्रशिक्षण शुरू किया:

 > java -Xmx8000m -jar maltparser-1.7.1.jar -c russian -i /path/to/corpus.tab -if appdata/dataformat/malttab.xml -m learn -l liblinear -Xmx8000m    -if appdata/dataformat/malttab.xml      malttab (     CoNLL,   ) -l liblinear     SVM     LIBSVM 

नतीजतन, हम फाइल को रूसी करते हैं। इसमें प्रशिक्षित मॉडल और आवश्यक कॉन्फ़िगरेशन डेटा शामिल हैं। अब हमारे पास सब कुछ (या लगभग सब कुछ) है जो रूसी ग्रंथों को पार्स करने के लिए आवश्यक है।

पारसीम रूसी भाषा

पार्सिंग निम्नानुसार शुरू की जाती है:

 > java -jar maltparser-1.7.1.jar -c russian -i /path/to/input.tab -o out.tab -m parse -    -i  ,    -o  ,     -m parse   

केवल एक चीज जो हमें मनमाने ढंग से पाठ को पार्स करने की आवश्यकता है वह एक स्क्रिप्ट है जो पाठ को माल्टैब प्रारूप में तैयार करेगी। ऐसा करने के लिए, स्क्रिप्ट को होना चाहिए:

1. वाक्यों में पाठ तोड़ो (वाक्यों में विभाजन)
2. प्रत्येक वाक्य को शब्दों में तोड़ना (टोकेनाइजेशन)
3. प्रत्येक शब्द के लिए व्याकरणिक श्रेणियों को परिभाषित करें (रूपात्मक विश्लेषण)

ये तीन कार्य पार्सिंग की तुलना में बहुत सरल हैं। और सौभाग्य से रूसी के लिए, रूपात्मक विश्लेषण के लिए खुले या मुफ्त सिस्टम हैं। पिछले लेख में, हमने यह थोड़ा सा भी किया था, वहां आप अन्य मौजूदा प्रणालियों के संदर्भ पा सकते हैं। अपने उद्देश्यों के लिए, मैंने मशीन लर्निंग पर आधारित एक रूपात्मक विश्लेषक लिखा, जिसे मैंने उसी SynTagRus पर प्रशिक्षित किया। शायद अगली बार मैं उसका वर्णन करूंगा।

मैंने SintagRus के 1/6 में प्रशिक्षित किया और रूसी भाषा के लिए एक मॉडल प्राप्त किया, जिसे आप व्यक्तिगत उद्देश्यों के लिए पूछ सकते हैं। इसका उपयोग करने के लिए, यह आवश्यक है कि व्याकरणिक श्रेणियां उन लोगों के साथ मेल खाती हैं जो मैंने मॉडल को पढ़ाने में उपयोग किया था।

इस मॉडल ने 78.1% की सटीकता दिखाई, जो कि बहुत अच्छा है और अधिकांश उद्देश्यों के लिए काफी उपयुक्त है। पूरे मामले पर प्रशिक्षित एक मॉडल 79.6% की सटीकता देता है।

निष्कर्ष

पार्सिंग अधिक जटिल पाठ विश्लेषण के लिए मूल चरणों में से एक है। आपको आग के साथ दिन के दौरान रूसी भाषा के लिए खुले पार्सर नहीं मिलेंगे। इस लेख में, मैंने इस अंतर को भरने की कोशिश की। यदि आप (और सिंटरागस तक पहुंच) चाहते हैं, तो आप खुले पार्सरों को प्रशिक्षित कर सकते हैं और रूसी भाषा के साथ काम कर सकते हैं। एक प्रशिक्षित पार्सर की सटीकता आदर्श नहीं है, हालांकि कई कार्यों के लिए यह काफी स्वीकार्य है। हालांकि, मेरी राय में, परिणामों में सुधार के लिए यह एक अच्छा लॉन्चिंग पैड है।

मैं पार्सर्स में विशेषज्ञ नहीं हूं, और मैं रूसी भाषा विज्ञान का विशेषज्ञ नहीं हूं, लेकिन मुझे किसी भी आलोचना, सुझाव और सुझाव को सुनने में खुशी होगी। अगली बार मैं या तो रूपात्मक विश्लेषक के बारे में लिखने की उम्मीद करता हूं जिसका उपयोग पार्सर के साथ किया गया था, या अजगर पर मेरे अपने पार्सर के बारे में (यदि मैंने तब तक उस पर काम करना समाप्त कर दिया है)।

मैंने एक सरल ऑनलाइन डेमो पोस्ट किया, जो कि गिरने तक, इस तरह दिखता है:


सभी कोड (मामले को छोड़कर) यहां उपलब्ध है: github.com/irokez/Pyrus

अंत में, मैं SintagRus तक पहुँच प्रदान करने के लिए NKRY और विशेष रूप से IPPI RAS को धन्यवाद देना चाहूंगा।