मैंने पार्सर कैसे बनाया

मेरी परियोजनाओं में से एक के लिए, एक दिलचस्प विशेषता की आवश्यकता थी - पाठ को रीफ़्रेश करना, उदाहरण के लिए, अनुमति देना, वाक्यांश "एक घास का मैदान में चरने वाली गाय" को "हरे घास के मैदान में रसदार घास चबाने वाली बुर्का" में परिवर्तित किया जा सकता है। बेशक, इस तरह के परिवर्तन के लिए शब्दों और अभिव्यक्तियों के बीच बहुत बड़े आधार की आवश्यकता होती है, जिसकी अनुपस्थिति सभी कार्यों को शून्य कर देती है। लेकिन वह एक और कहानी है। अब मैं इस बारे में बात करूँगा कि मैंने किस तरह से पार्सिंग वाक्यों के मुद्दे को हल किया, जिन्हें तब कुछ नए में बदलना था, लेकिन वही मानव-पठनीय था।

विकिपीडिया पार्सिंग को निम्नानुसार परिभाषित करता है: “ पार्सिंग भाषा के टोकन (शब्द, टोकन) के रैखिक क्रम की तुलना उसके औपचारिक व्याकरण से करने की प्रक्रिया है। परिणाम आमतौर पर एक पार्स ट्री (सिंटैक्स ट्री) है। यह आमतौर पर लेक्सिकल विश्लेषण के साथ संयोजन में उपयोग किया जाता है। एक पार्सर एक प्रोग्राम या एक प्रोग्राम का हिस्सा है जो पार्सिंग करता है। "

पाठ को सफलतापूर्वक रूपांतरित करने के लिए, इसे पैराग्राफ में तोड़ना आवश्यक है, और वे, बदले में, लाइनों में। यह सोलारिक्स मॉर्फोलॉजिकल इंजन के आंतरिक उपकरणों का उपयोग करके किया गया था, जिसे मैंने 2008 में वापस पर्यायवाची के लिए खरीदा था। विभाजक के उत्पादन में पैराग्राफ की एक सरणी होती है, जिनमें से प्रत्येक में लाइनों की एक सरणी होती है।

बस के मामले में, मैं ध्यान देना चाहता हूं: इस लेख में मैं जानबूझकर एक प्रोग्रामिंग भाषा का संकेत नहीं देता हूं, क्योंकि, सबसे पहले, मैं पीएल के विषय पर एक होलीवर से बचना चाहता हूं, और दूसरी बात, यहां हम एक स्ट्रिंग को पार्स करने के एक तरीके के बारे में बात करेंगे, और एक विशिष्ट विधि के बारे में नहीं। इस पार्सिंग का कार्यान्वयन। इसके अलावा, किसी कारण से मैं सोलारिक्स में निर्मित पार्सर का उपयोग नहीं कर सका, यही वजह है कि मुझे अपने बगीचे में बाड़ लगाना पड़ा।

हैंडलर प्रोग्राम एक बहु-पास विश्लेषक है जो न केवल व्यक्तिगत शब्दों को, बल्कि पूरे वाक्यों को, वाक्यों और पैराग्राफों के संदर्भ का उपयोग करके, और इसका उपयोग सजातीय के साथ कठिनाइयों के मामले में या अपूर्ण या असंगत वाक्यों के मामले में कर सकता है।

पृष्ठांकन आपको इस पैराग्राफ के मुख्य विचार को उजागर करने की अनुमति देता है (यदि यह, निश्चित रूप से है), जिससे एक संदर्भ बनता है। औपचारिक रूप से, पैराग्राफ के संदर्भ को इस पैराग्राफ के सभी वाक्यों में विषय और विधेय के सभी जोड़े माना जा सकता है। एकल-घटक ऑफ़र के मामले में, केवल एक वाक्य संरचना का उपयोग किया जाता है। यदि, निश्चित रूप से, आप इसे पा सकते हैं।

सभी मुख्य कार्य प्रस्ताव स्तर पर किए जाते हैं। वाक्य विश्लेषण एल्गोरिथ्म काफी सरल है और एक परिमित राज्य मशीन के राज्यों के रूप में वर्णित किया जा सकता है। दुर्भाग्य से, भले ही मुझे परिमित राज्य मशीनों के निर्माण पर ज्ञान है, लेकिन मुझे ऐसी स्वचालित मशीनों को बनाने का कोई अनुभव नहीं है। इसलिए, प्रक्रियात्मक दृष्टिकोण का उपयोग करते हुए, पुराने दादाजी तरीके से सब कुछ करने का निर्णय लिया गया था। इसके अलावा, मेरे हाथ बहुत खरोंच थे और मुझे पहले से ही पता था कि मैं क्या और कैसे करूँगा। अब मुझे पता है कि यह गलत था, क्योंकि कुछ घंटों के बाद मैं रूसी भाषा के व्याकरण के विकलों में फंस गया और इसका अध्ययन करने में बहुत समय बिताया। यद्यपि यह एक तथ्य नहीं है कि एक और सप्ताह बिताने के बाद एक परिमित राज्य मशीन का निर्माण हुआ, मैंने बेहतर परिणाम प्राप्त किया।

इसलिए, मैंने अपने विश्लेषक का निर्माण करते हुए रूसी भाषा के व्याकरण का अध्ययन किया। विश्लेषक रूसी भाषा में वाक्यांशों के निर्माण के मूल सिद्धांतों के आधार पर कई स्वयंसिद्धों पर आधारित था:

- वाक्य शून्य या अधिक देय हो सकता है;
- कई विषय, एक पंक्ति में आने और एक ही मामले में खड़े होने से एक यौगिक विषय बनता है;
- सरल विषय एकवचन में विधेय के साथ जुड़ा हुआ है, और यौगिक विषय - विधेय के साथ बहुवचन के साथ;
- विधेय सरल और जटिल दोनों हो सकते हैं;
- एक जटिल विधेय में दो या दो से अधिक समान संख्या और समय होने की भविष्यवाणी होती है;
- प्रस्ताव के छोटे सदस्य (परिस्थितियों, परिभाषाओं, परिवर्धन और अनुलग्नक) का निर्धारण प्रस्ताव के मुख्य सदस्यों के सापेक्ष उनके स्थान के आधार पर किया जाता है, साथ ही उनके संबंधित रूपात्मक विशेषताओं, जैसे लिंग, संख्या और समय।

प्रारंभ में, सबसे सरल वाक्यों को संसाधित किया गया था: " माँ ने फ्रेम को धोया ", " बिल्ली और कुत्ते फर्श पर बैठे हैं ", " बिल्ली ने दूध पिया "। ये वाक्य कठिन नहीं हैं, क्योंकि इनमें रूपात्मक वर्णों के काफी संयोजन होते हैं। उदाहरण के लिए, " साबुन फ्रेम की माँ " को समझना बहुत आसान है: इस मामले में, केवल नाममात्र मामले में संज्ञा ( माँ ) विषय हो सकती है। प्रीडिक्टेबल है लिंग और संख्या द्वारा विषय से जुड़ी क्रिया " साबुन "। तीसरा शब्द एक जोड़ है, क्योंकि यह अप्रत्यक्ष मामले के सवाल का जवाब देता है ( क्या? )।

एक चौकस पाठक पूछ सकता है: दूध पीने वाली बिल्ली के बारे में तीसरे वाक्य के बारे में क्या, जिसमें नाममात्र मामले में दो संज्ञाएं खड़ी हैं, और जिनमें से एक क्रिया हो सकती है? इस मामले में, हम होमोसेक्सुअल के साथ काम कर रहे हैं, और यह काफी सरल रूप से हल किया गया है: एक शब्द के लिए जिसमें संज्ञा और क्रिया दोनों की विशेषताएं हैं, हमें एक संज्ञा को लिंग और संख्या द्वारा क्रिया से जुड़ा होना चाहिए, या केवल एक यौगिक विषय या सरल विषय के मामले में संख्या से पता लगाना चाहिए। बहुवचन। इसके अलावा, यदि एक अप्रत्यक्ष या पूछताछत्मक सर्वनाम (जो ?, क्या?) द्वारा व्यक्त किया गया स्पष्टीकरण है, तो होमोनिमी को और भी आसान हटा दिया जाता है - इस तरह के होमोनिम्स को स्वचालित रूप से एक अधीनस्थ वाक्य के अधीन माना जाता है: "बिल्ली जो दूध पीना चाहती थी" => "बिल्ली" (चाहते हैं (सोने के लिए), पिया (जो) दूध) इस प्रकार हम "विषय-विधेय" के दो सेट प्राप्त करते हैं: " बिल्ली ने पीया " और " बिल्ली चाहता था, " और वाक्य ही जटिल माना जाता है।
विश्लेषक के आगे शोधन विशेष रूप से मुश्किल नहीं है: हम वाक्य के सभी छोटे सदस्यों की तलाश करते हैं, उनकी स्थिति और सजा के पहले से पाए गए सदस्यों के सापेक्ष रूपात्मक सुविधाओं के संबंध पर आधारित है।

वैसे, विश्लेषण से पहले वाक्यों के विश्लेषण की सुविधा के लिए, क्रिया, क्रियाओं या विशेषणों को क्रियाविशेषणों ( अच्छे, त्वरित, आसान ) से जोड़कर वाक्यों को सरल बनाना आवश्यक है, जिसके आगे वे खड़े होते हैं, यदि आवश्यक हो, तो इन क्रियाविशेषणों को जब वे अल्पविराम से जोड़ते हैं, तो उन्हें जंजीरों में बाँधते हैं। या यूनियनों ( और, या, लेकिन नहीं )।

यदि किसी विशिष्ट वाक्य के विश्लेषण में कठिनाई होती है, तो इसे समस्याग्रस्त के रूप में चिह्नित किया जाता है, और इसके विश्लेषण को विश्लेषक के दूसरे पास पर स्थगित कर दिया जाता है, जब पैराग्राफ का संदर्भ पहले से ही अधिक या कम परिभाषित होता है। इसी समय, इस संदर्भ का उपयोग करना, समस्याग्रस्त वाक्य में भाषण के समस्याग्रस्त भागों की पहचान करने और पैराग्राफ के संदर्भ में इसके संदर्भ को जोड़ने के लिए काफी हद तक निश्चितता के साथ संभव है।

दुर्भाग्य से, पार्सर पूरा नहीं हुआ था, हालांकि मैं सरल और जटिल दोनों, काफी विदेशी वाक्यों को पार्स करने में सक्षम था। इसके अलावा, मैंने शब्दों और वाक्यांशों के बीच संबंधों का एक डेटाबेस नहीं बनाया। यह परियोजना में ब्याज की हानि के कारण दोनों हुआ (मुझे आशा है कि मैं इसे एक दिन फिर से शुरू करूंगा), और कई व्यावसायिक परियोजनाओं में समानांतर काम से जुड़े समय की कमी के कारण, जिसके कारण खाली समय मैं एक शौक पर खर्च कर सकता था लगभग चला गया।