👩🏾‍💼 🌇 👵🏼 एक टॉमिटा पार्सर क्या है, कैसे यैंडेक्स प्राकृतिक भाषा को इसकी मदद से समझता है, और आप इसका उपयोग कैसे कर सकते हैं ग्रंथों से जानकारी निकालने के लिए 🍕 🕎 🖲️

मानव भाषा को समझने वाली मशीन के सपने ने कंप्यूटरों के बड़े होने और उनका प्रदर्शन छोटा होने पर भी दिमागों पर कब्जा कर लिया। इसके रास्ते में मुख्य समस्या यह है कि प्राकृतिक भाषाओं के व्याकरण और शब्दार्थ खराब रूप से औपचारिक हैं। इसके अलावा, उन्हें अस्पष्टता की उपस्थिति से प्रोग्रामिंग भाषाओं से अलग किया जाता है।

बेशक, एक प्राकृतिक भाषा में कंप्यूटर के साथ पूर्ण संचार का सपना अभी भी पूर्ण कार्यान्वयन से दूर है, लगभग कृत्रिम बुद्धि का सपना जितना। हालांकि, अब कुछ परिणाम हैं: मशीन को प्राकृतिक भाषा में पाठ में आवश्यक वस्तुओं को खोजने, उनके बीच के लिंक खोजने और आगे की प्रक्रिया के लिए औपचारिक रूप में आवश्यक डेटा प्रस्तुत करने के लिए सिखाया जा सकता है। Yandex काफी समय से इस तकनीक का उपयोग कर रहा है। उदाहरण के लिए, यदि आपको एक निश्चित स्थान और एक निश्चित समय पर मिलने के प्रस्ताव के साथ एक पत्र प्राप्त होता है, तो एक विशेष एल्गोरिथ्म स्वतंत्र रूप से आवश्यक डेटा निकालकर कैलेंडर में दर्ज करने की पेशकश करेगा।

जल्द ही हम इस तकनीक को ओपन सोर्स देने की योजना बना रहे हैं ताकि कोई भी इसका इस्तेमाल कर सके और इसे विकसित कर सके, जिससे व्यक्ति और कंप्यूटर के बीच मुक्त संचार का उज्ज्वल भविष्य हो। स्रोत कोड खोलने की तैयारी शुरू हो चुकी है, लेकिन यह प्रक्रिया उतनी तेज़ नहीं है जितनी हम चाहेंगे, और सबसे अधिक संभावना इस साल के अंत तक चलेगी। इस समय के दौरान, हम अपने उत्पाद के बारे में जितना संभव हो उतना बताने की कोशिश करेंगे, जिसके लिए हम कई पदों की श्रृंखला शुरू कर रहे हैं, जिनके भीतर हम डिवाइस संरचना और इसके साथ काम करने के सिद्धांतों के बारे में बात करेंगे।

तकनीक को टॉमिटा-पार्सर कहा जाता है, और बड़े और कोई भी, अब इसका उपयोग कर सकते हैं: बाइनरी फाइलें डाउनलोड के लिए उपलब्ध हैं। हालांकि, प्रौद्योगिकी का उपयोग करने से पहले, आपको यह सीखना होगा कि इसे सही तरीके से कैसे पकाया जाए।

जीएलआर एल्गोरिदम

उपकरण का नाम जीएलआर-पार्सिंग एल्गोरिदम (सामान्यीकृत बाएं से दाएं एल्गोरिथ्म) के लेखक जापानी वैज्ञानिक मसारू तोमिता के नाम पर रखा गया है, जिसके आधार पर टॉमिता-पार्सर बनाया गया था। 1984 में वापस, उन्होंने इस एल्गोरिथ्म के कार्यान्वयन का वर्णन किया, खुद को एक प्राकृतिक भाषा में ग्रंथों के प्रभावी और सटीक विश्लेषण का कार्य निर्धारित किया। कुछ मायनों में, जीएलआर एल्गोरिथ्म एलआर पार्सिंग एल्गोरिदम का एक विस्तारित संस्करण है। लेकिन एलआर एल्गोरिथ्म का उद्देश्य उन ग्रंथों के विश्लेषण के लिए है, जो कठोर रूप से नियतात्मक प्रोग्रामिंग भाषाओं में लिखे गए हैं, और एक प्राकृतिक भाषा के साथ काम नहीं कर सकते हैं। टमिता ने इस समस्या का समाधान ढेर के समानांतर किया, जिससे हमें पाठ के कुछ वर्गों की विभिन्न व्याख्याओं पर विचार करने की अनुमति मिली: जैसे ही अलग-अलग व्याख्याओं की संभावना पैदा होती है, स्टैक शाखाएं। ऐसी कई अनुक्रमिक शाखाएं हो सकती हैं, लेकिन विश्लेषण के दौरान, गलत शाखाओं को छोड़ दिया जाता है, और परिणाम सबसे लंबी श्रृंखला है। इसी समय, एल्गोरिथ्म वास्तविक समय में अपने काम के परिणाम देता है, क्योंकि यह पाठ में गहराई से चलता है, अन्य प्राकृतिक भाषा प्रसंस्करण एल्गोरिदम में यह सुविधा नहीं है।

हालांकि, अकेले एल्गोरिथ्म पाठ का पूरी तरह से विश्लेषण करने और इससे संरचित जानकारी निकालने के लिए पर्याप्त नहीं है। पार्सर के लिए समझ में आने वाले आवश्यक शब्दकोशों को जोड़ने के लिए, संसाधित पाठ की भाषा की आकृति विज्ञान और वाक्य रचना को ध्यान में रखना आवश्यक है। यह सब केवल प्रोग्रामिंग अनुभव वाले भाषाविदों के लिए उपलब्ध था। टॉमिटा-पार्सर को एल्गोरिदम के साथ काम को सरल बनाने के उद्देश्य से विशेष रूप से विकसित किया गया था। शब्दकोश और व्याकरण बनाने के लिए एक सरल वाक्यविन्यास संकलित किया गया था, रूसी और यूक्रेनी भाषाओं की आकृति विज्ञान के साथ काम किया गया था। अब, रूसी भाषा के उपकरण के कारण दृढ़ता और समझ के साथ, लगभग कोई भी वाक्यविन्यास को समझ सकता है और अपने स्वयं के प्रयोजनों के लिए पार्सर तैयार कर सकता है। बेशक, भाषाविज्ञान का गहरा ज्ञान और नियमित अभिव्यक्ति के साथ काम करने की क्षमता एक बिना शर्त प्लस होगी, लेकिन एक पूर्वापेक्षा नहीं।

Tomita कहाँ उपयोग किया जाता है?

आज तक, टॉमिटा को चार यैंडेक्स सेवाओं में उपयोग किया जाता है:

मेल। जैसा कि ऊपर उल्लेख किया गया है, यदि आपको एक पत्र प्राप्त होता है जिसमें आपको एक अनियंत्रित रूप से मिलने के लिए आमंत्रित किया जाता है, तो यह निर्धारित करेगा कि यह बैठक कब और कहाँ होगी और इसे कैलेंडर में जोड़ने की पेशकश की जाएगी। हवाई टिकट को लेकर भी स्थिति ऐसी ही है।
समाचार। इस सेवा में, टॉमिटा स्वचालित रूप से मानचित्र और समूह समाचारों को मैप करने में मदद करती है। यदि नोट में देश, शहर या उस स्थान का पूरा पता है, जहां वर्णित घटना हुई है, तो टॉमिता इस जानकारी को उजागर करेगी और नोट को मानचित्र पर एक बिंदु पर संलग्न करेगी।
ऑटो। Yandex.Auto सेवा विभिन्न साइटों से कारों के बारे में समीक्षा एकत्र करती है, आप अपनी समीक्षा वहां छोड़ सकते हैं। टॉमिता इन समीक्षाओं का विश्लेषण करती है, कारों की विभिन्न विशेषताओं के बारे में बयानों के भावनात्मक रंग का मूल्यांकन करती है। इन आंकड़ों के आधार पर, विशेषताओं की रेटिंग संकलित की जाती है: उपस्थिति, ड्राइविंग प्रदर्शन, आंतरिक और आराम, संचालन, अनुभव।
कार्य करें। जैसे Yandex.Auto नौकरियां श्रमिकों की खोज पर विभिन्न साइटों से विज्ञापन एकत्र करती हैं। वे भी आमतौर पर किसी भी रूप में रचे जाते हैं। टोमिता इन ग्रंथों का विश्लेषण करती है और उम्मीदवारों और काम की परिस्थितियों के लिए आवश्यकताओं की पहचान करती है, उन्हें औपचारिक रूप देती है, ताकि नौकरी की तलाश करते समय, उपयोगकर्ता रिक्तियों को फ़िल्टर कर सकें।

यह सब कैसे व्यवहार में आता है

एक न्यूनतम विन्यास में, इनपुट पर पार्सर का विश्लेषण स्वयं पाठ के साथ-साथ एक शब्दकोश और व्याकरण के रूप में किया जाता है। शब्दकोश की मात्रा और व्याकरण की जटिलता विश्लेषण के उद्देश्यों पर निर्भर करती है: वे या तो बहुत छोटे या विशाल हो सकते हैं। व्याकरण फ़ाइल में टोमिट-पार्सर की आंतरिक भाषा / औपचारिकता में लिखे गए टेम्पलेट होते हैं। ये पैटर्न एक सामान्यीकृत रूप में वर्णन करते हैं जो पाठ में हो सकने वाले शब्दों की श्रृंखला बनाते हैं। इसके अलावा, व्याकरण यह निर्धारित करते हैं कि अंतिम निष्कर्ष में निकाले गए तथ्यों को कैसे प्रस्तुत किया जाए।

शब्दकोशों में ऐसे कीवर्ड होते हैं जो व्याकरण विश्लेषण प्रक्रिया में उपयोग किए जाते हैं। इस शब्दकोश में प्रत्येक लेख एक सामान्य संपत्ति द्वारा एकजुट कई शब्दों और वाक्यांशों को परिभाषित करता है। उदाहरण के लिए, "रूस के सभी शहर।" फिर व्याकरण में आप संपत्ति का उपयोग कर सकते हैं "रूस का एक शहर है।" शब्दों या वाक्यांशों को एक सूची द्वारा स्पष्ट रूप से निर्दिष्ट किया जा सकता है, या वांछित श्रृंखलाओं का वर्णन करने वाले व्याकरण को इंगित करके "कार्यात्मक रूप से" किया जा सकता है।

नीचे व्याकरण है जो प्राकृतिक भाषा में पाठ से निकालने में मदद करता है और एक दूसरे के साथ निर्देशक का नाम, उस फिल्म का नाम और शैली से जुड़ता है जो उसने बनाया था। विभिन्न शैलियों और रूपों को सूचीबद्ध करने के लिए एक शब्दकोश भी है जिसमें उन्हें पाठ में उपयोग किया जा सकता है।

व्याकरण

#encoding "utf-8" #GRAMMAR_ROOT S PersonName -> Word<h-reg1, nc-agr[1]> Word<h-reg1, nc-agr[1]>*; //  - ,                  FilmName -> AnyWord<h-reg1, quoted>; //  -       FilmName -> AnyWord<h-reg1, l-quoted> AnyWord* AnyWord<r-quoted>; //  ,       GenreChain -> Word<kwtype=genre_type> interp (Film.Genre); // - ,          genre Film -> ''; //       Descr -> GenreChain | Film; //     Director -> PersonName interp (Film.Director); // PersonName     Director  Film S -> Descr Director<gram=""> FilmName interp (Film.Name::not_norm); //    -  .  ,    :    "  "

शब्दकोश

 //        (   genre),    -   genre_type "_1" { key = { " " agr=gnc_agr } //         key = { " " agr=gnc_agr } //      key = { " " agr=gnc_agr } mainword = 2 //    lemma = "" //,          } genre_type "_2" //     { key = "" lemma = "" //   } genre_type "_" { key = { " " gram={",", word=2} } key = "" | "" lemma = " " } genre_type "" { key = "" lemma = "" }

जैसा कि उदाहरणों से देखा जा सकता है, व्याकरण में, हम पहले निर्देशक के नाम और उपनाम को एक या एक से अधिक पूंजी वाले शब्दों से मिलकर बनाते हैं, जो संख्या और मामले से समन्वित होते हैं। इसके बाद, हम संकेत देते हैं कि फिल्म के नाम की पहचान कैसे करें: यह एक या एक से अधिक शब्द उद्धरण चिह्नों में संलग्न होना चाहिए, पहला शब्द एक बड़े अक्षर से शुरू होता है। फिल्मों की शैली संबद्धता निर्धारित करने के लिए, हम शैलियों के साथ विशेष रूप से तैयार शब्दकोश का उल्लेख करते हैं। शब्दकोष में उस प्रकार के साथ चिह्नित लेख होते हैं जो व्याकरण को संदर्भित करता है। प्रत्येक लेख में एक शीर्षक, कुंजियाँ और एक लेम्मा होता है। एक या एक से अधिक कुंजियाँ यह दर्शाती हैं कि पाठ में एक या दूसरी अवधारणा को कैसे प्रदर्शित किया जा सकता है, जबकि कुंजी में शब्दों के बीच समन्वय के लिए विकल्पों को निर्दिष्ट करना संभव है। दूसरी ओर, लेम्मा, वह रूप है जिसके सामान्यीकरण के दौरान सभी कुंजियाँ कम हो जाएंगी, इसलिए सब कुछ अंतिम तालिका में तथ्यों के साथ प्रदर्शित किया जाएगा।

आप फिल्म के बारे में पाठ के समान विश्लेषण को स्वतंत्र रूप से संचालित करने का प्रयास कर सकते हैं। लिंक द्वारा संग्रह में काम के लिए आवश्यक सभी फाइलें और ऑफ़र के उदाहरण हैं जो हमारे द्वारा संकलित टेम्पलेट्स के लिए उपयुक्त हैं।

अपनी परियोजनाओं में टॉमिता का उपयोग कैसे करें?

Windows, OS X और Linux के लिए बाइनरी पैकेज के रूप में, Tomita पार्सर अब उपलब्ध है, लेकिन अपने स्वयं के व्याकरण और शब्दकोशों का पता लगाना इतना आसान नहीं है। इसलिए, हमने प्रशिक्षण वीडियो की एक श्रृंखला तैयार की है। अगली पोस्ट में, हम इन पाठों के आधार पर टॉमिटा के साथ काम करने के सिंटैक्स और सिद्धांतों का थोड़ा और विस्तृत विवरण देने की कोशिश करेंगे। खैर, सबसे अधीर और लगातार अब वीडियो और प्रलेखन देख सकते हैं।

जीएलआर एल्गोरिदम

Tomita कहाँ उपयोग किया जाता है?

यह सब कैसे व्यवहार में आता है

अपनी परियोजनाओं में टॉमिता का उपयोग कैसे करें?

More articles: