हर किसी के लिए Yandex Tomita parser

Yandex अपने एपीआई कार्यों को विकसित करना जारी रखता है। और यहाँ एक नए पार्सर के रूप में परिणाम है। Tomita parser प्राकृतिक भाषा पाठ से संरचित डेटा (तथ्य) निकालने के लिए एक उपकरण है। तथ्यों को संदर्भ-मुक्त व्याकरण और कीवर्ड शब्दकोशों का उपयोग करके निकाला जाता है। पार्सर आपको अपना व्याकरण लिखने, अपने शब्दकोश जोड़ने और ग्रंथों पर चलाने की अनुमति देता है।

Tomita-parser आपको उपयोगकर्ता द्वारा लिखित पैटर्न (KS-grammars) के अनुसार पाठ से फ़ील्ड में टूटे शब्दों या तथ्यों के पैटर्न का चयन करने की अनुमति देता है। उदाहरण के लिए, आप पतों को हाइलाइट करने के लिए पैटर्न लिख सकते हैं। यहां तथ्य का पता है, और इसके क्षेत्र "शहर का नाम", "सड़क का नाम", "घर का नंबर", आदि हैं। पार्सर में तीन मानक भाषाई प्रोसेसर शामिल हैं: एक टोकनर (वर्ड रैप), एक सेगमेंट (वर्ड रैप) और एक रूपात्मक विश्लेषक (सिस्टम)। पार्सर के मुख्य घटक हैं: एक गजेटियर, केएस व्याकरण का एक सेट, और इन व्याकरणों के प्रकार के कई विवरण जो व्याख्या प्रक्रिया के परिणामस्वरूप उत्पन्न होते हैं।

एक वाक्य और एक व्याकरण पर पार्सर एल्गोरिथ्म

1. गजेटियर से सभी कुंजी की घटनाओं के लिए खोजें। यदि कुंजी में कई शब्द होते हैं (उदाहरण के लिए, "निज़नी नोवगोरोड"), तो एक नया कृत्रिम शब्द बनाया जाता है, जिसे हम "मल्टी-वर्ड" कहते हैं।

2. सभी गजेटियर कुंजियाँ मिलीं, जिनका व्याकरण में उल्लेख किया गया है।

3. चयनित कुंजियों में ऐसे मल्टीवार्डर्स भी हो सकते हैं जो एक-दूसरे के साथ जुड़ते हैं या एकल कीवर्ड शामिल करते हैं। पार्सर वाक्य को असंतुष्ट खोजशब्दों के साथ कवर करने की कोशिश करता है ताकि वाक्य के बड़े हिस्से यथासंभव उनके द्वारा कवर किए जा सकें।

4. शब्दों और बहु-शब्दों की एक रैखिक श्रृंखला GLR पार्सर के लिए इनपुट है। व्याकरण टर्मिनलों को इनपुट शब्दों और बहु-शब्दों में मैप किया जाता है।

5. टर्मिनल सेट के अनुक्रम पर, जीएलआर पार्सर सभी संभावित विकल्पों का निर्माण करता है। निर्मित किए गए सभी विकल्पों में से, प्रस्ताव को यथासंभव व्यापक रूप से कवर करने वाले भी चुने गए हैं।

6. तब पार्सर निर्मित सिंटेक्स ट्री पर व्याख्या प्रक्रिया शुरू करता है। वह विशेष रूप से लेबल किए गए सबनॉड्स का चयन करता है, और उनके अनुरूप शब्द व्याकरण द्वारा उत्पन्न तथ्य क्षेत्रों में लिखे जाते हैं।

क्या कार्य हल किए जा सकते हैं? उदाहरण के लिए, प्रसिद्ध हस्तियों के जन्म की तारीख, जन्म स्थान, शैक्षिक संस्थानों के बारे में संरचित जानकारी प्रदान करना, जिसमें उन्होंने अध्ययन किया, और इसी तरह। शायद, हम कह सकते हैं कि यह एक गंभीर स्तर का पहला पाठ विश्लेषक है, जिसमें वर्ड प्रोसेसिंग और उनके आउटपुट में नई भाषाई लागू समस्याओं को हल करने के लिए नि: शुल्क पहुंच होगी। डेवलपर्स को परिणामी उपकरणों की पूरी शक्ति का एहसास होना बाकी है, लेकिन यह पहले से ही स्पष्ट है कि ये क्षमताएं साइट बनाने की तकनीक में नई जान फूंकेंगी।