टेक्स्ट विश्लेषण के आधार पर टर्म नेटवर्क बनाएं

प्रसिद्ध लेखक दिमित्री लांडे की ओर से (उदाहरण के लिए, "इंटरनेट पर ज्ञान की खोज", इंटरनेट। जटिल नेटवर्क में नेविगेशन: मॉडल और एल्गोरिदम ) मैं उनके आखिरी कार्यों में से एक प्रकाशित करता हूं।

वर्तमान में ज्ञान के कुछ क्षेत्रों में प्रासंगिकता के निर्माण के कार्य प्रासंगिक हैं। जाहिर है, एक बड़े उद्योग ऑन्कोलॉजी का निर्माण एक जटिल समस्या है जिसके लिए उच्च संसाधन लागत की आवश्यकता होती है। किसी भी स्थिति में, सामान्य ऑन्कोलॉजी के निर्माण में एक निश्चित चरण इसी थिसॉरस, शब्दावली ऑन्थोलॉजिस्ट का निर्माण होता है।



इस पत्र में, हम शर्तों के प्राकृतिक पदानुक्रम के नेटवर्क के निर्माण के लिए एक पद्धति का प्रस्ताव करते हैं, जिसे "अर्ध-ऑन्कोलॉजी" के रूप में माना जा सकता है, जो कि संबंधित ऑन्कोलॉजिकल ऑन्कोलॉजी के गठन का आधार है। शब्दों की प्राकृतिक पदानुक्रम का नेटवर्क पाठ के सूचना-महत्वपूर्ण तत्वों, सहायक शब्दों और वाक्यांशों पर आधारित है, जिसकी पहचान के लिए पद्धति [1, 2] में दी गई है। इस तरह के तत्वों का उपयोग सामान्य ऑन्कोलॉजी के आगे के निर्माण के आधार के रूप में ज्ञान के पूरे क्षेत्रों को कवर करने के लिए, खोज चित्र बनाने के लिए संभव बनाता है। शर्तों के प्राकृतिक पदानुक्रम के निर्माण के लिए सहायक शब्दों और वाक्यांशों को उनके गुणों जैसे कि विवेकपूर्ण बल को ध्यान में रखते हुए चुना जाता है। हालांकि, यह संपत्ति अकेले thesauruses और ontologies के निर्माण में अपर्याप्त है। कभी-कभी कम विवेकाधीन शक्ति वाले शब्द, विशेष रूप से, चयनित विषय क्षेत्र के सबसे लगातार शब्द (उदाहरण के लिए, शब्द "सूचना", "पुनर्प्राप्ति", "खोज खोज कोष में खोज") कार्य के तहत विचार के लिए महत्वपूर्ण हैं।

प्राकृतिक शब्द पदानुक्रम (SEIT) के नेटवर्क का गठन संबंधित अभिविन्यास के पाठ कॉर्पस की सामग्री पर आधारित है। इस मामले में शर्तों के पदानुक्रम की "स्वाभाविकता" को एक विश्लेषण के रूप में समझा जाता है, जब एक नेटवर्क बनाते हैं, शब्दार्थ विश्लेषण के विशेष तरीकों से। ऐसे नेटवर्क में सभी कनेक्शन शब्द और वाक्यांशों के प्राकृतिक उपयोग से निर्धारित होते हैं जो सांख्यिकीय रूप से महत्वपूर्ण संस्करणों के पाठ निकायों से निकाले जाते हैं। प्राकृतिक शब्द पदानुक्रमों का एक नेटवर्क, जो पूरी तरह से स्वचालित रूप से बनाया गया है, को पारिभाषिक शब्दावली के आगे स्वचालित गठन के लिए आधार माना जा सकता है।

शर्तों के प्राकृतिक पदानुक्रमों के एक नेटवर्क के गठन के लिए एल्गोरिथ्म, जिसे इस पेपर में माना जाता है, मूल पाठ कोरपस की प्रारंभिक प्रसंस्करण को कवर करने वाले चरणों के अनुक्रम के कार्यान्वयन के लिए प्रदान करता है, परिभाषा और शब्दों की छंटाई, सबसे महत्वपूर्ण की संख्या का चयन (संकुचित क्षैतिज दृश्यता ग्राफ का सबसे बड़ा नोड्स [3]), एसई का निर्माण। इसका प्रदर्शन। इन चरणों पर अधिक विस्तार से विचार करें।

1. पहले चरण में, मूल पाठ निकाय का चयन किया जाता है। इस तरह के कॉर्पस के एक उदाहरण के रूप में, हम 550 प्रविष्टियों की मात्रा के साथ सूचना पुनर्प्राप्ति (रूब्रिक cs.IR) के विषय पर 2007-2010 के लिए इलेक्ट्रॉनिक प्रीप्रिंट मार्क्स arxiv (www.arxiv.org) के एनोटेशन की एक सरणी के नीचे मानते हैं।

इस तरह के टेक्स्ट कॉर्पस के प्री-प्रोसेसिंग में रिकॉर्ड के पाठ भागों का चयन, गैर-पाठ वर्णों का बहिष्करण, और मुद्रांकन शामिल हैं।

2. दूसरे चरण में, पाठ कोष से प्रत्येक अलग-अलग शब्द को अपनी "विवेकाधीन शक्ति" का एक मूल्यांकन सौंपा गया है, अर्थात् TFIDF, जो विहित रूप में मात्रा के पारस्परिक बाइनरी लॉगरिथम द्वारा पाठ के टुकड़े में शब्द की आवृत्ति (टर्म फ्रीक्वेंसी) के उत्पाद के बराबर है। पाठ के टुकड़े जिसमें यह शब्द पाया गया था (उलटा दस्तावेज़ आवृत्ति) [4]।

3-4। जैसा कि पिछले चरण में किया जाता है, केवल दो शब्दों (बड़े अक्षरों) और तीन शब्दों (ट्रिगर्स) के वाक्यांशों के लिए किया जाता है।

5. TFIDF द्वारा शर्तों और उनके वजन मूल्यों के अनुक्रम के लिए, कॉम्पैक्ट क्षैतिज दृश्यता ग्राफ (CHVG) का निर्माण किया जाता है [1, 2] और इस एल्गोरिदम का उपयोग करते हुए शब्द वजन मूल्यों को फिर से निर्धारित किया जाता है। यह प्रक्रिया आपको भविष्य में बड़ी विवेकशील शक्ति के साथ-साथ उच्च आवृत्ति की शर्तों के साथ भी ध्यान में रखने की अनुमति देती है, जो पाठ कॉर्पस के सामान्य विषय के लिए बहुत महत्वपूर्ण हैं। उसके बाद, सभी शब्द संबंधित CHVG नोड्स के परिकलित भार मानों के अवरोही क्रम में क्रमबद्ध किए जाते हैं।

तथाकथित स्टॉप डिक्शनरी के शब्द आगे के विश्लेषण के अधीन नहीं हैं। यह, एक नियम के रूप में, सेवा शब्दों का एक निश्चित सेट है जो ग्रंथों की सामग्री में महत्वपूर्ण भूमिका नहीं निभाता है।

6. विशेषज्ञ विधि का उपयोग करते हुए, आवश्यक एसईआईटी मात्रा (संख्या एन) निर्धारित की जाती है, जिसके बाद सीएचवीजी द्वारा उच्चतम वजन मूल्यों के साथ एकल शब्दों, बिगोग्राम और ट्रिगर्स (कुल एन + एन + एन तत्वों) की संगत संख्या का चयन किया जाता है।

7. पिछले चरण में चुने गए तत्वों से, शर्तों के प्राकृतिक पदानुक्रमों के नेटवर्क का निर्माण किया जाता है, जिसमें शर्तों को स्वयं नोड माना जाता है, और रिश्ते दूसरों में कुछ शर्तों के होने के अनुरूप होते हैं। अंजीर में। 1 एसईआईटी लिंक के निर्माण के सिद्धांत को दर्शाता है। इस चित्रण में व्यक्तिगत ज्यामितीय आकृतियाँ एकल शब्दों के अनुरूप हैं।


अंजीर। 1 - शब्दों के प्राकृतिक पदानुक्रम के तीन-स्तरीय नेटवर्क में लिंक का गठन

पहली पंक्ति एकल शब्दों के चयनित सेट से संबंधित है, दूसरी बड़ी रेखा के सेट से और तीसरी ट्रिगर्स के सेट से। यदि कोई एकल शब्द बिग्राम या ट्रिग्राम में प्रवेश करता है, या बिग्राम ट्रिग्राम में प्रवेश करता है, तो एक कनेक्शन बनता है, जो एक तीर द्वारा इंगित किया जाता है। कई नोड्स, जिनके लिए शब्द पत्राचार करते हैं, और लिंक शब्दों के प्राकृतिक पदानुक्रम का तीन-स्तरीय नेटवर्क बनाते हैं।

8. एसईआईटी गठन के अंतिम चरण में, यह जटिल उपकरणों के विश्लेषण और दृश्य के लिए सॉफ्टवेयर टूल द्वारा प्रदर्शित किया जाता है। डेटाबेस में प्राकृतिक शब्द पदानुक्रम के नेटवर्क को लोड करने के लिए, आम तौर पर स्वीकार किए गए सीएसवी प्रारूप की एक घटना मैट्रिक्स बनाई जाती है।

चुने हुए पाठ कॉर्पस पर विभिन्न आकारों की शर्तों के प्राकृतिक पदानुक्रमों के निर्मित नेटवर्क के लिए, नोड्स के आउटगोइंग डिग्रियों का वितरण निर्धारित किया गया था, जो पावर-लॉ (p (k) = C * k ^ h, अर्थात ये नेटवर्क स्केलेबल हैं। यह पता चला कि विभिन्न आकारों के नेटवर्क के लिए गुणांक h (20 + 20 + 20 से 200 + 200 + 200 तक) 2.1 से 2.3 तक है।

अंजीर में। चित्र 2 में आकार 20 + 20 + 20 की शर्तों के एक प्राकृतिक पदानुक्रम का एक छोटा नेटवर्क दिखाया गया है, जिसे लेखक द्वारा प्रस्तावित विधि के अनुसार एक सर्पिल के रूप में कल्पना की जाती है।


अंजीर। 2 - आकार 20 + 20 + 20 का SEIT दृश्य


अंजीर में। चित्र 3 में आकार 200 + 200 + 200 की शर्तों के प्राकृतिक पदानुक्रम के नेटवर्क का एक सामान्य दृश्य दिखाया गया है, जिसे Gephi प्रणाली (https://gephi.org/) का उपयोग करके कल्पना की गई है।


अंजीर। 3 - Gephi के माध्यम से आकार 200 + 200 + 200 में SEIT का दृश्य

अंजीर में। चित्र 4 उन नियमों के प्राकृतिक पदानुक्रम के अलग-अलग नेटवर्क अंशों को दर्शाता है जो चयनित मूल शब्दों से मेल खाते हैं।


अंजीर। 4 - SEIT के टुकड़े


इस प्रकार, अध्ययन के परिणामों में:

• पाठीय कॉर्पस के विश्लेषण के आधार पर प्राकृतिक शब्द पदानुक्रम के नेटवर्क के निर्माण के लिए एक एल्गोरिथ्म प्रस्तावित है।
• इस एल्गोरिथ्म के आधार पर, एक पाठ पदानुक्रम का उपयोग करके शर्तों की एक प्राकृतिक पदानुक्रम का नेटवर्क बनाया जाता है।
• शर्तों के प्राकृतिक पदानुक्रम के नेटवर्क के गुण, जो आउटगोइंग कनेक्शन के लिए स्केल-फ्री हो गए हैं, की जांच की जाती है।
• प्राकृतिक शब्द पदानुक्रम के नेटवर्क के लिए विज़ुअलाइज़ेशन उपकरण चुने गए थे।
• प्रस्तावित कार्यप्रणाली का उपयोग करते हुए बनाया गया एक भाषा नेटवर्क एक सामान्य ऑन्थोलॉजी के निर्माण के लिए एक आधार के रूप में इस्तेमाल किया जा सकता है (माना जाता है, उदाहरण के लिए, सूचना पुनर्प्राप्ति के विषय पर), व्यवहार में प्रासंगिक विषयों के डेटाबेस में रेडी-टू-यूज़ नेविगेशन टूल के रूप में इस्तेमाल किया जाता है, साथ ही प्रासंगिक आयोजन के लिए भी। सूचना पुनर्प्राप्ति प्रणाली के उपयोगकर्ताओं के लिए संकेत।

साहित्य

1. Lande DV, Snarskii AA, Yagunova EV, Pronoza EV द आर्टिफिशियल इंटेलिजेंस, 2013 के एक पाठ // 12 वीं मैक्सिकन इंटरनेशनल कॉन्फ्रेंस के सूचनात्मक ढांचे को परिभाषित करने वाले शब्दों को पहचानने के लिए क्षैतिज दृश्यता ग्राफ़ का उपयोग। - पी। 209-215।
2. लैंडे डीवी, स्नारस्की एए भाषा नेटवर्क के लिए कॉम्पैक्ट क्षैतिज दृश्यता ग्राफ // Preprint Arxiv (1302.46%)
3. लुके बी।, लैकासा एल।, बैलेस्टरोस एफ।, ल्यूक जे। क्षैतिज दृश्यता रेखांकन: यादृच्छिक समय श्रृंखला के लिए सटीक परिणाम // शारीरिक समीक्षा ई, 2009. - पी। 046103-1 - 046103-11।
4. सैलटन जी, मैकगिल एमजे परिचय आधुनिक सूचना पुनर्प्राप्ति के लिए। - न्यूयॉर्क: मैकग्रा-हिल, 1983 ।-- 448 पी।