यांडेक्स में ग्रंथों से वस्तुओं और तथ्यों को निकालना। लघु शाद के लिए व्याख्यान

रिपोर्ट इस बारे में बात करती है कि हम कैसे ग्रंथों और प्रश्नों से संस्थाओं (उदाहरण के लिए, लोगों के नाम और भौगोलिक नाम) को निकालते हैं। और तथ्यों को निकालने के बारे में भी, अर्थात्। वस्तुओं के बीच संबंध। हम इन समस्याओं को हल करने के लिए कई दृष्टिकोणों पर विचार करेंगे: नियम तैयार करना, विभिन्न वस्तुओं के शब्दकोश संकलित करना, मशीन सीखना।

व्याख्यान हाई स्कूल के छात्रों के लिए डिज़ाइन किया गया है - लघु शाद के छात्र, लेकिन वयस्क इसे कुछ अंतराल में भरने के लिए उपयोग कर सकते हैं।

http://video.yandex.ru/users/e1coyot/view/4/

ग्रंथों से वस्तुओं और तथ्यों को निकालना एनएलपी (प्राकृतिक भाषा प्रसंस्करण) का हिस्सा है। अंतिम लक्ष्य सामान्य मानव पाठ को पूरी तरह से समझने के लिए मशीन को सिखाना है। और हमने इस लक्ष्य के लिए आंदोलन शुरू किया है।
आज, एनएलपी को कई उद्देश्यों के लिए सफलतापूर्वक लागू किया गया है:

• पाठ खोज
• तथ्य निकालें
• संवाद प्रणाली और प्रश्न का उत्तर देना
• भाषण संश्लेषण और मान्यता
• समीक्षाओं के लहजे का आकलन
• ग्रंथों का क्लस्टरिंग और वर्गीकरण।

असंरचित पाठ से संरचित जानकारी निकालने को पाठ खनन कहा जाता है। इस प्रक्रिया का मुख्य भाग वस्तुओं की परिभाषा, उनके संबंधों और परीक्षणों में गुणों के लिए समर्पित है। पाठ खनन को कई प्रमुख कार्यों में विभाजित किया जा सकता है:

• नामित इकाई मान्यता (एनईआर) - नामित संस्थाओं / वस्तुओं का निष्कर्षण;
• सह-संदर्भ संकल्प - मूल संकल्प;
• सूचना निष्कर्षण (IE) - तथ्य निष्कर्षण।

तो, शुरुआत के लिए, आइए पाठ में नामित संस्थाओं को चिह्नित करें। उदाहरण में, कंपनी के नाम लाल रंग में और लोगों को हरे रंग में हाइलाइट किया गया है। यह चयन एल्गोरिथ्म के वांछित व्यवहार से मेल खाता है। तब आप मूल के संकल्प के लिए आगे बढ़ सकते हैं।



एक कॉन्फ्रेंस कॉल पाठ के कई अलग-अलग संदर्भों को एक वास्तविक वस्तु से जोड़ने का एक प्रयास है।



विशेषण का उपयोग करते हुए किसी वस्तु का संदर्भ - अनादर का एक उदाहरण है। हमारे मामले में, ये सर्वनाम हैं।

कोरेंशन का दूसरा उदाहरण पर्यायवाची है। इसे विभिन्न तरीकों से व्यक्त किया जा सकता है:

• लिप्यंतरण: यांडेक्स - यैंडेक्स।
• संक्षिप्त विवरण: VTB - Vneshtorgbank - विदेशी व्यापार के लिए बैंक।
• समानार्थी: अस्पताल - अस्पताल।
• शब्द गठन: मास्को - मास्को।
• ग्राफिक: ऑटो ऋण - कार ऋण।

वास्तविक तथ्यों से बंधे हुए अनावश्यक तथ्यों और संस्थाओं को निकालने से बचने के लिए पाठ का विश्लेषण करते समय, इसे ध्यान में रखा जाना चाहिए।
तथ्यों को एक तालिका में पंक्तियों के रूप में दर्शाया जा सकता है जिनके कॉलम में ऑब्जेक्ट और उनके बीच संबंध हैं। तथ्य-खोज प्रक्रिया का परिणाम कुछ इस तरह दिखता है:



हम आमतौर पर IE का उपयोग निम्न प्रकार की वस्तुओं को निकालने के लिए करते हैं: दिनांक, पते, फोन नंबर, पूरा नाम, माल, कंपनियों के नाम आदि। उपयोगी तथ्य अक्सर घटनाओं, राय और समीक्षा, संपर्क विवरण और घोषणाएं होती हैं।

प्राथमिक पाठ प्रसंस्करण

इसलिए, प्रवेश द्वार पर हमारे पास एक प्राकृतिक भाषा में एक पाठ है। सभी भाषाई स्तरों पर एक बार में इसका विश्लेषण करना आवश्यक है:

• grafematicheskom।
• शब्द-भांडार का
• आकृति विज्ञान
• वाक्य रचना
• शब्दार्थ

पाठ पैराग्राफ, वाक्यों, शब्दों में विभाजित है। तब शब्द सामान्य होते हैं - उनका प्रारंभिक रूप हाइलाइट किया जाता है। अगला, पूर्ण या आंशिक पार्सिंग किया जाता है, वाक्य में शब्दों के बीच निर्भरता और संबंध निर्धारित किए जाते हैं।

पहली नज़र में ऐसा लगता है कि वाक्यों में पाठ को तोड़ना मुश्किल नहीं है। आपको बस वाक्य के अंत को चिह्नित करने वाले विराम चिह्नों पर ध्यान देने की आवश्यकता है। लेकिन यह विधि हमेशा काम नहीं करती है। वास्तव में, उदाहरण के लिए, एक बिंदी भी एक संक्षिप्त नाम निरूपित कर सकती है, जिसका उपयोग आंशिक संख्याओं या URL में किया जाता है। किसी भी विराम चिह्न का उपयोग कंपनी या सेवा नामों में किया जा सकता है। उदाहरण के लिए, याहू! या Yandex.Market।

प्रारंभिक रूप के चयन के साथ भी इतना सरल नहीं है। बेशक, ज्यादातर मामलों में यह एक रूपात्मक शब्दकोश का उपयोग करके प्राप्त किया जा सकता है। लेकिन यह हमेशा लागू होने से दूर है। उदाहरण के लिए, "ग्लास" शब्द के शब्दकोष का निर्धारण कैसे करें? यह संज्ञा या क्रिया हो सकती है। और रूपात्मक शब्दकोश की ओर मुड़ने से पहले, आपको होमोसेक्सुअलिटी को हटाने की आवश्यकता है। यह भाषा के एक कोष की मदद से हल किया जाता है जिसमें सभी शब्दों को भाषण के कुछ हिस्सों में चिह्नित किया जाता है, और होमोसेक्सुअल को हटा दिया जाता है। इस प्रकार, कॉर्पस में शब्द के उपयोग के संदर्भ और आंकड़ों के आधार पर, यह तय करना संभव है कि यह या उस शब्द का कौन सा भाग किस संदर्भ को संदर्भित करता है।

अगला चरण पूर्ण या आंशिक पार्सिंग है। एक वाक्य के भीतर शब्दों के बीच निर्भरता और संबंधों का एक ग्राफ बनाया गया है। यहाँ एक वाक्यविन्यास वृक्ष का उदाहरण दिया गया है जिसे पार्सर का उपयोग करके बनाया जा सकता है:



एल्गोरिदम जो किसी भी परिस्थिति में त्रुटियों के बिना एक पूर्ण सिंटैक्स ग्राफ़ का निर्माण कर सकते हैं। हालाँकि, अधिकांश पाठ खनन अनुप्रयोगों के लिए, आंशिक विश्लेषण पर्याप्त है।
रूपात्मक गृहवाद के अलावा, जिसके बारे में हमने ऊपर बात की थी, उसमें वाक्य-विन्यास और "वस्तु" नाम भी है। वाक्यविन्यास समरूपता के एक उदाहरण के रूप में, हम एक उदाहरण देते हैं: "उसने उन्हें अपनी आँखों से देखा।" दोनों पढ़ने के विकल्प वाक्यविन्यास रूप से सही होंगे: किसी ने किसी के परिवार को अपनी आंखों से देखा, या किसी ने सात-आंखों वाले किसी व्यक्ति को देखा। इस समस्या को हल करने के लिए, पहले से ही अर्थ विश्लेषण को शामिल करना आवश्यक है।

"ऑब्जेक्टिव" एकांत का तात्पर्य है कि दो भिन्न वास्तविक वस्तुओं का एक ही नाम हो सकता है। उदाहरण के लिए, रूस में मिखाइल ज़ादोर्नोव नाम के दो प्रसिद्ध लोग हैं: एक कॉमेडियन और एक पूर्व वित्त मंत्री। यदि आप इन लोगों के बीच अंतर करने के लिए प्रणाली को नहीं सिखाते हैं, तो उनके बारे में तथ्य निकालने की कोशिश करने पर, कई तरह की घटनाएं उत्पन्न हो सकती हैं।

तथ्य निकालें

जब ये सभी चरण पूरे हो जाएंगे, तो आप तथ्यों को निकालने के लिए सीधे आगे बढ़ सकते हैं। विशेष एल्गोरिदम का उपयोग करना, हम एक असंरचित मार्ग से एक पाठ प्राप्त करना चाहते हैं जिसमें हमारे द्वारा आवश्यक सभी वस्तुओं और तथ्यों को चिह्नित और वर्गीकृत किया जाएगा। आप इसकी कल्पना इस प्रकार कर सकते हैं:



परंपरागत रूप से, तथ्यों को निकालने में उपयोग किए जाने वाले तीन मुख्य दृष्टिकोण हैं:

• ontologies की;
• नियमों के आधार पर (नियम-आधारित);
• मशीन लर्निंग (एमएल) पर आधारित है।

हमारे मामले में, ऑन्कोलॉजी "वैचारिक शब्दकोश" हैं, जो संरचनाएं हैं जो कुछ अवधारणाओं और / या वस्तुओं, उनके बीच के संबंधों, साथ ही साथ उनकी विशेषताओं का वर्णन करती हैं।



ओटिटोलॉजी सार्वभौमिक हो सकती है (वे वस्तुओं के व्यापक संभव सेट का वर्णन करने का प्रयास करते हैं), उद्योग (विषय क्षेत्रों की जानकारी के साथ), और अत्यधिक विशिष्ट (एक विशिष्ट समस्या को हल करने के लिए डिज़ाइन किया गया)। वस्तुओं (ज्ञान के आधारों) की ओटोलोजी भी लागू की जा सकती है। ज्ञान आधार का सबसे महत्वपूर्ण उदाहरण विकिपीडिया है।
इसलिए, हमारे पास एक निश्चित ऑन्कोलॉजी है। वस्तुओं के संदर्भों और मौजूदा सूचियों के आधार पर, पाठ में वस्तुओं और तथ्यों के संबंध में परिकल्पना का निर्माण किया जा सकता है, और फिर इन परिकल्पनाओं को सत्यापित या अस्वीकार किया जा सकता है। बाईं ओर एक पाठ है जिसमें वस्तुओं को रंग में चिह्नित किया गया है जिसके बारे में मैं कुछ जानकारी निकालना चाहूंगा। ऑन्कोलॉजी के रूप में, विकिपीडिया लागू है। हमारे पाठ से सभी खोजशब्दों के लिए अनुरोध भेजने से, हमें दाईं ओर स्थित लेखों की एक सूची मिल जाएगी। इसमें लाल रंग एक साथ कई वस्तुओं से संबंधित लेख हैं।



अब हमारा लक्ष्य झूठी परिकल्पनाओं को काट देना है। ऐसा करने के कई तरीके हैं। सबसे अधिक उपयोग किया जाता है मशीन लर्निंग, विभिन्न संदर्भ और वाक्यविन्यास कारक।
ऑन्कोलॉजी का उपयोग करके जानकारी निकालने से आप एनईआर की काफी उच्च सटीकता और यादृच्छिक प्रतिक्रियाओं की अनुपस्थिति प्राप्त कर सकते हैं। उच्च सटीकता के साथ होमोसेक्सुअलिटी को हटाना भी होता है। इस दृष्टिकोण के नुकसान कम पूर्णता हैं, क्योंकि आप केवल वही निकाल सकते हैं जो पहले से ही ऑन्कोलॉजी में है। और ऑन्कोलॉजी में, आपको या तो वस्तुओं को हाथ से जोड़ने की ज़रूरत है, या स्वचालित जोड़ के लिए एक प्रक्रिया का निर्माण करना होगा।

एक और दृष्टिकोण - मशीन लर्निंग - के लिए बहुत सारे इनपुट की आवश्यकता होती है। जितना संभव हो, भाषाई जानकारी के साथ ग्रंथों के प्रशिक्षण नमूने को कवर करना आवश्यक है: सभी आकृति विज्ञान, वाक्यविन्यास, शब्दार्थ, ऑन्कोलॉजिकल कनेक्शन को चिह्नित करें। इस दृष्टिकोण के फायदे यह हैं कि इसे लेबल किए गए मामले को बनाने के अलावा मैनुअल श्रम की आवश्यकता नहीं होती है। नियम या ऑंटोलोजी बनाने की आवश्यकता नहीं है। यदि आवश्यक हो, तो ऐसी प्रणाली को आसानी से पुन: व्यवस्थित और पुनः संयमित किया जाता है। नियम अधिक सारगर्भित हैं। हालांकि, इसके नुकसान भी हैं। रूसी भाषा के ग्रंथों के स्वचालित मार्कअप के लिए उपकरण अभी तक बहुत विकसित नहीं हैं, और मौजूदा हमेशा आसानी से सुलभ नहीं होते हैं। बाड़ों को पर्याप्त रूप से चमकदार, सही ढंग से, समान रूप से और पूरी तरह से चिह्नित किया जाना चाहिए। और यह एक श्रमसाध्य प्रक्रिया है। इसके अलावा, अगर कुछ गलत हुआ है, तो यह ठीक से ट्रैक करना मुश्किल है कि त्रुटि कहां हुई और इसे बिंदुवार सही किया।

तीसरा दृष्टिकोण एक नियम-आधारित दृष्टिकोण है, अर्थात्। लेखन पैटर्न मैन्युअल रूप से। विश्लेषक उन सूचनाओं के प्रकारों का वर्णन करता है जिन्हें निकालने की आवश्यकता होती है। दृष्टिकोण इस में सुविधाजनक है कि यदि विश्लेषण के परिणामों में त्रुटियां पाई जाती हैं, तो उनके कारण का पता लगाना और नियमों में आवश्यक बदलाव करना बहुत सरल है। अपेक्षाकृत मानकीकृत वस्तुओं के लिए नियम बनाने का सबसे आसान तरीका: नाम, दिनांक, कंपनी के नाम, आदि।

इष्टतम दृष्टिकोण का विकल्प विशिष्ट कार्य द्वारा निर्धारित किया जाता है। अब ऑन्कोलॉजी और मशीन लर्निंग का सबसे अधिक उपयोग किया जाता है, हालांकि, भविष्य हाइब्रिड सिस्टम के साथ निहित है।
यांडेक्स में, एनईआर का उपयोग मेल में तथ्यों को निकालने के लिए किया जाता है, भौगोलिक वस्तुओं के नाम और प्रश्नों से नाम, रिक्तियों में तथ्य, साथ ही साथ क्लस्टरिंग और वर्गीकृत समाचारों के लिए।