प्वाइंट टू प्वाइंट आपसी सूचना निगरानी प्रणाली

नमस्ते
यदि आप DataMining में लगे हुए हैं, तो राय की पहचान करने के लिए ग्रंथों का विश्लेषण या आप वाक्यों के भावनात्मक रंग के आकलन के लिए सांख्यिकीय मॉडल में रुचि रखते हैं - यह लेख दिलचस्प हो सकता है।
इसके अलावा, सिद्धांत और तर्क के ढेर पर व्यर्थ में संभावित पाठक के समय को बर्बाद न करने के लिए, तुरंत संक्षिप्त परिणाम।
लागू दृष्टिकोण तीन वर्गों में लगभग 55% सटीकता के साथ काम करता है: नकारात्मक, तटस्थ, सकारात्मक। विकिपीडिया के अनुसार, 70% सटीकता औसतन मानव निर्णय की सटीकता के बराबर है (प्रत्येक व्याख्या की विषय-वस्तु के कारण)।
यह ध्यान दिया जाना चाहिए कि मेरे द्वारा प्राप्त की तुलना में अधिक सटीकता के साथ कई उपयोगिताओं हैं, लेकिन वर्णित दृष्टिकोण में काफी सरलता से सुधार किया जा सकता है (यह नीचे वर्णित किया जाएगा) और परिणाम 65-70% के रूप में प्राप्त करें। यदि उपरोक्त सभी के बाद भी आपको पढ़ने की इच्छा है, तो बिल्ली का स्वागत करें।

सिद्धांत का सारांश

एक वाक्य (एसओ - भावना अभिविन्यास) के भावनात्मक रंग को निर्धारित करने के लिए, आपको यह समझने की आवश्यकता है कि यह सब क्या है। यह तार्किक है। लेकिन कार को कैसे समझाया जाए कि क्या अच्छा है और क्या बुरा?
पहला विकल्प जो तुरंत मन पर प्रकट होता है वह प्रत्येक के वजन से गुणा किए गए बुरे / अच्छे शब्दों की संख्या का योग है। तथाकथित "शब्दों का बैग" दृष्टिकोण। आश्चर्यजनक रूप से सरल और तेज़ एल्गोरिदम, नियम- आधारित प्रीप्रोसेसिंग के साथ संयुक्त है जो अच्छे परिणाम देता है ( केस के आधार पर 60 - 80% सटीकता तक)। संक्षेप में, यह दृष्टिकोण एक यूनीग्राम मॉडल का एक उदाहरण है, जिसका अर्थ है कि सबसे भोली स्थिति में, वाक्य "यह उत्पाद बुरा होने के बजाय अच्छा है" और "यह उत्पाद अच्छा के बजाय बुरा है" उसी SO होगा। इस समस्या को यूनीग्राम से बहुराष्ट्रीय मॉडल में ले जाकर हल किया जा सकता है। यह भी ध्यान दिया जाना चाहिए कि खराब और अच्छे शब्दों + उनके वजन के साथ एक ठोस लगातार अद्यतन शब्दकोश होना आवश्यक है, जो डेटा के आधार पर विशिष्ट हो सकता है।

सरलतम बहुराष्ट्रीय मॉडल का एक उदाहरण है भोला बेयस विधि । इस पर समर्पित कई लेख हैं, विशेष रूप से यह एक ।
यूनीग्राम मॉडल पर बहुराष्ट्रीय मॉडल का लाभ यह है कि हम उस संदर्भ को ध्यान में रख सकते हैं जिसमें एक बयान दिया गया था। यह ऊपर वर्णित वाक्यों के साथ समस्या को हल करता है, लेकिन एक नए प्रतिबंध का परिचय देता है: यदि चयनित n-gram प्रशिक्षण सेट में नहीं है, तो परीक्षण डेटा पर SO 0. होगा। यह समस्या हमेशा रही है और रहेगी। इसे 2 तरीकों से हल किया जा सकता है: प्रशिक्षण के नमूने की मात्रा बढ़ाकर (यह न भूलें कि आप रास्ते में फिर से असर करने के प्रभाव को पकड़ सकते हैं), या चौरसाई का उपयोग करके (उदाहरण के लिए, लाप्लास या गुड-ट्यूरिंग)।

अंत में, हमने सुचारू रूप से पीएमआई के विचार पर संपर्क किया।
बेयस सूत्र के साथ अवधारणा पेश करें

पीएमआई - बिंदुवार आपसी जानकारी।
उपर्युक्त सूत्र में, ए और बी शब्द हैं / बीग्राम / एन-ग्राम, पी (ए), पी (बी) क्रमशः ए और बी शब्द की उपस्थिति की एक प्राथमिक संभावनाएं हैं, प्रशिक्षण सेट में (कॉर्पस में शब्दों की कुल संख्या के होने की संख्या का अनुपात), पी। (ए पास बी) - शब्द ए की संभावना एक साथ बैठक / शब्द बी के बगल में; "निकटवर्ती" को मैन्युअल रूप से कॉन्फ़िगर किया जा सकता है, डिफ़ॉल्ट रूप से, दूरी 10 शब्द बाएं और दाएं है; लघुगणक का आधार एक भूमिका नहीं निभाता है, सादगी के लिए हम इसे 2 के बराबर लेते हैं।
लघुगणक के एक सकारात्मक संकेत का मतलब बी, नकारात्मक - नकारात्मक की तुलना में सकारात्मक रंग ए होगा।
तटस्थ समीक्षाओं को खोजने के लिए, आप किसी प्रकार की स्लाइडिंग विंडो ले सकते हैं (इस पत्र में, खंड [-0.154, 0.154] इसके लिए जिम्मेदार है)। डेटा के आधार पर विंडो स्थिर या फ्लोटिंग हो सकती है (नीचे दिखाया गया है)।
ऊपर से, हम निम्नलिखित कथनों पर आ सकते हैं:

वास्तव में, यह निर्धारित करने के लिए कि कौन सा वर्ग "अच्छे मौसम", "फास्ट राइड" से संबंधित है, यह प्रशिक्षण के नमूने में जांचने के लिए पर्याप्त है कि "अच्छा मौसम" और "फास्ट राइड" कितनी बार जानबूझकर (डेटा मॉडल और परीक्षण नमूने के आधार पर किसी व्यक्ति द्वारा स्थापित) के बगल में होता है। ) अच्छे और बुरे शब्द और फर्क करना।
आइए नकारात्मक और सकारात्मक पक्षों से 1 समर्थन शब्द के साथ तुलना करने के बजाय थोड़ा आगे बढ़ें, हम स्पष्ट रूप से अच्छे और बुरे शब्दों के एक सेट का उपयोग करेंगे (यहां, उदाहरण के लिए, निम्नलिखित शब्दों का उपयोग किया गया था:
सकारात्मक: अच्छा, अच्छा, उत्कृष्ट, सही, सही, सुपर
नकारात्मक : बुरा, बुरा, गरीब, भयानक, गलत, भयानक
तदनुसार, अंतिम सूत्र


तो, एसओ की गणना से पता चला, लेकिन सही उम्मीदवारों का चयन कैसे करें?
उदाहरण के लिए, हमारे पास एक प्रस्ताव है "आज एक अद्भुत सुबह है, झील पर जाना अच्छा होगा"।
यह मानना ​​तर्कसंगत है कि वाक्य का भावनात्मक रंग अधिकतर विशेषणों और क्रियाविशेषणों द्वारा जोड़ा जाता है। इसलिए, इसका लाभ उठाने के लिए, हम एक परिमित राज्य मशीन का निर्माण करते हैं, जो कि भाषण के कुछ हिस्सों के दिए गए पैटर्न के अनुसार, एसओ के मूल्यांकन के लिए उम्मीदवारों के प्रस्ताव से चुना जाता है। यह अनुमान लगाना मुश्किल नहीं है कि प्रस्तावों को एक सकारात्मक समीक्षा माना जाएगा यदि सभी उम्मीदवारों का कुल SO> 0.154 है
इस कार्य में निम्नलिखित पैटर्न का उपयोग किया गया था:

इस मामले में, उम्मीदवार होंगे:
1. अद्भुत सुबह
2. अच्छी सवारी

यह केवल सब कुछ एक साथ रखने और परीक्षण करने के लिए बनी हुई है।

कार्यान्वयन

यहां आपको जावा स्रोत मिलेंगे। वहां बहुत कम सुंदरता है - यह सिर्फ कोशिश करने और तय करने के लिए लिखा गया था कि क्या इसका आगे उपयोग किया जाएगा
केस: अमेज़न उत्पाद समीक्षा डेटा (> 5.8 मिलियन समीक्षाएं) liu2.cs.uic.edu/data
इस मामले पर एक उल्टा सूचकांक ल्यूसीन की मदद से बनाया गया था, जिसके द्वारा खोज की गई थी।
सूचकांक में डेटा की अनुपस्थिति में, Google खोज इंजन (एपीआई) और याहू! (क्रमशः उनके ऑपरेटर के आसपास और पास में)। लेकिन, दुर्भाग्य से, काम की गति और परिणामों की अशुद्धि के कारण (उच्च आवृत्ति वाले प्रश्नों के लिए, खोज इंजन परिणामों की संख्या का अनुमानित मूल्य देते हैं), समाधान सही नहीं है।
ओपनएनएलपी पुस्तकालय का उपयोग भाषण और टोकन के कुछ हिस्सों की पहचान करने के लिए किया गया था ।

कौन सा बेहतर है?

पूर्वगामी के आधार पर, सबसे पसंदीदा सुधार वैक्टर हैं:
1. उम्मीदवारों को छानने के लिए भाषण के कुछ हिस्सों को पार्स करने के लिए एक अधिक पूर्ण पेड़ का निर्माण
2. प्रशिक्षण नमूने के रूप में एक बड़े शरीर का उपयोग करना
3. यदि संभव हो, परीक्षण नमूने के रूप में एक ही सोशलमीडिया से प्रशिक्षण वाहिनी का उपयोग करें
4. डेटा स्रोत और विषय के आधार पर समर्थन शब्दों (अच्छा | बुरा) का गठन
5. पार्सिंग ट्री में नकार को एंबेड करना
6. कटाक्ष की परिभाषा

निष्कर्ष

सामान्य तौर पर, एक पीएमआई-आधारित प्रणाली "शब्दों के बैग" सिद्धांत पर आधारित प्रणालियों के साथ प्रतिस्पर्धा कर सकती है, लेकिन एक आदर्श कार्यान्वयन में इन दोनों प्रणालियों को एक दूसरे का पूरक होना चाहिए: प्रशिक्षण सेट में डेटा की अनुपस्थिति में, एक विशिष्ट शब्द गणना प्रणाली को खेलना चाहिए।

प्रयुक्त साहित्य:

1. सूचना पुनर्प्राप्ति का परिचय। सी। मैनिंग, पी। राघवन, एच। शुत्ज़े
2. सांख्यिकीय प्राकृतिक भाषा प्रसंस्करण की नींव। सी। मैनिंग, एच। शुतज़े
3. अंगूठे ऊपर या अंगूठे नीचे? समीक्षा के गैर-वर्गीकृत वर्गीकरण के लिए एप्लाइड ओरिएंटेशन। पीटर डी। टर्नर