संवाद 2012: पाठ भावना विश्लेषण प्रतियोगिता और पार्सर प्रतियोगिता

पिछले साल, हमने कंप्यूटर भाषाविज्ञान "डायलॉग" पर अंतर्राष्ट्रीय सम्मेलन के बारे में कुछ विस्तार से लिखा था, जिसमें से एक मुख्य आयोजक हमारी कंपनी है। इस वर्ष का सम्मेलन इस मायने में उल्लेखनीय था कि इसने दो प्रतियोगिताओं के परिणामों को एक बार स्वचालित पाठ विश्लेषण प्रणालियों के बीच जोड़ दिया। विवरण के लिए, बिल्ली में आपका स्वागत है।



कंप्यूटर भाषा विज्ञान की दुनिया में और, विशेष रूप से, यूरोपीय में, काफी लंबे समय से स्वचालित पाठ विश्लेषण प्रणालियों की तुलना और मूल्यांकन करने का अभ्यास किया गया है, जबकि रूसी विज्ञान ने इस दिशा में केवल पहला कदम उठाया है। इसलिए, डायलॉग 2010 में, रूसी भाषा के स्वचालित रूपात्मक विश्लेषण (सिस्टम जो शब्दों का व्याकरणिक विश्लेषण कर सकते हैं) की प्रणालियों के लिए एक प्रतियोगिता आयोजित की गई थी। पिछले साल, पार्सर्स (पार्सर्स) की एक प्रतियोगिता आयोजित करने का निर्णय लिया गया था, और डायलॉग 2011 ने इसके संचालन के लिए शर्तों पर चर्चा की। प्रतियोगिताओं को 2011 के पतन में आयोजित किया गया था, और इस वर्ष उनके परिणाम डायलॉग पर लिखे गए थे। पार्सर प्रतियोगिता के अलावा, सम्मेलन ने भावना विश्लेषण प्रतियोगिता के परिणामों को संक्षेप में प्रस्तुत किया - जिसके दौरान उन प्रणालियों की तुलना की गई थी जो लेखक के रवैये को वर्णन वस्तु के लिए निर्धारित करना संभव बनाते थे। ऐसी प्रतियोगिताओं को रखने का मूल्य सामान्य मानकों के विकास में निहित है: किसी भी शोधकर्ता को अब कुछ मानकों द्वारा निर्देशित किया जा सकता है और उनके अनुसार अपने स्वयं के विकास का मूल्यांकन किया जा सकता है।

तो, आइए जानें कि किसने और क्यों मुकाबला किया।

पाठ ( सेंटिमेंट एनालिसिस ) की भावना विश्लेषण कंप्यूटर भाषा विज्ञान की विशेष रूप से लागू समस्याओं में से एक है, जो आज बहुत लोकप्रिय है। इसका क्या मतलब है? उदाहरण के लिए, हमारे पास एक फीचर फिल्म के लिए समीक्षाओं का चयन है, और कार्य यह निर्धारित करना है कि ये समीक्षाएँ सकारात्मक हैं या नकारात्मक। पाठ की टोन का आकलन करने के लिए एक स्वचालित प्रणाली का उपयोग करके इस समस्या को हल किया जा सकता है: सिस्टम भाषा के साधनों का विश्लेषण करके समीक्षा की प्रकृति को निर्धारित करता है। यह स्पष्ट है कि आज की रात के विश्लेषण के लिए कार्यों की सूची बहुत बड़ी है: उदाहरण के लिए, कंपनियां यह पता लगा सकती हैं कि ग्राहक अपने नए उत्पाद को कैसे महत्व देते हैं, और कहते हैं, सरकार ब्लॉगों का विश्लेषण करके नए कानून के लिए नागरिकों की प्रतिक्रिया को ट्रैक कर सकती है, आदि।

सूचना पुनर्प्राप्ति विधियों ( ROMIP ) के मूल्यांकन पर रूसी संगोष्ठी के संयोजन में आज रात विश्लेषण प्रतियोगिता आयोजित की गई थी। रोमिप एक गैर-लाभकारी परियोजना है जो यूरोपीय मानकों के अनुसार सूचना खोज विधियों का एक स्वतंत्र मूल्यांकन करने में मदद करती है, लेकिन साथ ही साथ रूसी-भाषा की जानकारी के साथ काम करने पर केंद्रित है। पहली बार रूसी भाषा की सामग्री के आधार पर टॉन्सिलिटी असेसमेंट सिस्टम की तुलना की गई।

प्रारंभ में, प्रतियोगिता में सभी प्रतिभागियों को परीक्षण संग्रह वितरित किए गए थे: imhonet.ru पोर्टल से पुस्तक समीक्षा और फिल्में, साथ ही Yandex.Market से डिजिटल कैमरों की ग्राहक समीक्षा। इन संग्रहों में, प्रतिभागियों ने स्वचालित टॉन्सिलिटी मूल्यांकन के लिए अपने सिस्टम को प्रशिक्षित किया, अर्थात। यह निर्धारित करने की कोशिश की गई कि कौन से भाषा उपकरण समीक्षा की प्रकृति को प्रभावित करते हैं।

ब्लॉग से समीक्षाओं और समीक्षाओं का एक संग्रह स्वयं प्रतियोगिताओं के लिए तैयार किया गया था। प्रतिभागी प्रणालियों ने इन ग्रंथों का तीन पैमानों पर विश्लेषण किया (दो-, तीन- और पाँच-बिंदु), अर्थात्। पहले मामले में, सिस्टम को यह निर्धारित करना था कि क्या याद सकारात्मक या नकारात्मक है, दूसरे में - सकारात्मक, नकारात्मक या तटस्थ और तीसरे में - चाहे वह विशुद्ध रूप से सकारात्मक हो; सकारात्मक, लेकिन नकारात्मक रेटिंग के तत्वों के साथ; तटस्थ; एक सकारात्मक मूल्यांकन के तत्वों के साथ नकारात्मक; पूरी तरह से नकारात्मक। तब विशेषज्ञों द्वारा मैन्युअल रूप से विश्लेषण की शुद्धता का मूल्यांकन किया गया था।

प्रतियोगिता में 12 प्रणालियों ने भाग लिया। सबसे अच्छे परिणाम निकोलस चेतर्किन (MSU कम्प्यूटिंग सेंटर) के नेतृत्व वाली समूह प्रणाली द्वारा दिखाए गए थे। इसके अलावा, प्रतियोगिता के परिणामस्वरूप, ग्रंथों का एक सत्यापित और चिह्नित संग्रह बनाया गया था (ROMIP वेबसाइट पर उपलब्ध), जिसे अन्य डेवलपर्स उपयोग कर सकते हैं। प्रतिभागियों के प्रकाशन डायलॉग वेबसाइट पर उपलब्ध हैं।

पार्सर्स के बीच प्रतिस्पर्धा एक वैज्ञानिक प्रकृति की अधिक थी, क्योंकि स्वचालित पार्सिंग आमतौर पर एक अधिक सामान्य स्वचालित पाठ प्रसंस्करण प्रणाली (उदाहरण के लिए, मशीन अनुवाद सिस्टम या समाचार निगरानी प्रणाली, ब्लॉग, आदि) के टुकड़ों में से एक है। याद रखें कि पाठ के पार्सिंग के दौरान, वाक्य के भीतर शब्दों के अंतर्संबंध स्थापित होते हैं, अर्थात्। कौन सा शब्द किस पर और कैसे निर्भर करता है। (याद रखें, स्कूल में, विषय से तीर की परिभाषा दी गई थी - परिभाषा से, विधेय से - परिस्थिति से, आदि)

इस प्रतियोगिता का उद्देश्य न केवल सिस्टम की गुणवत्ता की तुलना करना था, बल्कि पार्सिंग पाठ के लिए एकल मानक का विकास भी था। तथ्य यह है कि अलग-अलग प्रणालियां अक्सर वाक्यात्मक संरचना का प्रतिनिधित्व करने के लिए विभिन्न सिद्धांतों का उपयोग करती हैं। वर्णित प्रतियोगिता में, हम एक निर्भरता के पेड़ के रूप में विश्लेषण के परिणामों को प्रस्तुत करने के लिए सहमत हुए, लेकिन इस मामले में भी वे एक-दूसरे से बहुत अलग थे, क्योंकि अलग-अलग शब्द अलग-अलग तरीकों से शब्द रूपों के बीच के कनेक्शन की व्याख्या करते हैं (उदाहरण के लिए, कुछ वाक्य रचनाकारों में पूर्वसर्ग संज्ञा को नियंत्रित करता है, दूसरों में, इसके विपरीत)।

यही कारण है कि इस तरह की प्रतियोगिता को आयोजित करना बहुत मुश्किल था, सभी प्रतिभागियों के विभिन्न सिद्धांतों को एक आम भाजक के लिए लाना मुश्किल था। परिणामस्वरूप, एक मानक की तैयारी और विकास जिसके संबंध में प्रतिभागी प्रणालियों का मूल्यांकन किया गया था, काफी लंबा समय लगा।

प्रतियोगिता के लिए आवेदन मास्को, सेंट पीटर्सबर्ग, निज़नी नोवगोरोड, डोनेट्स्क (यूक्रेन) के 11 विकास समूहों से जमा किए गए थे। अंतिम परिणाम 10 फ़ोरम प्रतिभागियों में से 8 से प्राप्त किए गए थे: सिंटॉटम, डिक्टास्कोप सिंटैक्स, सेमसिन, एसटीईपी -3, सिमेंटिक एनलियर ग्रुप के रूसी भाषा के अर्थ-सिमेंटिक विश्लेषक, एओटसॉफ्ट प्रोजेक्ट, एबीबीवाई कंप्रेनो और व्याकरण लिंक के पार्सर।

प्रतियोगिता कैसी चल रही थी? प्रारंभ में, संभावित प्रतिभागियों ने 100 वाक्यों के परीक्षण संग्रह पर अपने सिस्टम का परीक्षण किया, जिसके परिणामस्वरूप यह पता चला कि सिस्टम अलग-अलग तरीकों से पार्सिंग करते हैं। इसके आधार पर, एकीकृत पार्सिंग नियम विकसित किए गए थे, जिन्हें सभी प्रणालियों द्वारा निर्देशित किया जाना चाहिए। तथाकथित "गोल्डन स्टैंडर्ड" भी तैयार किया गया था - ग्रंथों का एक संदर्भ संग्रह, जो इन नियमों के अनुसार, विशेषज्ञों द्वारा मैन्युअल रूप से चिह्नित किया गया था। इसके अलावा, प्रतिभागियों को लेआउट के लिए प्रतिस्पर्धी ग्रंथों की पेशकश की गई थी। प्राप्त सिस्टम प्रतिक्रियाओं की तुलना गोल्ड स्टैंडर्ड के साथ की गई थी। विशेषज्ञों द्वारा मानक का अनुपालन नहीं किया गया: यदि कोई प्रतिभागी अपने सिस्टम के तर्क में यह साबित कर सकता है कि यह उसी प्रकार के कनेक्शन से जुड़ा है जैसा कि गोल्ड स्टैंडर्ड में है, तो ऐसी त्रुटि नहीं गिना गया।

हमारे ABBYY Compreno और ETAP-3 प्रणाली द्वारा सर्वोत्तम परिणाम दिखाए गए (यह कई वर्षों तक A. A. Kharkevich के नाम पर सूचना प्रसारण संस्थान संस्थान में विकसित किया गया है)। एबीबीवाई के लिए, यह परिणाम निश्चित रूप से महत्वपूर्ण है, लेकिन यह भी महत्वपूर्ण है कि मूलभूत भाषाविज्ञान के आधार पर पहले स्थानों पर सिस्टम का कब्जा है। इसका मतलब यह है कि पार्सिंग के क्षेत्र में केवल अनुमानों के सतही, सांख्यिकीय तरीकों को करना असंभव है, और यह कि एबीबीवाई ने कई साल पहले जो रास्ता चुना था वह आशाजनक है।

मॉस्को स्टेट यूनिवर्सिटी के दर्शनशास्त्र संकाय और सैद्धांतिक भाषाविज्ञान विभाग के छात्रों और RSUH के भाषाविज्ञान संस्थान ने प्रतियोगिता की तैयारी और संचालन में मदद की: उनके लिए यह कंप्यूटर भाषा विज्ञान में एक लाइव प्रोजेक्ट में एक उत्कृष्ट अभ्यास था, वे विभिन्न पार्सर्स से परिचित होने में सक्षम थे, अपनी ताकत और कमजोरियों को देखते थे। घ।

पार्सर प्रतियोगिता के परिणामस्वरूप, मैन्युअल रूप से चिह्नित और सत्यापित ग्रंथों का एक निकाय प्राप्त किया गया था, जिसका उपयोग अनुसंधान उद्देश्यों के लिए किया जा सकता है (यह वेबसाइट testynt.soiza.com पर स्वतंत्र रूप से उपलब्ध है)। आप यहां प्रतियोगियों के काम से परिचित हो सकते हैं ।

तात्याना पानफ्योरोवा
संवाद समिति की आयोजन समिति के सहयोग से