संवाद रूस में कंप्यूटर भाषा विज्ञान के मानकों को निर्धारित करता है

जैसा कि आप जानते हैं, ABBYY ऐसे प्रोग्राम बनाता है जो किसी न किसी तरह से भाषा प्रसंस्करण से संबंधित होते हैं: ABBYY Lingvo एक भाषा से दूसरी भाषा में शब्दों का अनुवाद करता है, ABBYY FineReader प्रिंट से इलेक्ट्रॉनिक में ग्रंथों को परिवर्तित करता है, ABBYY Compreno (हमने यहां इसके बारे में लिखा है ) अलग-अलग में अनुवाद करेंगे । भाषाएँ पूरे ग्रंथ। इस प्रकार के कार्यक्रमों को "उच्च तकनीक" कहा जाता है क्योंकि वे गंभीर वैज्ञानिक अनुसंधान के परिणामों पर आधारित हैं। और हमारे मामले में - कृत्रिम बुद्धि, पैटर्न मान्यता और कंप्यूटर भाषा विज्ञान के क्षेत्र से परिणामों पर। इस पोस्ट में कंप्यूटर भाषा विज्ञान पर चर्चा की जाएगी।

हम इस विज्ञान के विकास में बहुत रुचि रखते हैं, इसलिए हम कंपनी के भीतर शोध तक ही सीमित नहीं हैं, लेकिन लगातार एक साल से हम इस विषय पर एक वैज्ञानिक सम्मेलन आयोजित कर रहे हैं - "संवाद" । चूंकि कंप्यूटर भाषाविज्ञान ज्ञान का एक विशिष्ट क्षेत्र है, भाषाविदों को "संवाद" के बारे में बहुत कुछ पता है और बाकी सभी को बहुत कम पता है। कटौती के तहत, हम आपको इसके बारे में अधिक बताएंगे।

संवाद रूस में कंप्यूटर भाषाविज्ञान पर सबसे बड़ा सम्मेलन है। संवाद - क्योंकि यहां सैद्धांतिक भाषाविज्ञान के विभिन्न क्षेत्रों के विशेषज्ञ और भाषाई प्रौद्योगिकियों के डेवलपर्स मिलते हैं और अनुभव का आदान-प्रदान करते हैं, जैसे, उदाहरण के लिए, ग्रंथों से ज्ञान निकालना, भाषण को पहचानना और संश्लेषित करना, या मशीन अनुवाद। यह सम्मेलन लगभग 35 वर्षों के लिए (अल्प विराम के साथ) आयोजित किया गया है, और पिछले दस वर्षों से एबीबीवाई इसका मुख्य आयोजक है। यह सिर्फ इतना हुआ कि संवाद के मुख्य विचार प्राकृतिक भाषा प्रसंस्करण के क्षेत्र में उन पदों के साथ मेल खाते हैं जो हमारी कंपनी ने हमेशा इस बात का पालन किया है: कि कंप्यूटर भाषा विज्ञान का भविष्य आधुनिक इंजीनियरिंग और गणितीय तरीकों और पूर्ण विकसित भाषा विज्ञान के संयोजन में निहित है।

अब, कंप्यूटर भाषाविज्ञान पर कई विदेशी सम्मेलनों में विशुद्ध रूप से सांख्यिकीय विधियों के प्रति एक मजबूत "पूर्वाग्रह" है, और "संवाद" इस विचार को आगे बढ़ाने की कोशिश कर रहा है कि प्राकृतिक भाषा के पूर्ण-विकसित मॉडल के साथ "ओवरलैप" होने पर सांख्यिकीय प्रशिक्षण और भी प्रभावी है। और यहाँ इंजीनियर भाषाविदों की भागीदारी के बिना नहीं कर सकते। संवाद की एक और विशिष्ट विशेषता रूसी भाषा पर इसका विशेष ध्यान है। अन्य देशों में आयोजित सम्मेलनों के लिए, स्पष्ट कारणों के लिए, वे व्यावहारिक रूप से रूसी भाषा का अध्ययन नहीं करते हैं, और संवाद में, कंप्यूटर भाषाविज्ञान के आधुनिक तरीके लागू होते हैं, सबसे पहले, इसके लिए।

हमें "संवाद" की आवश्यकता क्यों है? गुणात्मक रूप से और मात्रात्मक रूप से रूसी कंप्यूटर भाषाविज्ञान पश्चिम में अभी भी काफी पीछे है। हमारे पास इस क्षेत्र में बहुत कम विशेषज्ञ और कंपनियां हैं, उदाहरण के लिए, जर्मनी में। औसतन, हम सैद्धांतिक रूप से और व्यवस्थित रूप से, विश्व मुख्यधारा से कुछ हद तक तलाकशुदा हैं। संवाद का उद्देश्य न केवल इस अंतर को दूर करने में मदद करना है, बल्कि उन व्यक्तिगत क्षेत्रों पर भी ध्यान आकर्षित करना है जिनमें रूसी कंप्यूटर भाषाविज्ञान काफी प्रतिस्पर्धी है। सम्मेलन सबसे प्रासंगिक और दिलचस्प मुद्दों पर चर्चा करता है। ऐसा करने के लिए, हम विश्व-प्रसिद्ध शोधकर्ताओं को आमंत्रित करते हैं, और वे अपनी परियोजनाओं के बारे में बात करते हैं, सबसे अधिक प्रासंगिक कार्य अनुभव साझा करते हैं।

इस साल, फोकस कॉरपस भाषाविज्ञान पर था। मामले ग्रंथों के बड़े सरणियों हैं जिनका उपयोग भाषाई विश्लेषण के लिए किया जाता है। हम कह सकते हैं कि आधुनिक सैद्धांतिक और कंप्यूटर भाषा विज्ञान में लगभग सभी परिणाम मामलों का उपयोग करके प्राप्त किए जाते हैं। मशीन अनुवाद प्रणाली और अन्य स्वचालित विश्लेषण प्रणाली उन पर प्रशिक्षित हैं, आधुनिक शब्दकोशों मामलों से उदाहरणों पर आधारित हैं, मामले के आंकड़ों पर भाषा सिद्धांतों की जांच की जाती है।

वे मामलों के साथ कैसे काम करते हैं? हम एक उदाहरण देते हैं। हमारी कंपनी रूसी भाषा में क्षेत्रीय अंतर के लिए समर्पित परियोजना के सर्जकों में से एक है - "रूसी शहरों की भाषाएं" । परियोजना के प्रतिभागियों ने रूस और पड़ोसी देशों के विभिन्न शहरों में समान वस्तुओं और अवधारणाओं के नामों में अंतर के बारे में जानकारी एकत्र की। अधिकांश पाठकों ने अंकुश और अंकुश के बारे में सुना है, लेकिन मील का पत्थर, ट्रेम्पेल या मल्टीफोर शब्द का क्या अर्थ है? हजारों शब्द जो केवल रूस के कुछ क्षेत्रों में उपयोग किए जाते हैं, वे आधुनिक रूसी भाषा के वाहकों की सहायता से वास्तव में कैसे खोजे और सत्यापित किए जाते हैं। बेशक, कोर का उपयोग किया गया था जिसमें भाषाई भूगोल पर डेटा होता है (उदाहरण के लिए, स्थानीय मीडिया या ब्लॉग्स के ग्रंथों से बने कोर जिनके प्रतिभागी अपने निवास स्थान की रिपोर्ट करते हैं)।

इसलिए, आज लगभग सभी भाषाई अनुसंधान कॉर्पस डेटा के उपयोग के साथ आयोजित किए जाते हैं। लेकिन हर अध्ययन से यह स्पष्ट रूप से पता चलता है कि कॉर्पस में क्या आवश्यक गुण होने चाहिए और इसके साथ काम करने के तरीके ताकि प्राप्त परिणाम भरोसेमंद हों। मोटे तौर पर, अलग-अलग कार्यों के लिए और कोर को उनकी बारीकियों को ध्यान में रखते हुए (चयनित) बनाया जाना चाहिए। उदाहरण के लिए, यदि आप आधुनिक बोलचाल की भाषा के लिए एक मान्यता प्रणाली पर काम कर रहे हैं, तो रूसी भाषा की राष्ट्रीय कोर आपके लिए काम नहीं करेगी, क्योंकि यह कल्पना के कार्यों पर आधारित है। यदि आप समाचार प्रवाह का स्वचालित रूप से अनुवाद करने के लिए एक प्रणाली बना रहे हैं, तो आपको सही ढंग से चयनित मीडिया ग्रंथों वाली वाहिनी की आवश्यकता है। एक अलग मुद्दे पर संवाद पर चर्चा की गई थी कि क्या पूरे इंटरनेट का उपयोग भवन के रूप में किया जा सकता है। जैसा कि आप जानते हैं, आप लगभग किसी भी प्रकार के ग्रंथ पा सकते हैं। लेकिन आपको उपयुक्त ग्रंथों के स्वचालित चयन के साधनों को विकसित करने की आवश्यकता है।

जैसा कि हमने पहले ही कहा है, रूसी कंप्यूटर भाषा विज्ञान से बहुत कुछ सीखना है। इसके लिए, शोधकर्ताओं को संवाद के लिए आमंत्रित किया जाता है जो सबसे हालिया विश्व उपलब्धियों के बारे में बात करते हैं। उदाहरण के लिए, पिछले साल, योरिक विल्क्स (योरिक विलक्स) और जोकिम निवरे (जोकिम निवरे) के रूप में कंप्यूटर भाषाविज्ञान के ऐसे प्रकाशकों। इस वर्ष के सम्मेलन के अतिथि एडुआर्ड होवी और डायना मैकार्थी थे।

"संवाद" का एक अन्य महत्वपूर्ण विषय स्वचालित पाठ विश्लेषण प्रणालियों की गुणवत्ता की तुलना है। यूरोप में, लंबे समय से इस तरह की प्रणालियों की गुणवत्ता का आकलन करने के तरीकों पर सहमत होने का रिवाज रहा है, और केवल ऐसे वैज्ञानिक काम जो तथाकथित मानदंड को पूरा करते हैं, सम्मेलन को मिल सकते हैं। «मूल्यांकन»। हमें अभी तक परिणामों के सत्यापन की संस्कृति के कार्यान्वयन को प्राप्त करना बाकी है, क्योंकि रूस में लंबे समय से यह स्वयं डेवलपर्स के गुणवत्ता अनुमानों पर भरोसा करने के लिए प्रथागत था, और वे हमेशा उद्देश्य से दूर हैं।
इस संबंध में वार्ता के लिए एक महत्वपूर्ण कार्य इन प्रणालियों के काम की गुणवत्ता का आकलन करने के लिए स्वचालित पाठ विश्लेषण प्रणालियों और मानदंडों के बीच प्रतियोगिताओं के संचालन के लिए प्रौद्योगिकियों का विकास है। उदाहरण के लिए, डायलॉग 2010 में, रूसी भाषा के स्वचालित रूपात्मक विश्लेषण (सिस्टम जो शब्दों का व्याकरणिक विश्लेषण कर सकते हैं) की प्रणालियों के लिए एक प्रतियोगिता आयोजित की गई थी। अग्रणी अनुसंधान संस्थानों और वाणिज्यिक कंपनियों द्वारा विकसित बारह प्रणालियों की तुलना कई मापदंडों के लिए की गई थी, जिसमें भाषण के कुछ हिस्सों और संदर्भ के आधार पर शब्दों के अन्य व्याकरणिक अर्थों का निर्धारण करने में अस्पष्टता के समाधान शामिल थे। उदाहरण के लिए, ऐसी प्रणालियों को यह निर्धारित करने में सक्षम होना चाहिए कि किस व्याकरणिक अर्थ में "ग्लास" शब्द का उपयोग विश्लेषण किए गए पाठ में किया जाता है - एक संज्ञा के रूप में या एक क्रिया के रूप में।

इस वर्ष हमने चर्चा की कि पार्सिंग परिणामों की तुलना कैसे की जाए। विभिन्न स्वचालित विश्लेषण प्रणाली विभिन्न तरीकों से जटिल वाक्यविन्यास समस्याओं को हल करती हैं। कुछ व्याकरण पर आधारित वाक्य का पूर्ण विश्लेषण करते हैं (याद रखें कि स्कूल में कैसे: एक पंक्ति विषय है, दो विधेय है और इतने पर?), अन्य वाक्य टुकड़े के आंशिक विश्लेषण हैं, जबकि अन्य सबसे अधिक बार सामना किए गए जंजीरों को उजागर करने के आधार पर सांख्यिकीय मॉडल का उपयोग करते हैं। शब्द।

यह सहमत होना आसान नहीं था, लेकिन सिंटैक्स परीक्षण इस गिरावट का संचालन करेगा। वैसे, विशेषज्ञों और विश्वविद्यालय के छात्रों के साथ इसके परिणामों के विश्लेषण में शामिल होने का निर्णय लिया गया था, जो कंप्यूटर भाषा विज्ञान - भाषाविदों और प्रोग्रामर से संबंधित हैं। यदि आप इस परियोजना में भाग लेना चाहते हैं, तो व्यक्तिगत रूप से लिखें।

डायलॉग के बारे में और क्या कहना है? ABBYY के अलावा, MSU im। एमवी लोमोनोसोव इंस्टीट्यूट ऑफ लिंग्विस्टिक्स, रूसी स्टेट ह्यूमैनिटेरियन यूनिवर्सिटी, इंस्टीट्यूट ऑफ इंफॉर्मेटिक्स प्रॉब्लम्स ऑफ द रूसी एकेडमी ऑफ साइंसेज, इंस्टीट्यूट ऑफ इंफॉर्मेशन ट्रांसमिशन प्रॉब्लम्स ऑफ द रशियन एकेडमी ऑफ साइंसेज, यांडेक्स, आर्टिफिशियल इंटेलिजेंस एसोसिएशन। बेसिक रिसर्च के लिए रूसी फाउंडेशन सम्मेलन आयोजित करने में मदद करता है।

संवाद में आम तौर पर मान्यता प्राप्त उच्च स्तरीय रिपोर्ट सख्त विशेषज्ञ समीक्षकों (लगभग 60 रूसी और विदेशी विशेषज्ञ) के एक बड़े समूह को सुनिश्चित करने में मदद करती है जो सम्मेलन के लिए सबसे दिलचस्प कागजात का चयन करने में मदद करते हैं और कमजोर और माध्यमिक लोगों को मात देते हैं।

हमें विश्वास है कि इस तरह की एक ठोस कंपनी घरेलू कंप्यूटर भाषा विज्ञान को एक नए स्तर तक पहुंचने में मदद करेगी। वार्ता -2018 की सभी रिपोर्ट सम्मेलन वेबसाइट पर पोस्ट की गई थीं।

स्वेता लूजगिन,

संवाद समिति की आयोजन समिति के सहयोग से