"उन्होंने अपनी आँखों से अपने परिवार को देखा"

क्या आप पोस्ट शीर्षक के लिए उपयुक्त चित्र चुन सकते हैं?

फिर रोबोट को सिखाओ! वह भी यही चाहता है।

ओपन एन्क्लोजर प्रोजेक्ट टीम हैब्रा-लोगों से स्वतंत्र रूप से सुलभ (CC-BY-SA) टेक्स्ट कॉर्पस को चिह्नित करने में मदद करने के लिए कहती है। कटौती के तहत, हम इस बारे में बात करेंगे कि एक वाहिनी क्या है, इसकी आवश्यकता क्यों है, रूस और विदेशों में वाहिनी के साथ कैसे चीजें हैं, यह इतना बुरा क्यों है और हमारी योजना क्या है।



ग्रंथों का कोष एक भाषाई डेटाबेस है जिसमें पाठ, इन ग्रंथों से संबंधित विभिन्न मेटाडेटा, साथ ही उनमें शामिल शब्दों और वाक्यों का व्याकरणिक विश्लेषण शामिल है। मेटाडेटा और पार्सिंग मार्कअप है। यह विभिन्न स्तरों पर होता है: रूपात्मक, वाक्य-विन्यास, शब्दार्थ आदि। लेबल किए गए पाठ निकायों के बिना पाठ विश्लेषण के लिए सॉफ़्टवेयर विकसित करना कठिन (या असंभव भी) है। मशीन लर्निंग का उपयोग करने वाले कार्यक्रमों के लिए, लेबल केस से एक प्रशिक्षण नमूना लिया जाता है। अन्य मामलों में, परीक्षण के लिए मामले की आवश्यकता है।

दुनिया की कई भाषाओं के लिए चिह्नित मामले मौजूद हैं। अक्सर, ग्रंथों का शरीर विशेष खोज इंजनों के माध्यम से उपलब्ध होता है जो आपको विभिन्न भाषा संरचनाओं के उपयोग के उदाहरणों को चुनने की अनुमति देता है। ये सेवाएं भाषाविदों के लिए हैं। आप पूरे मामले को वहां से डाउनलोड नहीं कर सकते, क्योंकि उन ग्रंथों को शामिल किया गया है जो कॉपीराइट द्वारा संरक्षित हैं। भाषाई सॉफ्टवेयर को विकसित करने के लिए, आपको बाड़ों की आवश्यकता होती है जिन्हें मार्कअप के साथ-साथ एक पूरे के रूप में डाउनलोड किया जा सकता है। Habré पर पहले से ही इसके बारे में (POS-टैगिंग के बारे में) और यहाँ (सिंटैक्स के बारे में ) लिखा है।

रूस और विदेश में पाठ कोर

यहां, रूसी भाषा उतनी अच्छी नहीं है, उदाहरण के लिए, अंग्रेजी, जिसके लिए कई अलग-अलग उपलब्ध हैं और मैन्युअल रूप से लेबल वाले कोर हैं। यह आश्चर्य की बात नहीं है, कम से कम क्योंकि रूसी से अधिक लोग अंग्रेजी बोलते हैं। हैरानी की बात है, यहां तक कि हंगेरियन भाषा के लिए, जो रूसी की तुलना में 10 गुना कम लोगों द्वारा बोली जाती है, 1 मिलियन से अधिक शब्दों का एक सुलभ और चिह्नित कॉर्पस है।

हमारे बारे में क्या?

रूसी भाषा का राष्ट्रीय कॉर्पस (NKRJ) , कई संगठनों के संयुक्त प्रयासों द्वारा बनाया गया (रूसी विज्ञान अकादमी के रूसी भाषा संस्थान सहित), केवल कॉर्पस में खोज मोड में उपलब्ध है। 6 मिलियन हैंड-लेबल शब्दों में से, आप केवल 180 हजार शब्दों का एक नमूना डाउनलोड कर सकते हैं जिसमें वाक्य क्रम से बाहर आते हैं। यदि आप अव्यवस्था के साथ एक रूपात्मक विश्लेषक बनाना चाहते हैं, तो आपको या तो इन 180 हजार का उपयोग करना होगा, जो अक्सर मशीन सीखने के लिए पर्याप्त नहीं होगा, या किसी अन्य भाषा का प्रयास करें, उदाहरण के लिए, पोलिश। यह स्थिति, जाहिर है, हमारे देश में कंप्यूटर भाषा विज्ञान के विकास में योगदान नहीं करती है।

यह सुनिश्चित करने के लिए कि रूसी भाषा "कम-पुनर्जीवित भाषाओं" की श्रेणी में नहीं आती है, हमने NKRY और अन्य परियोजनाओं को बनाने के अनुभव को ध्यान में रखते हुए रूसी भाषा की एक नई ओपन कोर बनाने का फैसला किया। चूंकि नेशनल कॉर्प्स एक अच्छा खोज इंटरफ़ेस प्रदान करता है, और इस प्रकार विभिन्न शब्दों और निर्माणों के उपयोग के उदाहरणों को खोजने से जुड़ी समस्याओं को हल करता है, हमने डेवलपर्स के लिए स्वतंत्र रूप से सुलभ कॉर्पस बनाने पर ध्यान केंद्रित करने का निर्णय लिया : इसे मशीन सीखने के लिए या परीक्षण के लिए डाउनलोड किया जा सकता है। इसकी कोई खोज नहीं है, लेकिन यह डरावना नहीं है, क्योंकि वह एनकेआरजे में है। ताकि कॉपीराइट समस्या वितरण में हस्तक्षेप न करे, केवल ऐसे पाठ जो क्रिएटिव कॉमन्स लाइसेंस के तहत उपलब्ध हैं या जो सार्वजनिक डोमेन में हैं, शरीर में शामिल हैं। मार्कअप CC-BY-SA की शर्तों पर बनाया गया है।

हमारे काम के पिछले चरण में (2011 में), हमने 700 हजार शब्दों के एक कोष को इकट्ठा किया और शब्दों और वाक्यों की सीमाओं को मैन्युअल रूप से निर्धारित किया। यह डेटा पहले ही डाउनलोड किया जा सकता है। अब हमारा मुख्य लक्ष्य रूपात्मक मार्कअप में अस्पष्टता को दूर करना है। यह काम भी मैन्युअल रूप से करने की आवश्यकता है, इसमें बहुत कुछ है, और हम आपसे हमारी मदद करने के लिए कहते हैं।

स्कूल को याद करें या रूपात्मक मार्कअप क्या है

मोर्फोलॉजिकल मार्कअप (टैगिंग, पार्ट-ऑफ-स्पीच टैगिंग) प्रत्येक शब्द की तुलना उसके शब्दावली रूप ("बड़े" - "बड़े", "तालिका" - "टेबल", "पढ़ें" - "पढ़ें") और व्याकरणशास्त्र के संकेत के पाठ में प्रत्येक शब्द की तुलना है शब्द की विशेषताएं: लिंग, संख्या, मामला, समय, आदि। प्राथमिक रूपात्मक मार्कअप शब्दकोष के अनुसार स्वचालित रूप से किया जाता है। हम अपने उद्देश्यों के लिए अंतिम रूप से एओटी परियोजना शब्दकोश का उपयोग करते हैं। ज्यादातर शब्दों के लिए, मार्कअप अस्पष्ट है , यानी शब्दकोश में पाठ के कई शब्दों के लिए कई परिकल्पनाएं हैं। अधिक बार नहीं, केवल एक परिकल्पना सही है। अस्पष्ट वाक्य हैं जिनमें पार्स करने के कई विकल्प हैं। उदाहरण के लिए:

"इस प्रकार के स्टील दुकान में हैं"
इस्पात (संज्ञा) या क्रिया (क्रिया)?

"उन्होंने अपनी आँखों से अपने परिवार को देखा"
परिवार (संज्ञा) या परिवार (अंक)?

ऐसे उदाहरण दुर्लभ हैं। एक वाक्य के संदर्भ में रूपात्मक विश्लेषण अस्पष्ट हो जाता है: इसे इसकी संपूर्णता में पढ़ने के बाद, हम यह निर्धारित कर सकते हैं कि यह या यह शब्द किस रूप में खड़ा है । उदाहरण के लिए, "मम्मी साबुन फ्रेम" वाक्य के लिए, निम्नलिखित विश्लेषण अंततः बनाया जाना चाहिए:



शब्दकोश का उपयोग करके एक रूपात्मक विश्लेषण करने के बाद, केवल एक शब्द जिसे हम असंदिग्ध रूप से पार्स कर सकते हैं। "SOAP" और "FRAME" शब्दों के लिए हमें क्रमशः चार और दो परिकल्पनाएँ मिलती हैं:



रूपात्मक अस्पष्टता को दूर करने के लिए प्रत्येक शब्द के लिए एक सही परिकल्पना चुनना है। देशी वक्ताओं के लिए, यह सबसे अधिक बार मुश्किल नहीं है।

हमारे पास एक योजना है!

विसंगति के कार्य को सरल बनाने के लिए, हमने इसे सरल प्रश्नों में विभाजित किया , जो एक साथ अस्पष्टता के प्रत्येक उदाहरण के लिए एक निर्णय वृक्ष का प्रतिनिधित्व करते हैं। "SOAP" शब्द के मामले में, पहला प्रश्न "संज्ञा या क्रिया" होगा । वाक्य के लिए "मामा ने फ्रेम धोया," विघटन समाप्त हो जाएगा, क्योंकि यह एक क्रिया है, और केवल एक क्रिया परिकल्पना है। अन्य मामलों में, आपको एक या अधिक जवाब देने की आवश्यकता होगी, या सबसे खराब स्थिति में, दो और प्रश्न।



हमने समूहों में एक ही प्रकार के प्रश्नों को एकजुट किया। प्रतिभागी प्रश्नों के प्रकार का चयन कर सकता है और इस प्रकार के प्रश्नों के उत्तर केवल उनके संदर्भों में बेतरतीब ढंग से चयनित शब्दों के बारे में दे सकता है, इस प्रकार एक कार्य पर ध्यान केंद्रित कर सकता है। इसलिए तेजी से चिह्नित करें क्योंकि विभिन्न प्रकार के प्रश्नों के बीच स्विच करने में समय बर्बाद नहीं होता है।

मार्कअप के लिए पर्याप्त सटीक होने के लिए, प्रत्येक प्रश्न को तीन अलग-अलग लोगों द्वारा पूछा जाता है , और केवल अगर उत्तर पूरी तरह से समान हैं और किसी ने कोई टिप्पणी नहीं लिखी है, तो उनका उपयोग बिना दोहरी जांच के किया जाता है। यदि एक उत्तर अन्य दो से अलग है, या यदि कोई टिप्पणी छोड़ दी जाती है, तो यह उदाहरण एक मॉडरेटर द्वारा जांचा जाता है।

हमारे पास इस योजना के कितने भाग हैं?

मोटे अनुमान के अनुसार, वर्तमान में संग्रहित ग्रंथों में अस्पष्टता को दूर करने के लिए, इस तथ्य को ध्यान में रखते हुए कि प्रश्न तीन बार पूछे जाते हैं, आपको 4 मिलियन 3.75 मिलियन प्रश्नों के उत्तर देने की आवश्यकता है (250 हजार प्रश्नों के उत्तर पहले ही मिल चुके हैं )। यदि इसमें 100 लोग भाग लेते हैं, तो प्रति व्यक्ति 40 हजार प्रश्न प्राप्त होंगे। 40 हजार बहुत है, लेकिन हमें मानव बलिदान की आवश्यकता नहीं है। यदि 1000 लोग, तो प्रत्येक 4 हजार। यह कुछ घंटों का काम है। यदि 10,000, तो 400 प्रश्न, जिसमें 20-30 मिनट लगते हैं ।

परियोजना में भाग लेने के लिए, आप काम करने के तरीके में शिथिलता , हमलों के समय का उपयोग कर सकते हैं (स्मार्टफ़ोन पर मार्कअप इंटरफ़ेस काम करता है) और उपयोगी गतिविधियों में अन्य मजबूर ठहराव। इस अर्थ में, मामले का लेआउट सॉलिटेयर के समान है, केवल अधिक उपयोगी है । चूंकि किसी विशेष भाषाई ज्ञान की आवश्यकता नहीं है, इसलिए इस स्थान पर पढ़ने वाले सभी लोग भाग ले सकते हैं, और साथ में हम वाहिनी को चिह्नित करने के लिए एक रूपात्मक परत बनाएंगे। इस पृष्ठ में चरण-दर-चरण मार्कअप निर्देश शामिल हैं।

हाल ही में, हमने प्रस्तावों का एक सबसेट इकट्ठा करना और प्रकाशित करना शुरू किया जिसमें सभी अस्पष्टता पहले ही हटा दी गई है । यह उपकोश अभी भी बहुत छोटा है - लगभग 9,500 शब्द। जैसे-जैसे अंकन आगे बढ़ता है, यह बड़ा होता जाता है, और भविष्य में, इन आंकड़ों का उपयोग स्वतंत्र रूप से सुलभ रूपात्मक विश्लेषणकर्ताओं को बनाने के लिए किया जा सकता है जो कि संवितरण कर सकते हैं।

खुला आवास। मुक्त करने के लिए स्वतंत्र महसूस करो!

उल्लिखित मामलों के लिंक

रूसी

[NKRYA] रूसी भाषा के राष्ट्रीय कोर: ruscorpora.ru (23 अक्टूबर को इस परियोजना के बारे में मॉस्को में पॉलिटेक्निक संग्रहालय के व्याख्यान कक्ष में एक व्याख्यान होगा)
[OpenCorpora] लेख और प्रस्तुतियों के बारे में ओपन संलग्नक : opencorpora.org/?page=publications

अंग्रेजी

[ब्राउन] ब्राउनियन कोर: en.wikipedia.org/wiki/Brown_Corpus
[MASC] मैन्युअल रूप से एनोटेट उप-कॉर्पस (मैन्युअल रूप से अमेरिकी राष्ट्रीय कोर के रूप में चिह्नित): www.anc.org/MASC.H3.html
[शिल्प] कोलोराडो रिच एनोटेट फुल टेक्स्ट कॉर्पस (भाषाई और ऑन्कोलॉजिकल मार्कअप के साथ 67 जैव-चिकित्सा लेख): bionlp-corpora.sourceforge.net/CRAFT/index.shtml

पुर्तगाली, पोलिश, हंगेरियन

[मैक-मोर्फो] ब्राजील के पुर्तगाली फोल्हा डे साओ पाउलो से ग्रंथ: www.nilc.icmc.usp.br/lacioweb/english/plancamento.htm
[एनकेजेपी] नारोडोवी कोर्पस जोज़ी पोल्सीगो। एनकेजेपी उप-परिक्षेत्र, जीएनयू जीपीएल v.3 लाइसेंस के तहत उपलब्ध: nkjp.pl/index.php?page=14&lang=1
[Szeged] Szeged Corpus, ग्रंथों का हंगेरियन शरीर: www.inf.u-szeged.hu/projectdirs/hlt/index_en.html

पोस्ट की शुरुआत में चित्र: "पारिवारिक चित्र" और "टोटेम मोस्टर" ।