पाठ की कंप्यूटर समझ: क्या यह वास्तव में बुरा है?

सबसे हाल ही में, हबेरा पर एक पोस्ट दिखाई दी, जिसमें लेखक आत्मविश्वास से कहता है कि कंप्यूटर पाठ को कभी नहीं समझ सकता है जिस तरह से एक व्यक्ति इसे समझता है। प्रमाण के रूप में, वह कई कार्यों का हवाला देता है जो मशीन के लिए असंभव हैं, प्रभावी एल्गोरिदम की कमी पर जोर देते हैं और एक पूर्ण प्रणाली मॉडलिंग की असंभवता जिसमें पाठ के निर्माण के सभी संभावित विकल्पों को ध्यान में रखा जाएगा। लेकिन क्या यह वाकई इतना बुरा है? क्या यह सच है कि ऐसी समस्याओं को हल करने के लिए अविश्वसनीय कंप्यूटिंग शक्ति की आवश्यकता होती है? और प्राकृतिक भाषाओं में शब्द संसाधन के क्षेत्र की सामान्य स्थिति क्या है?

और "समझने" का क्या मतलब है?

पहली बात जो मुझे उलझन में डालती है, वह स्वयं प्रश्न था - क्या कंप्यूटर कभी भी पाठ को समझने में सक्षम होगा जिस तरह से एक व्यक्ति इसे समझता है । और क्या, वास्तव में, "एक व्यक्ति के रूप में समझते हैं" का मतलब है? या यहां तक ​​कि ऐसा नहीं है, इसका मतलब "समझने" के लिए क्या है? डेटा माइनिंग में: प्रैक्टिकल मशीन लर्निंग टूल्स एंड टेक्निक्स, लेखक एक समान प्रश्न पूछते हैं - प्रशिक्षित होने का क्या मतलब है। मान लीजिए कि हमने "इंटरप्रेटर" में कुछ सीखने की तकनीक लागू की है। कैसे जांच करें कि उसने पढ़ाई की या नहीं? यदि कोई छात्र इस विषय पर सभी व्याख्यान में भाग लेता है, तो इसका मतलब यह नहीं है कि उसने इसे सीखा और समझा है। इसका परीक्षण करने के लिए, वे परीक्षा में प्रवेश करते हैं जहां छात्र को विषय विषय पर कुछ समस्याओं को हल करने के लिए कहा जाता है। कंप्यूटर के साथ एक ही बात - आप सीख सकते हैं कि क्या उसने सीखा (क्या वह पाठ को समझता है) केवल यह जांचने के द्वारा कि वह विशिष्ट लागू समस्याओं को कैसे हल करता है - पाठ का अनुवाद करता है, तथ्यों को उजागर करता है, एक बहु-मूल्यवान शब्द का विशिष्ट अर्थ देता है, आदि। इस दृष्टिकोण से, अर्थ की अवधारणा आम तौर पर सर्वोपरि महत्व खो देती है - दुभाषिया की बस कुछ अवस्था, जिसके अनुसार यह पाठ को संसाधित करता है, अर्थ के रूप में माना जा सकता है।

अस्पष्ट शब्द

इसके अलावा, मूल लेख के लेखक वाक्य का अनुवाद का एक उदाहरण देता है "निकोलाई सोन्या से एक पत्र मुद्रित करने के लिए सबसे पहले था", "मुद्रित" शब्द के अनुवाद के लिए कई संभावित विकल्पों को पूरी तरह से अलग अर्थों के साथ दर्शाता है। एक व्यक्ति आसानी से समझ सकता है कि क्या दांव पर है, लेकिन क्या एक मशीन हो सकती है?
इस प्रश्न का उत्तर देने के लिए, हम इस बात पर विचार करते हैं कि कोई व्यक्ति उस अर्थ के बारे में निर्णय कैसे लेता है जिसमें इस शब्द का उपयोग किया जाता है। मुझे लगता है कि हर कोई इस बात से सहमत होगा कि सबसे पहले, इस तरह की समस्याओं को हल करते समय, हम संदर्भ पर ध्यान केंद्रित करते हैं। संदर्भ को स्पष्ट रूप से दर्शाया जा सकता है - दिए गए वाक्यों के रूप में, या संक्षेप में - एक दिए गए वाक्य के बारे में ज्ञान के संयोजन के रूप में (हमारे मामले में, यह ज्ञान कि वाक्य "युद्ध और शांति" उपन्यास से लिया गया है, उस समय के बारे में ज्ञान जब साजिश होती है) , और उस समय की प्रगति की स्थिति का ज्ञान)।

शुरू करने के लिए, पहले विकल्प पर विचार करें - प्रासंगिक वाक्यों का उपयोग। मान लीजिए, हमारे पास दो वाक्य हैं: “पहले, निकोलाई ने सोन्या से एक पत्र छपवाया। एक मशाल की रोशनी में इसे पढ़ना मुश्किल था "और" निकोलाई ने सबसे पहले सोन्या से एक पत्र छापा था। प्रिंटर कबाड़ था, इसलिए सभी वर्ण कुछ स्थानों पर स्पष्ट नहीं थे। ” प्रत्येक जोड़ी के दूसरे वाक्य में ऐसे कीवर्ड होते हैं जो हमें पिछले वाक्य में "प्रिंट आउट" शब्द के अर्थ को विशिष्ट रूप से पहचानने की अनुमति देते हैं - पहले मामले में यह "स्प्लिन्टर" है, दूसरे में - "प्रिंटर"। प्रश्न: प्रश्न में शब्द के वास्तविक अर्थ का पता लगाने के लिए कंप्यूटर को एक ही पैंतरेबाज़ी करने से क्या रोकता है? ओह, कुछ भी नहीं। वास्तव में, एक शब्द के अर्थ को निर्धारित करने के लिए सिस्टम लंबे समय से व्यवहार में उपयोग किया जाता है। उदाहरण के लिए, प्रासंगिकता की गणना करते समय खोज इंजन में tf-idf इंडेक्स का व्यापक रूप से उपयोग किया जाता है। एक नियम के रूप में, शब्दों की संयुक्त घटना ("प्रिंट" और "स्प्लंटर", "प्रिंट" और "प्रिंटर") पर जानकारी एकत्र की जाती है और इसके आधार पर एक अधिक प्रासंगिक दस्तावेज़ या शब्द का अधिक सटीक अनुवाद चुना जाता है।

एक निहित संदर्भ के साथ, अर्थात्, परिस्थितियों के बारे में ज्ञान के एक सेट के साथ, सब कुछ कुछ अधिक जटिल है। यहां आंकड़ों का एक सरल संग्रह पर्याप्त नहीं है - आपको ज्ञान की आवश्यकता है। और जो सामान्य रूप से ज्ञान है, उसका प्रतिनिधित्व कैसे किया जा सकता है? प्रतिनिधित्व करने का एक तरीका ऑन्कोलॉजी हैं । सबसे सरल मामले में, एक ऑन्थोलॉजी फॉर्म के तथ्यों का एक सेट है <विषय, विधेय, वस्तु>, उदाहरण के लिए, <निकोले, है, मैन>। खुद के ऑन्कोलॉजी का निर्माण, यहां तक ​​कि एक विशिष्ट विषय क्षेत्र के लिए, यह एक बड़ा व्यवसाय है, इसे हल्के ढंग से डालने के लिए। छोटा नहीं, लेकिन असंभव नहीं। लिंक्ड डेटा जैसी कई पहलें हैं, जिसमें लोग दुनिया भर में इकट्ठा होते हैं और परस्पर अवधारणाओं की एक वेब का निर्माण करते हैं। इसके अलावा, पाठ से तथ्यों के स्वत: निष्कर्षण पर काफी सफल घटनाक्रम हैं। यानी वाक्य से "पहले निकोलाई ने सोन्या से एक पत्र मुद्रित किया", आप स्वचालित रूप से तथ्यों को कम कर सकते हैं <निकोलाई, मुद्रित, पत्र>, <पत्र, से, सोन्या> आदि। इस तरह के घटनाक्रम का एक खुला स्रोत उदाहरण स्टैनफोर्ड पार्सर है , जो अंग्रेजी में वाक्यों की संरचना को अच्छी तरह से समझता है। और कुछ कंपनियाँ, जैसे InventionMachine (मैंने लिंक नहीं डाला है, क्योंकि विज्ञापन पहले से ही मौजूद है) आम तौर पर तथ्य-खोज प्रणालियों पर अपना व्यवसाय बनाते हैं।
हालाँकि, मैं विचलित था। इसलिए, हम मान लेंगे कि हमारे पास अपने विषय क्षेत्र के लिए पहले से ही अधिक या कम संपूर्ण ऑन्कोलॉजी है। सादगी के लिए, हम यह भी मानते हैं कि यह लोगों द्वारा एकत्र किया जाता है, इसलिए "प्रिंट" शब्द को कई बार इसमें प्रस्तुत किया जाता है - एक बार इस शब्द के प्रत्येक अर्थ के लिए। "खुला" के अर्थ में, यह शब्द तथ्यों का निर्माण कर सकता है <[किसी], मुद्रित, आधार>। "प्रिंट" के अर्थ में, इसका उपयोग तथ्यों <प्रिंट, क्या, प्रिंटर> में किया जा सकता है। अंत में, मान लीजिए कि परिस्थितियों का ज्ञान हमारे ऑन्कोलॉजी में पहले से मौजूद है। इस मामले में, शब्द "प्रिंट" के सभी संभावित मूल्यों के लिए ऑन्कोलॉजी पर प्रस्ताव के सभी तथ्यों को प्रदर्शित करने और पर्यावरण के मूल्य का चयन करने के लिए शब्द का सही अर्थ निर्धारित करने का कार्य कम हो गया है जिसमें अधिकांश ज्ञात तथ्य हैं (परिस्थितियों और तथ्यों के बारे में दोनों वाक्यों से सीधे निकाले गए) )।

आगे बढ़ने से पहले, मैं कुछ निष्कर्ष निकालूंगा:

1. सांख्यिकी एक शक्तिशाली पाठ विश्लेषण उपकरण है।
2. पाठ से ज्ञान (तथ्य) निकालना एक वास्तविकता है।
3. एक विषय क्षेत्र के बारे में ज्ञान का आधार बनाना एक कठिन लेकिन व्यवहार्य कार्य है।

अन्य कार्य

इसके अलावा, लेख के लेखक ने मेरी राय का हवाला देते हुए, बल्कि, कई विशिष्ट कार्यों का उल्लेख किया है, जो कंप्यूटर के लिए पूरी तरह से प्रतिरक्षात्मक हैं। मैं बहस नहीं करूंगा, कुछ कार्य वास्तव में काफी जटिल हैं। जटिल, लेकिन इसके अधीन नहीं। नीचे हम संभावित समाधानों के साथ यादृच्छिक कार्यों में उल्लिखित कार्य देंगे, लेकिन पहले प्राकृतिक भाषा प्रसंस्करण के अनुशासन के बारे में कुछ और शब्द।

एनएलपी के दृष्टिकोण से, पाठ सुविधाओं का एक सेट है। ये संकेत शब्द (मूल और शब्द के रूप, मामले, पत्र का मामला, भाषण का हिस्सा), विराम चिह्न (विशेषकर जो अंत में डाल दिए जाते हैं), इमोटिकॉन्स, वाक्य पूरी तरह से हो सकते हैं। इन विशेषताओं के आधार पर, अधिक जटिल लोगों को भी बनाया जा सकता है - एन-ग्राम (शब्दों के अनुक्रम), मूल्यांकन समूह (मूल्यांकन समूह, एक ही क्रम), लेकिन ग्रेड के एक संकेत के साथ, उदाहरण के लिए, "बहुत अच्छा", शब्दकोशों द्वारा दिए गए शब्द। और इससे भी अधिक जटिल हैं - अनुप्रास, एनटोनियम और पर्यायवाची, समरूपता, आदि। यह सब आपके खिलाफ अदालत में पाठ प्रसंस्करण के कुछ कार्यों को हल करने में संकेतक के रूप में इस्तेमाल किया जा सकता है।

तो, कार्य स्वयं।

पाठ की मनोदशा का निर्धारण करना

सामान्य तौर पर, लेखक ने पूरी तरह से स्पष्ट विभाजन का सुझाव दिया है - पाठ हास्यास्पद है और पाठ दुखद है। तीन वर्गीकरण विकल्प दिमाग में आते हैं:

1. पाठ आशावादी / निराशावादी है।
2. सकारात्मक / नकारात्मक (उदाहरण के लिए, प्रतिक्रिया)।
3. विनोदी / गंभीर।

एक तरीका या दूसरा, यह एक वर्गीकरण कार्य है, जिसका अर्थ है कि इसके लिए Naïve Bayes या SVM जैसे मानक एल्गोरिदम का उपयोग किया जा सकता है। एकमात्र प्रश्न जो अधिकतम वर्गीकरण परिणाम प्राप्त करने के लिए पाठ से लेने के लिए संकेत है।
मैंने कभी भी टेक्स्ट को आशावादी और निराशावादी के रूप में वर्गीकृत नहीं किया है, लेकिन मैं शर्त लगाता हूं कि यह सभी शब्दों की जड़ों को संकेतों के रूप में उपयोग करने के लिए पर्याप्त है। प्रत्येक कक्षा के लिए शब्दकोशों का संकलन करके परिणामों को और बेहतर बनाया जा सकता है। उदाहरण के लिए, "उदास", "अकेलापन", "उदासी" इत्यादि जैसे शब्द "निराशावादी" शब्दकोश, और "शांत", "यो", "मज़ा" को "आशावादी" में दर्ज कर सकते हैं।
समीक्षाओं और अन्य उपयोगकर्ता द्वारा निर्मित सामग्री का वर्गीकरण, स्पीकर के रवैये को एक निश्चित वस्तु (एक नए कैमरे से, सरकारी कार्यों के लिए, Microsoft को) दिखाते हुए हाल ही में इतना व्यापक हो गया है कि इसे एक अलग क्षेत्र में भी देखा गया है - राय खनन, उर्फ भावना विश्लेषण) ([१], [२])। राय निकालने के लिए कई दृष्टिकोण हैं। कम से कम 5-6 वाक्यों वाले ग्रंथों के लिए, मूल्यांकन समूहों ने खुद को अच्छी तरह से दिखाया [3] (परिणाम के साथ 90.2% तक सही ढंग से व्याख्या)। छोटे ग्रंथों (उदाहरण के लिए, ट्वीट) के लिए, आपको अन्य विशेषताओं का उपयोग करना होगा - पूर्वनिर्धारित शब्दकोशों के शब्द, पत्र का मामला, इमोटिकॉन्स, आदि।
एक हास्य पाठ को परिभाषित करने का कार्य इतना लोकप्रिय नहीं है, लेकिन इस पर कुछ उपलब्धियां हैं ([4])। एक नियम के रूप में, हास्य, अनुप्रास, और "वयस्क कठबोली" का उपयोग हास्य को परिभाषित करने के लिए किया जाता है।
यह भी ध्यान देने योग्य है कि न केवल हास्य, बल्कि विडंबना के साथ व्यंग्य, कंप्यूटर यह भी जानता है कि कैसे सफलतापूर्वक सफलतापूर्वक पहचाना जाए। वैसे भी, शेल्डन कूपर से बेहतर है।

लेखक की विचारधारा

साथ ही उनकी क्षमता, कार्य के प्रति दृष्टिकोण, पारिवारिक संबंध और छिपे हुए परिसर। पाठ में परिलक्षित होने वाली हर चीज मिल सकती है। यहां तक ​​कि जो औसत व्यक्ति नहीं देखता है। यह उपयुक्त संकेतों को उजागर करने और क्लासिफायरियर को ठीक से प्रशिक्षित करने के लिए पर्याप्त है। हां, परिणाम बहुत सटीक नहीं हो सकते हैं, लेकिन, उदाहरण के लिए, विकिपीडिया आमतौर पर दावा करता है कि केवल 70% लोग ही ऐसी चीजों को सही ढंग से निर्धारित कर सकते हैं, और 70% इस तरह के वर्गीकरण के लिए औसत से नीचे हैं।

रूपक, कहावत और चूक

इन सभी कार्यों के लिए अतिरिक्त जानकारी की आवश्यकता होती है। यदि आपके पास विषय क्षेत्र के लिए एक तैयार ऑन्कोलॉजी है, तो समान गुणों वाली वस्तुओं को ढूंढना मुश्किल नहीं होगा - इसके लिए निकटता का एक निश्चित उपाय पेश किया जाता है, सांख्यिकीय आंकड़ों के आधार पर गणना की जाती है, और सबसे "प्रासंगिक" ऑब्जेक्ट की खोज की जाती है।

स्वचालित अनुवाद

जैसा कि मैंने ऊपर बताया है, स्वचालित विश्लेषण में बहु-मूल्यवान शब्द के विशिष्ट अर्थ को निर्धारित करने की समस्या को सांख्यिकीय विश्लेषण का उपयोग करके हल किया जा सकता है। इसलिए, एकमात्र वास्तविक समस्या अच्छी तरह से गठित पाठ की पीढ़ी है। यहाँ दो उपकुंजी हैं:

1. शब्दों के बीच संबंध की सही परिभाषा।
2. एक नई भाषा में पाया संरचनाओं का सही प्रदर्शन।

शब्दों के बीच संबंधों को निर्धारित करने का कार्य अनिवार्य रूप से एक ही वर्गीकरण कार्य है, जहाँ कक्षाएँ शब्दों के बीच सभी संभावित संबंध हैं। स्टैनफोर्ड पार्सर जैसी लाइब्रेरी शब्दों के साथ संबंधों के सबसे "सही" संस्करण को निर्धारित करने के लिए संभाव्य क्लासीफायर और फजी सेट सिद्धांत का उपयोग करती है।

लेकिन एक नई भाषा में पाया निर्माणों के मानचित्रण के साथ, वास्तव में समस्याएं हैं। लेकिन ये समस्याएं ज्यादातर कंप्यूटर की नहीं, बल्कि अनुवाद की प्रकृति की होती हैं। पेशेवर अनुवादक कभी भी उन भाषाओं को इंगित नहीं करते हैं जिन्हें वे जानते हैं - इसके बजाय, वे अनुवाद की दिशा का संकेत देते हैं। उदाहरण के लिए, एक अनुवादक इतालवी से रूसी में अनुवाद करने में सक्षम हो सकता है, लेकिन रूसी से इतालवी में नहीं। यही है, निश्चित रूप से, वे किसी भी तरह एक रिवर्स अनुवाद कर सकते हैं, लेकिन आदर्श से बहुत दूर। एक भाषा के निर्माण को दूसरे में प्रदर्शित करने में समस्या ठीक-ठाक है, जिसमें एक मूर्खतापूर्ण प्रत्यक्ष एनालॉग नहीं हो सकता है। इस मामले में क्या करना है यह स्पष्ट नहीं है। इसलिए, न केवल कंप्यूटर, बल्कि सामान्य सैद्धांतिक भाषाविज्ञान भी अधिक से अधिक नए नियमों को प्राप्त करना, विकसित करना जारी रखता है। उसी समय, कंप्यूटर कार्यान्वयन के दृष्टिकोण से, बनाए गए नियमों को एक स्वचालित अनुवाद कार्यक्रम में डालना मुश्किल नहीं है।

बड़ी समस्या

इसलिए, कंप्यूटर पहले से ही जानते हैं कि किसी पाठ से तथ्यों को कैसे निकालना है, लेखक के मूड को समझें, व्यंग्य को पहचानें और बहुत कुछ। तो समस्या क्या है, क्यों अभी भी कोई सार्वभौमिक "रीडर" नहीं है जो पाठ ले सकता है और उन सभी कार्यों को हल कर सकता है जो एक व्यक्ति प्रदर्शन कर सकता है? एनएलपी में अभ्यास के वर्षों में, मैं इस नतीजे पर पहुंचा हूं कि बुद्धिमान टेक्स्ट प्रोसेसिंग सिस्टम को संयोजित करना मुश्किल है । कई घटकों के सिस्टम बनाने से न केवल उनके बीच संबंधों में एक जुझारू वृद्धि होती है, बल्कि उनके संभाव्य संकेतक के साथ-साथ सभी निर्भरताओं को भी ध्यान में रखना पड़ता है। उदाहरण के लिए, आप राय सीखने के लिए मशीन लर्निंग या मैन्युअल रूप से बनाए गए नियमों का उपयोग कर सकते हैं। हालांकि, अगर ये दोनों दृष्टिकोण संयुक्त हैं, तो सवाल उठता है कि उनमें से प्रत्येक को परिणाम को किस हद तक प्रभावित करना चाहिए: यह इस बात पर निर्भर करेगा कि इन निर्भरताओं की प्रकृति क्या है, संख्यात्मक मापदंडों की गणना कैसे करें, आदि। प्राकृतिक भाषा प्रसंस्करण का क्षेत्र अभी भी अपनी किशोरावस्था में है, इसलिए अब, मानवता केवल स्थानीय समस्याओं को हल करने के लिए सिस्टम बनाने में सक्षम है। यह अनुमान लगाना मुश्किल होगा कि सभी स्थानीय कार्यों के हल होने पर क्या होगा, और क्या किसी व्यक्ति के पास काम करने के लिए पर्याप्त क्षमताएं (स्मृति, सोचने की गति) है या नहीं।

संसाधन लिंक

[१] बो पैंग, लिलियन ली। ओपिनियन माइनिंग एंड सेंटीमेंट एनालिसिस
[२] बिंग लियू। राय खनन
[३] केसी व्हिटेलॉ। वाक्य विश्लेषण के लिए मूल्यांकन समूहों का उपयोग करना
[४] राडा मिहलसिया। कंप्यूटर को कम करना: स्वचालित हास्य मान्यता में जांच