प्राकृतिक भाषा प्रसंस्करण: एक लापता उपकरण

मान लीजिए आप एक वेब एप्लिकेशन बनाना चाहते हैं। आधुनिक दुनिया में, आपके जीवन को आसान बनाने के लिए असंख्य सॉफ्टवेयर बनाए गए हैं। आप किसी तरह के व्यापक ढांचे का उपयोग कर सकते हैं, या कुछ ऐसे पुस्तकालयों को जोड़ सकते हैं जो आपके लिए विशिष्ट कार्यों को हल करेंगे जैसे कि टेंपलेटिंग, डेटाबेस प्रबंधन, अन्तरक्रियाशीलता प्रदान करना और पसंद करना। ये लाइब्रेरी आपको सामान्य और असाधारण दोनों प्रकार के कार्यों को हल करने के लिए एक समान इंटरफ़ेस प्रदान करती हैं, जिन्हें आप तुरंत संभाल नहीं सकते हैं।

लेकिन उपकरणों की इस बहुतायत के बीच, एक महत्वपूर्ण अंतर है: प्राकृतिक भाषाओं के साथ काम करने के लिए एक पुस्तकालय।



"लेकिन उनमें से कई हैं!" - आप आपत्ति करना चाहते हैं, - " एनएलटीके , उदाहरण के लिए, या लिंगपाइप ।" बेशक, लेकिन क्या आप उनका उपयोग करते हैं? "इसलिए परियोजना में, यह एक तरह का है, मुझे प्राकृतिक भाषा प्रसंस्करण की आवश्यकता नहीं है।"

लेकिन वास्तव में, आप प्राकृतिक भाषा के प्रसंस्करण में लगे हुए हैं, यहां तक ​​कि इसे साकार किए बिना। ग्लूइंग स्ट्रिंग्स के रूप में इस तरह की एक प्राथमिक कार्रवाई प्राकृतिक भाषा में ग्रंथों की पीढ़ी का एक विशेष मामला है, जो ओई ¹ के मूल भागों में से ^{एक है} । लेकिन यदि आपको अधिक जटिल संचालन करने की आवश्यकता है, जैसे कि संज्ञाओं के बहुवचन रूप का निर्माण, वाक्य में बड़े अक्षरों की व्यवस्था, क्रिया के रूप में परिवर्तन, तो आप भाषाविज्ञान ² के उपयोग के बिना नहीं कर सकते। लेकिन जब आपको अचानक एक संज्ञा के बहुवचन रूप को प्राप्त करने की आवश्यकता होती है, तो आपको एक OEY लाइब्रेरी के लिए जाने की बजाय इंटरनेट से नियमित रूप से एक जोड़े को प्राप्त करना होगा। यह आंशिक रूप से OYA क्षेत्र की पदोन्नति की कमी के लिए जिम्मेदार है।

यह पता लगाने के लायक है कि आपके आवेदन में ओएईए किन कार्यों को हल कर सकता है: कीवर्ड पीढ़ी, विहितकरण, भाषा पहचान, पूर्ण-पाठ खोज, ऑटो-समापन, विषय वर्गीकरण और क्लस्टरिंग, स्वचालित एनोटेशन, लिखावट पार्सिंग, या शायद अन्य। । कुछ अनुप्रयोगों को एक ही समय में इस सभी बहुतायत की आवश्यकता होती है, लेकिन कई केवल अतिरिक्त सुविधाओं के एक जोड़े से लाभ उठा सकते हैं। एक ब्लॉग जो स्वचालित रूप से टैग उत्पन्न करता है, पूर्ण-पाठ खोज करता है, स्वचालित रूप से समाचार फ़ीड के लिए प्रविष्टियों की व्याख्या करता है, कुछ कारणों से समय अनुक्रम निर्धारित करता है। लेकिन कुछ लोग ऐसे अवसरों की प्राप्ति में लगे हुए हैं, क्योंकि व्यवसाय बल्कि गैर-तुच्छ है। इन कार्यों के लिए आधुनिक समाधान आमतौर पर उन मॉडलों पर आधारित होते हैं जिन्हें उत्पन्न करने के लिए विशाल भाषाई डेटा कोर की आवश्यकता होती है। ज्यादातर मामलों में, चर्मपत्र प्रयास के लायक नहीं लगता है, क्योंकि इसके लिए एक दर्जन हेयुरिस्टिक्स को हाथ में लेना आसान है।

दोनों उदाहरणों की जांच में OEYA के व्यावहारिक अनुप्रयोग के क्षेत्र के साथ समस्याओं का सुझाव दिया गया है: मौजूदा सॉफ़्टवेयर समाधान का अर्थ है कि उपयोगकर्ता एक ऐसी प्रणाली का निर्माण करना चाहता है जो विशेष रूप से OEYA के साथ काम करता है जब उसे सिर्फ एक-दो चिप्स खराब करने की आवश्यकता होती है। मैं संज्ञा के लिए कई रूपों को जल्दी से प्राप्त करने में सक्षम होने के लिए या ओआईए में अच्छी तरह से अध्ययन किए गए कुछ अन्य कार्य के परिणाम में सक्षम होने के लिए लागू भाषा विज्ञान में डॉक्टरेट प्राप्त नहीं करना चाहता। यह समझा जाना चाहिए कि उपयोगकर्ता अपने स्वयं के प्रशिक्षण के बजाय अंतर्निहित भाषाई मॉडल का उपयोग करेगा। यद्यपि यह कुछ सीमाओं का परिचय देता है, सिद्धांत स्वयं अभी भी अधिक संख्या में अवसर प्रदान करता है। और जो बहुत अधिक महत्वपूर्ण है, मॉडल का उपयोग करना और इसे बेहतर बनाना चाहते हैं, डेवलपर इसे केवल अपने आवेदन ^{3 के} लिए विशिष्ट ग्रंथों पर प्रशिक्षित कर सकता है।

मेरी अपील: मैं उन सभी कार्यक्षमता को देखना चाहता हूं जो लागू किया गया OEJA अपने वर्तमान शिशु रूप में सक्षम है, एक स्थान पर एकत्र किया गया है जहां यह सामान्य भाषाई संसाधनों का उपयोग कर सकता है और एक सरल इंटरफ़ेस प्रदान कर सकता है जो डेवलपर्स को आकर्षित करेगा। मैं जटिल को देखना चाहता हूं, लेकिन व्यावहारिक रूप से लागू OEY प्रौद्योगिकियां न केवल भाषाविदों के लिए उपलब्ध हैं। मैं चाहता हूं, आखिरकार, यह सब ओईई के मूल सिद्धांतों पर बनाया जाएगा, जिससे मूल मॉडल और एल्गोरिदम में सुधार करने का अवसर मिलेगा। ओईईएए क्षेत्र के इंजीनियर खुद का बहुत ख्याल रखते हैं ताकि झूठी उम्मीदों (80 के दशक की ऊंची उम्मीदों के विपरीत) को न दें। कहीं न कहीं हम अभी तक शक्तिहीन हैं, और यह चीजों के क्रम में है।

[१] विशेषज्ञता के क्षेत्र के रूप में, OEYA निश्चित रूप से एक विधि के रूप में स्ट्रिंग संबंध पर विचार नहीं करता है। इसके बजाय, वांछित परिणाम के कार्यात्मक विवरण के आधार पर पाठ उत्पन्न करने की संभावनाओं का पता लगाया जाता है। एक उदाहरण के रूप में, सर्वनाम।

[२] यह सुविधा (कई रूपों के आउटपुट के लिए नियम) भाषा / मीडियाविकि फ़ोल्डर में एकत्र की जाती है। यह सबसे बहुराष्ट्रीय खुले स्रोत परियोजनाओं में से एक है, और विदेशी भाषाओं में भाषाई विषमताओं के बारे में जानकारी का एक अद्भुत स्रोत है।

[३] एक उदाहरण के रूप में, इस बात पर विचार करें कि पाठ पीढ़ी कैसे स्थानीय अनुप्रयोगों को मदद कर सकती है मान लीजिए कि आप उपयोगकर्ता को सूचित करना चाहते हैं: "आपके पास तीन नए संदेश हैं।" सबसे सरल समाधान होगा: प्रिंटफ ("नई पोस्ट:% डी", अंकसूचियां)। छोटा रास्ता तय करने के बाद, हमें “संदेश” शब्द के आवश्यक संख्यात्मक और सुसंगत रूप को उत्पन्न करने की आवश्यकता है।

यदि आप अभी भी अधिसूचना को अधिक प्राकृतिक रूप में प्रदर्शित करना चाहते हैं, तो अगला कदम कुछ कार्यों को जोड़ना है: संख्या को एक अंक में अनुवाद करें और "संदेश" शब्द का वांछित रूप उत्पन्न करें। परिणाम कुछ इस तरह होगा: प्रिंटफ ("आपके पास% s नया% s", toNumeral (numMessages), बहुवचन ("संदेश", numMessages))। चूंकि अधिकांश एप्लिकेशन शुरू में अंग्रेजी में लिखे गए हैं, आकारिकी में खराब हैं, पर्याप्त मात्रा में साइकिल हैं, और मुख्य रूप से स्थानीयकरण के समय ऐसी समस्याएं आती हैं।

हालाँकि, इस समस्या के लिए एक अपरिवर्तनीय प्रतिनिधित्व है। व्याकरणिक निर्भरता पर विचार करें जिसे हम OEYA का उपयोग करके अपने प्रस्ताव से थोड़ा सा निकाल सकते हैं:

सबज (पोस्ट -4, यू -1)
संख्या (पोस्ट -4, तीन -2)
आमोद (पद -4, नया -3)
रूट (ROOT-0, संदेश -4)

हम खुद से पूछते हैं: "इस डेटा का उपयोग करना, क्या किसी भी भाषा में उसी संदेश को स्वचालित रूप से उत्पन्न करना संभव है जो एक ही जानकारी देता है और एक व्याकरणिक रूप से सही संरचना है?" यह प्राकृतिक भाषा में ग्रंथों की पीढ़ी में एक मौलिक प्रश्न है। (इसके अलावा, यह केवल मशीन अनुवाद का प्रश्न नहीं है, क्योंकि प्राप्त संदेश हमारे द्वारा निर्दिष्ट कार्यक्षमता के आधार पर भिन्न हो सकता है, जो सीधे पाठ से निकालना मुश्किल है।) यह निश्चित रूप से एक जादुई ब्लैक बॉक्स पाने के लिए बहुत अच्छा होगा जो हमें मांग के आधार पर व्याकरणिक रूप से सही पाठ देता है, लेकिन और इन दिनों ग्रंथों को बनाने के लिए बनाए गए उपकरण अनुवादकों के काम को बहुत आसान कर सकते हैं। मेरी राय में, यह विषय एक करीबी अध्ययन के योग्य है।

-
मूल लेख का लिंक ।