कंप्यूटर भाषा विज्ञान में आकृति विज्ञान की भूमिका

पहले, स्वचालित अनुवाद इस प्रकार काम करता था:

1. मूल वाक्य में शब्दों के रूपों का विश्लेषण किया;
2. मैंने स्रोत भाषा की एक वाक्यात्मक योजना को चुनने की कोशिश की, जिसमें पाए गए रूपों के साथ वाक्य फिट होगा;
3. लक्ष्य भाषा के लिए उपयुक्त वाक्यविन्यास मिला;
4. मूल वाक्य में शब्द रूपों में से प्रत्येक के लिए एक अनुवाद मिला;
5. शब्द-अनुवाद लक्ष्य वाक्य रचना योजना के लिए आवश्यक रूप में रखे गए थे।

आधुनिक तकनीक आगे जाने की कोशिश कर रही है।
वे एक वाक्य में प्रत्येक शब्द के अर्थ को समझाने की कोशिश करते हैं, आकृति में पिरामिड के स्तर तक बढ़ते हुए। इससे अनुवाद को स्पष्ट करने में मदद मिलती है, क्योंकि परिकल्पनाओं पर ध्यान दिया जाता है जिसमें व्यक्तिगत शब्दों के शब्दार्थ सुसंगत नहीं होते हैं। इसके अलावा, शब्दार्थ कारणों से, कुछ वाक्यविन्यास नियम भाषा के सभी शब्दों पर लागू नहीं हो सकते हैं। और कुछ हद तक शब्दार्थ भी आपको होमोसेक्सुअलिटी से छुटकारा पाने की अनुमति देता है।

उदाहरण के लिए:

• मानक स्टील हेलमेट को मैट ग्रीनिश-ग्रे चित्रित किया गया था । -> मानक स्टील हेलमेट को मैट ग्रीनिश ग्रे रंग में रंगा गया।
• कॉन्सटेंटिन सोमोव ने 1923 में इस अति सुंदर अभी भी जीवन को चित्रित किया। -> 1923 में कोन्स्टेंटिन सोमोव ने इस अति सुंदर जीवन को चित्रित किया ।

ऐसी प्रक्रिया का अंतिम लक्ष्य पाठ के अर्थ को समझना है। फिर भी, हमारे पिरामिड में अर्थ और अर्थ के बीच एक पूरा कदम है, जिसे हमने अभी तक दूर नहीं किया है।

भाषा की व्यावहारिकता यह है कि कोई व्यक्ति जो कहता है उससे संबंधित है। एक क्लासिक उदाहरण: "क्या एक दोहरा बयान का मतलब उपेक्षा हो सकता है?" - "ठीक है, हाँ, बिल्कुल!"। यहाँ, दोहरे कथन के पीछे, भाषा को समझने की व्यावहारिक परत है।
लेकिन चलो खुद से आगे नहीं बढ़ें, चलें और पिरामिड को नीचे ले जाएं।

आकृति विज्ञान

एक प्राकृतिक भाषा में एक पाठ को समझने के पिरामिड का मूल स्तर रूपात्मक परत है। भाषा की आकृति विज्ञान के ज्ञान के बिना, उच्च, जैसा कि, वास्तव में, नीचे जाना बहुत मुश्किल है। आकृति विज्ञान शब्दकोश में रूपों के ज्ञान और उनके व्याकरणिक अर्थों का प्रतिनिधित्व करता है।

वाक्य-विन्यास

पिरामिड का अगला स्तर वाक्यविन्यास है। सिंटेक्स एक वाक्य में शब्दों के संबंध, शब्दों के प्रबंधन, एक प्राकृतिक भाषा में शब्दों के बीच संबंध को परिभाषित करता है। वाक्य-विन्यास व्याकरणिक अर्थों को संभालने में सक्षम होना चाहिए जो इसे आकृति विज्ञान से प्राप्त होता है। यह वह डेटा है जो टेक्स्ट विश्लेषण के चरण में नीचे से ऊपर (पोस्ट की शुरुआत में आरेख देखें)। वह एक ही डेटा को पाठ के संश्लेषण में आकृति विज्ञान के स्तर तक स्थानांतरित करता है, यह निर्धारित करता है कि यह या उस शब्द को लक्ष्य भाषा में किस रूप में होना चाहिए।

यह अनुवाद है। हमें रूसी में एक प्रस्ताव दिया गया है। पहले हम इसे रूपात्मक रूप से, फिर वाक्यात्मक रूप से, फिर शब्दार्थ रूप से विश्लेषण करते हैं। उसके बाद, शब्दार्थ लक्ष्य भाषा (उदाहरण के लिए, अंग्रेजी में) में वाक्य रचना के रूप को निर्धारित करता है, वाक्यविन्यास सभी लेक्सम को आवश्यक रूपों में बनाता है, और आकृति विज्ञान से हमें सीधे इन शब्दों के विशिष्ट रूप मिलते हैं।

अर्थ विज्ञान

शब्दार्थ स्तर पर, कार्य बहुत अधिक जटिल है। हमें यह समझने की आवश्यकता है कि इन या अन्य शब्दों का क्या अर्थ है। आकृति विज्ञान अलग-अलग शब्दों के साथ काम करता है, यह एक अलग शब्द लेता है, उदाहरण के लिए, "बोकरा", और कहता है: "यह आनुवंशिक मामले में एक मर्दाना संज्ञा है।" वाक्यविन्यास एक वाक्य में अन्य शब्दों के साथ बोकरा संबंध को देखता है। "बुडलानुला बोकरा" - "बोकर" एक अतिरिक्त के रूप में क्रिया "बुडलानुला" को संदर्भित करता है।

लेकिन शब्दार्थ के स्तर पर हम शक्तिहीन हैं: हम नहीं जानते कि एक "बोकर" क्या है, और हम यह नहीं जानते हैं कि "बुदानुला" का क्या अर्थ है। हाल तक तक, स्वचालित पाठ अनुवाद की तकनीक उन मामलों में भी शक्तिहीन थी, जो हमें स्पष्ट लग सकते हैं। वह नहीं जानती है कि "क्या आप एक कप चाय चाहते हैं?" वाक्यांश के पीछे छिपा है। हो सकता है कि वह एक कप चाय हो (स्पोर्ट्स कप जैसा कप), या शायद सिर्फ एक कप।

उपयोगितावाद

व्यावहारिक को समझने और ट्रैक करने के लिए एक अनुवादक को पढ़ाना और भी मुश्किल है, लेकिन इस क्षेत्र में स्थानीय समस्याओं को भी हल किया जा रहा है। बड़े पाठ के लिए, उदाहरण के लिए, कई ब्लॉग प्रविष्टियों के लिए, हम स्वचालित रूप से पाठ के भावनात्मक रंग को समझने की कोशिश कर रहे हैं। यदि हम कंप्यूटर को न केवल पाठ से शब्दों को समझने के लिए सिखाते हैं, बल्कि उन शब्दों के बारे में भी जो लेखक के मन में थे, तो हम कह सकते हैं कि हमने कंप्यूटर को "लाइनों के बीच पढ़ने" के लिए सिखाया।

आकृति विज्ञान कार्य

कंप्यूटर भाषाविज्ञान को एक बड़ी इमारत, और आकारिकी के रूप में माना जा सकता है - इमारत की नींव के रूप में, विशिष्ट समस्याओं को हल करना। दरअसल, प्रोग्राम में यह एक अलग डीएल है, एक विशिष्ट एपीआई प्रदान करता है, जिससे हम एक विशिष्ट परिणाम प्राप्त करना चाहते हैं। नीचे दी गई तालिका उन कार्यों को व्यवस्थित करती है जिन्हें आकारिकी मॉड्यूल को सौंपा गया है।

कार्य	कैसे उपयोग किया जाता है
प्रारंभिक रूप प्राप्त करना - लेमेटाइज़ेशन	खोज
किसी शब्द को दिए गए रूप में रखना	स्वचालित अनुवाद भाषण संश्लेषण
शब्द के सभी रूपों को प्राप्त करना	खोज ज्ञान का आधार पाठ संपादक ओसीआर
व्याकरणिक अर्थ	स्वचालित अनुवाद ओसीआर वाक् पहचान
शब्दावली शब्द	ओसीआर
शब्द सुधार	खोज पाठ संपादक

lemmatization

चलिए शुरू करते हैं: लेमेटेटाइजेशन एक शब्द के प्रारंभिक रूप की प्राप्ति है, या, दूसरे शब्दों में, एक लेम्मा। अगर हमें शब्द "बुलेन्यूला" के प्रारंभिक रूप को पुनर्स्थापित करने की आवश्यकता है, तो शब्द "बुलेनट्यूट" तुरंत हमारे सिर में दिखाई देता है। हालांकि, यदि आप हमारे लिए किसी अज्ञात भाषा में एक शब्द के साथ इसी तरह का प्रयोग करने की कोशिश करते हैं, तो कार्य जल्दी से तुच्छ प्रतीत होगा।

जब मैंने संस्थान में जर्मन का अध्ययन किया, तो मेरे लिए एक पेपर डिक्शनरी में "जेमचैट" शब्द की खोज करना और इस शब्द को न खोजना बहुत ही भयानक था। या गलत शब्द ढूंढें और यह समझने की कोशिश करें कि यह वाक्य में अन्य शब्दों से कैसे संबंधित है। और इसका कारण यह है कि यह क्रिया का एक रूप है "तंत्र" और संज्ञा "रत्न" नहीं।

सच कहूं, तो मैंने कभी जर्मन भाषा नहीं सीखी, लेकिन मुझे हमेशा के लिए याद आया कि शब्द के प्रारंभिक रूप को पुनर्स्थापित करने में सक्षम होना चाहिए, और अगर यह शब्द शब्दकोष में है, तो इसे दिखाएं। इसलिए, खोज तालिका में सूचीबद्ध होने के अलावा, लेमेटेटाइजेशन का दायरा भी कंप्यूटर शब्दकोश है।

किसी शब्द को दिए गए रूप में रखना

विलोम समस्या एक दिए गए रूप में शब्द का कथन है। जब हम किसी दिए गए फॉर्म में एक शब्द डालने की कोशिश करते हैं, तो हम भाषण को संश्लेषित करते हैं, अर्थात हमें एक विशिष्ट लक्ष्य भाषा में पाठ मिलता है। तदनुसार, इस तकनीक का उपयोग स्वचालित अनुवाद और कृत्रिम भाषण के संश्लेषण में किया जाता है।

शब्द के सभी रूपों को प्राप्त करना

अगला कार्य - शब्द के सभी रूपों को प्राप्त करने के लिए - खोज में सबसे अधिक बार उपयोग किया जाता है। अनुक्रमणिका पाठ के दो दृष्टिकोण हैं: पहला सूचकांक में उस शब्द के सभी रूपों के साथ एक क्वेरी से एक शब्द का मिलान कर रहा है, दूसरे को अनुरोधित शब्द का एक लेम्मा मिल रहा है और फिर इसे सूचकांक में प्रारंभिक रूपों के साथ मिलान कर रहा है। इस मामले में, कार्यान्वयन समस्या की विशिष्टताओं पर निर्भर करता है जिसे हल किया जा रहा है। हो सकता है कि आप पूरे इंटरनेट को इंडेक्स करने की कोशिश कर रहे हों, या हो सकता है, इसके विपरीत, कुछ स्थानीय ज्ञान का आधार हो, लेकिन आपको परिणामों की उच्च सटीकता की आवश्यकता है।

शब्द का व्याकरणिक अर्थ प्राप्त करना

व्याकरणिक अर्थ की आकृति विज्ञान के लिए मॉड्यूल को क्वेरी करने की आवश्यकता उत्पन्न होती है यदि यह उस अर्थ को समझने के लिए आवश्यक है जिसे व्याकरणिक अर्थ से हटाया जा सकता है (उदाहरण के लिए, हमारे सामने कार्रवाई या नहीं, पिछले तनाव या वर्तमान)।

शब्दावली शब्द

हमने पहले ही इस बिंदु पर रोक दिया है, इसलिए हम इसे ठीक कर देते हैं: पाठ की मान्यता के लिए, शब्द की शब्दावली बहुत महत्वपूर्ण है - यह शब्द भाषा से संबंधित है या नहीं है।

शब्द सुधार

जब पाठ संपादकों के साथ काम कर रहे हैं, और आधुनिक मोबाइल उपकरणों में और भी बहुत कुछ है, तो टाइपोस को अक्सर तेज मुद्रण के साथ बनाया जाता है। पहले, उन्हें पहचानने के लिए टी 9 तकनीक का इस्तेमाल किया गया था, जिसने नौ बटन का उपयोग करके पात्रों को बहाल किया था। अब स्मार्टफ़ोन एक पूर्ण विकसित कीबोर्ड का उपयोग करते हैं, लेकिन उंगलियों को अक्सर आवश्यक बटन पर नहीं मिलता है, और शब्द को सही करने की आवश्यकता होती है। सुधार आकृति विज्ञान का कार्य है। अब कोई भी स्वाभिमानी स्मार्टफोन आपको बताएगा कि वास्तव में यह शब्द कैसा है।

इसके अलावा, इंटरनेट को इंडेक्स करते समय सुधार शब्द का उपयोग किया जाता है। वेब के मामले में, प्रदर्शन विशेष रूप से महत्वपूर्ण हो जाता है क्योंकि गलत वर्तनी वाले शब्द बहुत आम हैं। हम उन्हें उस रूप में शब्दकोश में नहीं पा सकते हैं जिसमें उपयोगकर्ता ने उन्हें दर्ज किया था, लेकिन उन्हें अनुवाद करना होगा, क्योंकि एक व्यक्ति, इस शब्द को पढ़कर समझ जाएगा कि वार्ताकार के मन में क्या था। जैसा कि वे कहते हैं, "विलासिपिड" या "साइकिल", यह इससे मोपेड नहीं बन जाएगा, चाहे आप कैसे भी लिखें (वैसे, आप इस लेख में "समझदार" वर्तनी जांचक के कार्यान्वयन के बारे में पढ़ सकते हैं)।

समस्याओं का समाधान। आइए सरल से शुरू करें: लेमेटाइजेशन

चलो हमारे चचेरे भाइयों के पास वापस जाओ। हमें "बुलेनुला" शब्द से प्रारंभिक रूप कैसे मिलता है? पहली बात जो मन में आती है: केवल समाप्त होने वाले परिवर्तन। सिर्फ अच्छे पुराने नियमित अभिव्यक्तियों का उपयोग करके कुछ अंत को दूसरों के साथ क्यों नहीं बदलें? वैसे, सार्वजनिक डोमेन में इंटरनेट पर पाए जाने वाले बहुत सारे आकारिकी नियमित अभिव्यक्तियों पर आधारित होते हैं। हमारे मामले में, -la के साथ अंत में -t ठीक काम करता है: "budlanut" के साथ "budlanut"। हालांकि, यह थोड़ा गहरा खुदाई के लायक है, और यह पता चलता है कि यह हमेशा काम नहीं करता है।

नुकसान: घर का नाम

गृहविज्ञान विभिन्न शब्दों के रूपों का एक संयोग है। इसके अलावा, ऐसा होता है कि एक ही शब्द के दो रूप मेल खाते हैं, और ऐसा होता है - विभिन्न शब्द, जैसे कि हमारे उदाहरण में। "स्टील" बहुवचन या शब्द "स्टील" के बहुवचन का भूत काल क्रिया है। प्रारंभिक रूप क्या है: "बन" या "स्टील"? आकृति विज्ञान के स्तर पर इस समस्या को हल नहीं किया जा सकता है: आकृति विज्ञान किसी भी शब्द को संदर्भ से बाहर मानता है, इसलिए, आप किसी भी तरीके से गृहवाद को हल नहीं कर सकते। लेकिन सबसे दिलचस्प बात यह है कि सिंटैक्टिक पर और कभी-कभी सिमेंटिक पर भी, अगले स्तर पर, यह हमेशा संभव नहीं होता है कि वे होमोसेक्सुअल को हल करें। उपरोक्त पारंपरिक उदाहरण इस की एक विशद पुष्टि है।

जैसे यह पर्याप्त नहीं है

एक और आपत्ति है: सभी शब्दों का उपयोग सभी रूपों में नहीं किया जाता है। यदि हम "भंवर" - "चक्कर" से ऐसा नियम बनाते हैं कि कुछ को -th से बदला जाना चाहिए, तो हमें "सिद्ध" शब्द के साथ "प्रतीत" शब्द को बदलना होगा। लेकिन रूसी में ऐसा कोई शब्द नहीं है।

यह जटिल है

इस प्रकार, यह पता चलता है कि यदि आपको एक सस्ते आकारिकी की आवश्यकता है - उदाहरण के लिए, आपने एक बड़े डेटाबेस को अनुक्रमित किया, उस पर खोज की, और आप खोज की गुणवत्ता से संतुष्ट हैं, तो आप निश्चित रूप से लेमेटरीकरण के उस शून्य सन्निकटन को रोक सकते हैं, लेकिन अधिक गंभीर भाषाई प्रौद्योगिकियों के लिए यह सटीकता पर्याप्त नहीं है। और आपको कुछ और करने की जरूरत है।

सक्रिय खोज में

हम और क्या करते हैं, हम क्या प्राप्त करते हैं, कैसे संग्रहीत करते हैं और कंप्यूटर भाषाविज्ञान के कौन से कार्य अभी भी उनके समाधान के लिए इंतजार कर रहे हैं, अगले लेख में चर्चा की जाएगी।