यैंडेक्स में मशीनी अनुवाद और स्वचालित शब्दकोश

प्रत्येक बड़े उत्पाद में कई जटिल और दिलचस्प प्रौद्योगिकियां शामिल हैं, जिनमें से निर्माण उन लोगों द्वारा काम किया गया था जो अक्सर अपना पूरा जीवन उनके लिए समर्पित करते थे। और यैंडेक्स ब्राउज़र हमारे सहयोगियों के कई कामकाज को लागू करता है, जो गैर-विशेषज्ञों द्वारा किसी का ध्यान नहीं जा सकता है और नगण्य विवरण प्रतीत हो सकता है। उदाहरण के लिए, यैंडेक्स क्लाउड प्रौद्योगिकियों में से एक जो ब्राउज़र में एकीकृत है, हमारा अपना अनुवादक है।

Yandex.Translation खुद कई महीने पहले बीटा से बाहर आया था। यह एक ऑटो शब्दकोश द्वारा ऐसी ही कुछ अन्य सेवाओं से अलग है, जिनकी अनूठी तकनीक को यैंडेक्स भाषाविदों और प्रोग्रामरों की एक टीम द्वारा विकसित किया गया था। इसके विकास के दौरान, मशीन अनुवाद और पारंपरिक भाषाई साधनों के आधुनिक सांख्यिकीय दृष्टिकोणों को संयोजित करना संभव था।



यह समझने के लिए कि मशीनी अनुवाद के विकास में एक कदम ऑटो-डिक्शनरी का उद्भव कितना महत्वपूर्ण है, यह याद रखने योग्य है कि 20 साल पहले वाक्यविन्यास अनुवादक आम थे, जिसके लिए विभिन्न भाषाओं में वाक्यांशों के पत्राचार तालिकाओं को मैन्युअल रूप से संकलित किया गया था। उनके निर्माण की प्रक्रिया केवल 1990 के दशक के अंत में बदलना शुरू हुई, जब पहले सांख्यिकीय अनुवादक दिखाई दिए। उन्हें अनुवाद मॉडल सिखाने के लिए समानांतर ग्रंथों का इस्तेमाल किया जाने लगा। ऐसे दस्तावेज़ जिनमें एक ही चीज़ को विभिन्न भाषाओं में लिखा गया है, उदाहरण के लिए, राजनयिक प्रलेखन से निकाले गए थे। संयुक्त राष्ट्र के दस्तावेज समानांतर ग्रंथों का एक बड़ा आधार बन गए। लेकिन इस तरह की शब्दावली में एक सामान्य शाब्दिक अनुवादक बनाना संभव नहीं था, क्योंकि उन्होंने एक अनौपचारिक ग्रंथ का अनुवाद सूखी कूटनीतिक भाषा में भी किया था।

एक सार्वभौमिक अनुवाद मॉडल के प्रशिक्षण की समस्या का समाधान खोज इंजन इंडेक्स से निकाले गए समानांतर दस्तावेजों का उपयोग था। और ये न केवल बहुभाषी साइट हैं जो मूल रूप से कई भाषाओं में बनाई गई थीं। उदाहरण के लिए, एक दस्तावेज इंटरनेट पर एक घटना के बारे में एक पाठ के साथ दिखाई दिया। उसके लिए, एक प्रकार का "पासपोर्ट" विशेषता (विपरीत) शब्दों के साथ बनाया जाता है, जो तब अन्य दस्तावेजों के पासपोर्ट के साथ तुलना की जाती है, और जब वे मेल खाते हैं, तो यह निष्कर्ष निकाला जाता है कि यह एक ही चीज़ के बारे में एक पाठ है, लेकिन विभिन्न भाषाओं में। इस प्रक्रिया के लिए महत्वपूर्ण कम्प्यूटेशनल संसाधनों की आवश्यकता होती है क्योंकि इसमें अरबों वेब दस्तावेज़ों को संसाधित करना होता है।

स्वाभाविक रूप से, ऐसे ग्रंथों में सभी वाक्य एक दूसरे के लगातार अनुवाद नहीं होंगे। सभी संभावित अनुवादों के साथ शब्दों और वाक्यांशों के पत्राचार की एक तालिका को संकलित करने के लिए, आपको एक विशेष संरेखण करने और उन लोगों को बाहर फेंकने की ज़रूरत है जो गलती से वहां गए थे। नतीजतन, यह पता चला है कि, उदाहरण के लिए, 20-30 अंग्रेजी शब्द प्रत्येक रूसी शब्द के अनुरूप हैं।

ऊपर वर्णित लगभग पूरी प्रक्रिया सांख्यिकीय विधियों और संभाव्यता सिद्धांत पर आधारित है। स्वचालित अनुवादक प्रत्येक अनुवाद की संभावना जानता है और इसके आधार पर दर्जनों विकल्पों में से भाषा के मॉडल के अनुसार जल्दी से अपनी पसंद बनाता है, और कभी-कभी सैकड़ों।



ऐसा लगता है कि अनुवाद की सटीकता और पाठ की शैली को ध्यान में रखते हुए, आपको बस किसी व्यक्ति को अनुवाद के विकल्प दिखाने होंगे और वह संदर्भ और शैली में सबसे उपयुक्त शब्द का चयन करेगा। लेकिन ये पाठ के सांख्यिकीय अंश हैं, जो अपने आप में एक साधारण उपयोगकर्ता के लिए कोई अर्थ नहीं ले सकते हैं। कम से कम, क्योंकि वह एक शब्द के लिए हजारों विकल्प देख सकता है, जो उसे किसी भी तरह से मदद नहीं करेगा। खासकर यदि कोई व्यक्ति उस भाषा को नहीं जानता है जिसमें वह बहुत अच्छी तरह से अनुवाद कर रहा है।

ऑटो-शब्दकोश पसंद की समस्या को हल करता है, केवल सबसे उपयुक्त अनुवादों का चयन करता है और उन्हें एक साधारण उपयोगकर्ता के लिए पठनीय रूप में दिखाता है। इसके लिए, हमारे विशेषज्ञों की टीम ने जटिल और संसाधन-गहन काम किया है। सबसे पहले, हमने ऑटो-डिक्शनरी को शब्द का शब्दकोश रूप दिया। दूसरे, उन्होंने हमें वाक्यांशों के पूरे सेट से वास्तव में स्थिर वाक्यांशों की पहचान करने के लिए सिखाया जो एक व्यक्ति तब तैयार कर सकता है।

स्वचालित शब्दकोश के संकलन में अन्य कठिनाइयाँ हैं। उदाहरण के लिए, जब कोई उपयोगकर्ता संदर्भ के बिना किसी शब्द का अनुवाद करने का अनुरोध करता है, तो किसी अन्य भाषा में समूह वेरिएंट के लिए, उसके सभी मूल्यों को प्रदर्शित किया जाना चाहिए। और अक्सर ऐसी भाषा में जो उसके लिए अपरिचित हो। किसी व्यक्ति को अनुवाद विकल्पों में नेविगेट करने में मदद करने के लिए, आपको न केवल शब्द के सभी मुख्य अर्थ दिखाने होंगे, बल्कि उनके अर्थ अर्थ के अनुसार एक समूह बनाना होगा।

इसके लिए, एक पर्यायवाची शब्दकोश का उपयोग किया जाता है, जो कि अनुवाद मॉडल के निर्माण की प्रक्रिया में हमारे द्वारा संचित सांख्यिकीय आंकड़ों के आधार पर भी बनाया जाता है। इस तथ्य के कारण कि Yandex.Translation में अनुवाद की दोनों दिशाएं हैं, हम जानते हैं कि एक भाषा के विभिन्न शब्द अक्सर किसी अन्य भाषा के एक ही शब्द में अनुवाद करते हैं। इससे पता चलता है कि वे पर्यायवाची हैं। इस प्रकार, हम स्वचालित रूप से अनुवाद समूह बनाते हैं, जिनमें से प्रत्येक का अपना अर्थ अर्थ होता है।

नतीजतन, Yandex.Translation के उपयोगकर्ता को अधिक सटीक अनुवाद चुनने के लिए साधारण शब्दकोशों के लेखों को अतिरिक्त रूप से देखने की आवश्यकता नहीं है। ऑटो-शब्दकोश उसे स्वचालित रूप से उत्पन्न लेख दिखाएगा, जिसमें शब्द के उपयोग के उदाहरण भी होंगे। इसके अलावा, इंटरनेट पर शब्द के उपयोग के आंकड़ों के आधार पर, स्वचालित शब्दकोश तेजी से अपडेट होता है। इस सब के लिए धन्यवाद, यैंडेक्स मशीन अनुवादक का उपयोग करके किए गए अनुवाद बहुत बेहतर होंगे।