स्मार्टकैट: ट्रांसलेटर्स के लिए क्लाउड टेक्नोलॉजीज

अनुवादकों का काम दिलचस्प है: विभिन्न भाषाओं में बहुत सी जानकारी लगातार उनके माध्यम से गुजरती है। अक्सर ऐसा होता है कि अगले 100-पेज के निर्देश का अनुवाद कल की आवश्यकता थी। और अगर इसी तरह के ग्रंथों का पहले से ही पहले से ही अनुवाद किया जा चुका है (निर्देशों या अन्य तकनीकी दस्तावेज़ीकरण के पिछले संस्करण), तो कार्य थोड़ा आसान हो सकता है, लेकिन एक ही समय में कॉपी-पेस्ट करें और सुनिश्चित करें कि सभी परिवर्तनों को ध्यान में रखा गया है, फिर एक और सबक है। किसी मौजूदा अनुवाद का उपयोग करने और उसके अनुक्रम को सुनिश्चित करने के लिए, कैट टूल नामक कार्यक्रमों का एक विशेष वर्ग है।

CAT का अर्थ है कंप्यूटर-एडेड (असिस्टेड) ​​अनुवाद - "कंप्यूटर-असिस्टेड ट्रांसलेशन" या "स्वचालित अनुवाद"। लेकिन जब आप एक भाषा में पाठ दर्ज करते हैं, तो एक बटन दबाकर और उसका अनुवाद पाने के लिए इन तकनीकों को मशीन अनुवाद के साथ बराबर न करें: स्वचालित अनुवाद एक व्यापक अवधारणा है, और कैट सिस्टम के मामले में, किसी व्यक्ति द्वारा किए गए मौजूदा अनुवाद का उपयोग किया जाता है।

कुछ दिनों पहले, ABBYY लैंग्वेज सर्विसेज ने अनुवाद प्रक्रिया को स्वचालित करने के लिए अपने स्वयं के प्लेटफॉर्म SmartCAT का परीक्षण बंद कर दिया। और इस पोस्ट में हम थोड़ा बताने की कोशिश करेंगे कि CAT सिस्टम क्या कर सकता है।

सबसे पहले, कैट टूल्स में विभिन्न भाषाई संसाधन शामिल होते हैं, जो समान वाक्यांशों और वाक्यों वाले समान ग्रंथों के साथ अनुवादकों के काम की सुविधा प्रदान करते हैं - तकनीकी, कानूनी और चिकित्सा शब्द, उत्पाद विवरण और बहुत कुछ। सबसे आम संसाधनों में से एक अनुवाद मेमोरी डेटाबेस हैं - अनुवाद मेमोरी डेटाबेस जिसमें पहले से पाठ के अनुवादित खंड (वाक्यांश और वाक्य) शामिल हैं। उन्हें समानांतर ग्रंथों के युग्मों के आधार पर बनाया और अद्यतन किया जाता है। एक अन्य महत्वपूर्ण संसाधन शब्दावलियाँ हैं, जिनमें किसी विशेष कंपनी द्वारा अपनाई गई शर्तें और अवधारणाएँ शामिल हैं (या परियोजनाओं के एक विशिष्ट समूह के लिए अनुमोदित)। इसके अलावा, स्मार्टकाट आपको मशीन अनुवाद तकनीक के साथ काम करने की अनुमति देता है। विदेशी अनुवादक लंबे समय से इस संसाधन का उपयोग कर रहे हैं, क्योंकि यह अनुवाद प्रक्रियाओं को गति देने और श्रम उत्पादकता बढ़ाने में मदद करता है। रूस में, हर कोई यह नहीं समझता है कि मशीन अनुवाद से क्या उम्मीद की जा सकती है, लेकिन इस तकनीक में रुचि बढ़ रही है: इस साल, कई उद्योग सम्मेलनों (उदाहरण के लिए, लोको किट , अनुवाद फोरम रूस ) में प्रतिभागियों ने मशीन अनुवाद को शुरू करने और उपयोग करने की विशेषताओं की तुलना में अधिक सक्रिय रूप से चर्चा की। पिछले वर्षों की घटनाएं।

उपरोक्त सभी भाषाई संसाधन एक CAT टूल का उपयोग करने वाले अनुवादक के कार्य को सरल बनाते हैं। पाठ अनुवाद प्रक्रिया के दौरान, SmartCAT व्यक्तिगत अनुवादों के लिए अनुवाद विकल्प प्रदान करेगा, मौजूदा अनुवाद स्मृति डेटाबेस से प्रतिस्थापन और कॉर्पोरेट शब्दावली के साथ जुड़े शब्दावलियों का उपयोग करेगा। अनुवादक कर सकता है:

• ऐसे प्रतिस्थापन का लाभ उठाएं और उन्हें स्वीकार करें
• प्रस्तावित अनुवाद विकल्पों को संपादित करें (यदि आपको व्याकरणिक रूप को बदलने की आवश्यकता है)
• खंड को अपने तरीके से अनुवाद करें।

उसी समय, परिवर्तित संस्करण मौजूदा अनुवाद मेमोरी डेटाबेस में भी जोड़ा जा सकता है, फिर प्लेटफ़ॉर्म अगली बार इसे पेश करेगा। इसके अलावा, SmartCAT इंटरफ़ेस के दाईं ओर एक अलग पैनल में, चयनित खंड के मशीन अनुवाद के परिणाम प्रदर्शित किए जाएंगे। ज्यादातर मामलों में, "खरोंच से अनुवाद" की तुलना में इस तरह के "कच्चे" सामग्री को संपादित करना बहुत आसान है - इसे आमतौर पर पोस्ट-एडिटिंग कहा जाता है: अनुवादक या संपादक तैयार पाठ की जांच करता है, मूल के साथ तुलना करता है, और इसे वांछित भाषा मानक या गुणवत्ता के आवश्यक स्तर पर लाता है। यह कला, रचनात्मक ग्रंथों (नारों, विज्ञापन सामग्री, आदि), व्यक्तिगत पत्राचार और अन्य समान ग्रंथों के कार्यों के साथ काम नहीं करेगा।

CAT उपकरण दस्तावेज़ स्वरूपण को बनाए रखते हैं। मान लीजिए कि एक अनुवादक एक जटिल संरचना के साथ एक दस्तावेज़ पर काम कर रहा है जिसमें बहुस्तरीय सूची, शैली, लिंक और अन्य डिज़ाइन तत्व शामिल हैं। स्मार्टकैट विशेष पाठों में स्रोत पाठ के लेआउट के बारे में जानकारी संग्रहीत करता है जो अनुवाद पर काम करते समय छोड़ी जा सकती हैं, और फिर अनुवादित पाठ मूल के समान दिखाई देगा।

अधिकांश कैट टूल डेस्कटॉप प्रोग्राम हैं - वे एक कंप्यूटर पर इंस्टॉल किए जाते हैं, और आप केवल उस पर प्रोग्राम का उपयोग कर सकते हैं। यदि आप किसी अन्य कंप्यूटर पर अनुवाद करना चाहते हैं - तो आपको एक फ्लोटिंग लाइसेंस या कुछ अन्य ट्रिक्स चाहिए। स्मार्टकैट में एक सरल इंटरफ़ेस और क्लाउड आर्किटेक्चर है जो कुछ फायदे प्रदान करता है:

• कई अनुवादक एक साथ एक परियोजना पर काम कर सकते हैं, भले ही वे दुनिया के विभिन्न हिस्सों में हों;
• सभी आवश्यक सामग्री (अनुवाद मेमोरी डेटाबेस, शब्दकोष, आदि) एक विशेष परियोजना के सभी अनुवादकों के लिए एक साथ उपलब्ध हैं।

हमारे प्लेटफ़ॉर्म में एक विशेष TranslConnector मॉड्यूल है जो आपको बाहरी संसाधनों से जुड़ने की अनुमति देता है - सामग्री विकास और निर्माण प्रणाली, इलेक्ट्रॉनिक दस्तावेज़ प्रबंधन और कई अन्य। इसके लिए धन्यवाद, आप केवल एक क्लिक में एक साइट, या किसी ई-कॉमर्स पोर्टल का अनुवाद प्राप्त कर सकते हैं: आंतरिक संसाधन में कार्य इसके समाधान के लिए जिम्मेदार अनुवादक को स्थानांतरित किया जाता है, और वह सीधे सिस्टम में आवश्यक परिवर्तन करता है और तैयार पाठ को वापस करता है। इस प्रकार, SmartCAT उपयोगकर्ता अपने परिचित सिस्टम के इंटरफेस में अनुवाद के साथ काम कर सकते हैं, और कंपनियां प्लेटफ़ॉर्म पर आधारित विशिष्ट परियोजनाओं के लिए समाधान बनाते हुए, सबसे सुविधाजनक तरीके से अनुवाद प्रक्रियाओं का निर्माण और संचालन कर सकती हैं। अनुवाद किसी आंतरिक टीम (उदाहरण के लिए, अनुवाद विभाग) या बाहरी टीम (अनुवाद कंपनियां) द्वारा किया जा सकता है।

कभी-कभी अनुवादकों को पीडीएफ दस्तावेजों और चित्रों के साथ काम करना पड़ता है, जिससे महत्वपूर्ण असुविधा होती है। आप केवल ऐसी फ़ाइलों में पाठ को बदल नहीं सकते हैं, इसलिए आपको उन्हें अनुवाद करने से पहले पहचानने की आवश्यकता है - पाठ डेटा को निकालें। बेशक, आप हमेशा स्कैन प्रिंट कर सकते हैं, उन्हें मॉनिटर के बगल में लटका सकते हैं और एक पाठ संपादक में उनकी सामग्री को फिर से टाइप कर सकते हैं, अगर आपको समय और प्रयास का ध्यान नहीं है। SmartCAT ABBYY OCR प्रौद्योगिकियों के साथ एकीकरण के कारण इस तरह के फ़ाइल स्वरूपों के साथ काम को बहुत सरल करता है: बस आवश्यक दस्तावेज़ को सिस्टम में लोड करें और यह स्वचालित रूप से अनुवाद के लिए पाठ को निकाल देगा। यानी, अनुवादकों को कार्यक्रम छोड़ना भी नहीं पड़ता।

इसके अलावा, हमारा CAT टूल विशिष्ट परियोजनाओं में अनुवादकों के प्रदर्शन को माप सकता है। मार्च में, हमारे सहयोगियों ने अनुवाद स्वचालन मुद्दों पर TAUS सम्मेलन में भाग लिया। इवेंट के अधिकांश प्रतिभागियों के अनुसार, पोस्ट-एडिटिंग मशीन ट्रांसलेशन के प्रोजेक्ट्स में, आपको किसी विशेष सेगमेंट के स्तर पर संपादन के समय और राशि को ट्रैक करने की आवश्यकता होती है। हमने फैसला किया कि यह न केवल मशीन अनुवाद के साथ काम को नियंत्रित करने के लिए समझ में आता है, बल्कि संपूर्ण अनुवाद प्रक्रिया, और हमने स्मार्टकाट में एक ऑनलाइन परियोजना निगरानी प्रणाली को जोड़ा। मंच वास्तविक समय में विभिन्न मैट्रिक्स और प्रदर्शन संकेतकों का विश्लेषण करता है, जो आपको भाषाई सामग्रियों के साथ अनुवादकों, संपादकों और प्रूफरीडर्स के काम को अनुकूलित करने के लिए जानकारी प्राप्त करने की अनुमति देता है। इसके अलावा, इस तरह के डेटा से यह आकलन करने में मदद मिलती है कि किसी विशेष परियोजना में स्वचालन तकनीकों का उपयोग करने की लागत कितनी उचित है।

अब चलो थोड़ा बात करते हैं कि हमारे डेवलपर्स ने ऐसा क्या किया जिससे कि स्मार्टसैट ने प्रकाश देखा। विशेष रूप से, उन्होंने कोड की 1200 लाइनों के साथ एक छोटा लेकिन शक्तिशाली एप्लिकेशन सर्वर लिखा, जो कि विन-सर्विस में एक .Net असेंबली लोडर है। यदि आप अचानक कोड, थर्ड-पार्टी घटकों, या अन्य अप्रिय आश्चर्य में त्रुटियों का सामना करते हैं तो यह फिर से सुरक्षित रूप से बंद या रिबूट हो सकता है। इस मामले में, वह ध्यान से फिर से खड़े होने के लिए अपने गिरने का वचन देता है। इस स्थिति में, प्लग-इन असेंबली में एक NInject मॉड्यूल होता है, जो व्यवसाय प्रक्रिया के उस हिस्से के लिए हैंडलर के साथ होता है, जो वेब अनुरोध के ढांचे में फिट नहीं हो सकता है। इस भाग को एक कार्य के रूप में प्रस्तुत किया जाता है, जिसे पंक्तिबद्ध किया जाता है। और MongoDB और SQL में नौकरी कतारों के साथ तेज और स्केलेबल काम के लिए, हमने सामान्यीकृत पैटर्न विकसित किए।

इसके अलावा, हमारे विशेषज्ञों ने वेबएपीआई 5.0 में एक सुंदर और सुविधाजनक विशेषता-आधारित रूटिंग को लागू किया है। RAM या हार्ड डिस्क के लिए कार्य संचालकों को सीमित नहीं करने के लिए, हमने बाहरी फ़ाइल प्रदाताओं (उदाहरण के लिए, OCR- सर्वर) से स्ट्रीमिंग डेटा को TranslConnector में जोड़ा, और इसमें बदले में, MongoDB GridFS को समान हस्तांतरण।

हम विकास, परीक्षण और संचालन के दौरान अनुप्रयोगों को अधिक आसानी से कॉन्फ़िगर करने के लिए कॉन्फ़िगर फ़ाइलों को व्यवस्थित करने के तरीके के साथ भी आए। उदाहरण के लिए, इन फ़ाइलों की तैनाती में सैन्य सेवाओं और डेटाबेस के लिए लेखांकन जानकारी नहीं है - वे गतिशील रूप से किसी अन्य निर्देशिका से जुड़े हुए हैं। ऐसी सेटिंग्स भी हैं जो सर्वर और उसके नेटवर्क कनेक्शन की विशिष्ट भूमिका पर निर्भर करती हैं। यह सब आपको विभिन्न सर्वरों पर कई हैंडलर शामिल करने की अनुमति देता है।

निकट भविष्य में, हम आपको हमारे डेवलपर्स से तकनीकी जानकारी के बारे में और बताने की कोशिश करेंगे कि ये प्रौद्योगिकियां स्मार्टकैट उपयोगकर्ताओं को क्या लाभ देती हैं। क्लाउड प्लेटफ़ॉर्म अभी भी बंद परीक्षण के चरण में है, लेकिन सभी इच्छुक आधिकारिक वेबसाइट पर इसमें भाग लेने के लिए आवेदन कर सकते हैं।

डेनिस फ्रोलोव
ABBYY भाषा सेवाएँ