भाषाई प्रौद्योगिकी ABBYY। जटिल से आदर्श तक

एक प्राकृतिक भाषा के स्वचालित प्रसंस्करण और एक मशीन द्वारा पाठ के अर्थ की समझ से जुड़ी समस्याओं के समाधान पर, मानवता एक दर्जन से अधिक वर्षों से संघर्ष कर रही है। इस क्षेत्र में कुछ सफलता रूसी कंपनी एबीबीवाई द्वारा हासिल की गई थी, जिसने गुणात्मक रूप से विभिन्न स्तर पर कई लागू कार्यों को करने के लिए कंप्रेनो सार्वभौमिक भाषाई मंच विकसित किया था।

कृत्रिम बुद्धि के सिद्धांत में प्रमुख समस्याओं में से एक से निपटने और कंप्यूटर द्वारा मानव भाषण को समझने की समस्या को हल करने का विचार पंद्रह साल पहले एबीबीवाई विशेषज्ञों के दिमाग में पैदा हुआ था। यह तब था जब कंपनी के संस्थापक, डेविड जान, अनुसंधान और विकास, और फिर प्रायोगिक डिजाइन और तकनीकी कार्य के दाखिल होने के साथ एक नई पीढ़ी की मशीन अनुवाद प्रणाली का निर्माण शुरू हुआ, जो बाद में एक अलग कंप्रेनो प्रोजेक्ट (जिसे पहले नेचुरल लैंग्वेज कंपाइलर कहा जाता था) से संबंधित कई कार्यों को हल करने के लिए विकसित किया प्राकृतिक भाषा प्रसंस्करण के साथ।

कंप्यूटर भाषा विज्ञान के क्षेत्र में एक क्रांति लाने के लिए एबीबीवाई के इरादों की गंभीरता का सबूत न केवल कंपनी के तीन सौ से अधिक कर्मचारियों के कई वर्षों के काम से है, बल्कि नई प्रौद्योगिकियों (स्कोलोवो फाउंडेशन) के विकास और व्यावसायीकरण केंद्र के विकास कोष से मंच में रुचि से है, जो सबसे आशाजनक परियोजनाओं और अनुकरणीय परियोजनाओं का चयन करता है। समर्थन करते हैं। इस मामले का वित्तीय पक्ष कोई कम आश्वस्त नहीं है: कंप्रेनो में स्कोलोवो फंड का कुल निवेश 475 मिलियन रूबल है, जो परियोजना का आधा वित्तपोषण है। दूसरा भाग (475 मिलियन रूबल) का योगदान एबीबीवाई द्वारा ही किया जाता है। प्रभावशाली संख्या और परियोजना के दायरे पर प्रकाश डाला गया।
प्रौद्योगिकी योग

कंप्रेनो अंतर्निहित तंत्र की बारीकियों और उनके काम के तर्क को समझने के लिए, आपको परियोजना की मूल अवधारणा को समझने की आवश्यकता है, जो इस प्रकार है। कोई फर्क नहीं पड़ता कि सभ्य लोग किस भाषा में बात करते हैं, वे अवधारणाएं जो वे शब्दों के साथ डिजाइन करते हैं, अलग-अलग की तुलना में बहुत अधिक हैं। हम सभी घरों में रहते हैं, फर्नीचर, फोन, ड्राइव कार का उपयोग करते हैं, कार्यालयों में काम करने जाते हैं, हवाई जहाज से उड़ान भरते हैं, आदि। ये अवधारणाएँ भाषा की सामान्य और स्वतंत्र हैं कि हम उनकी कल्पना कैसे करते हैं। इस कनेक्टिंग थ्रेड को पकड़ने के बाद, ABBYY ने एक विशेष भाषा से स्वतंत्र अवधारणाओं का एक सार्वभौमिक शब्दार्थ पदानुक्रम बनाया।
अवधारणाओं की शब्दार्थ पदानुक्रम सभी भाषाओं के लिए एक पेड़ सार्वभौमिक है, जिनमें से मोटी शाखाएं अधिक सामान्य अवधारणाएं हैं (उदाहरण के लिए, "आंदोलन"), और पतले अधिक विशिष्ट अर्थ मूल्य हैं, जो सामान्य से विशेष रूप से संरचित हैं ("क्रॉल", "फ्लाई", "वॉक") पैदल "," रन ", आदि)। अगर हम संगठन के प्रमुख के बारे में बात कर रहे हैं, तो "नेता" की अवधारणा इस शाब्दिक वर्ग के सिर पर दिखाई देती है, और उपवर्ग "बॉस", "बॉस", "नेता", "बॉस" और अन्य शब्दों और वाक्यांशों जैसे अधिक विशिष्ट अवधारणाएं प्रस्तुत करते हैं। , जो अवधारणाओं के वृक्ष पर एक प्रकार के पत्रक हैं।



इस तरह की वृक्ष संरचना पूर्वजों से वंशजों तक गुणों की विरासत को सुनिश्चित करती है और एक भाषा से दूसरी भाषा में अनुवाद की प्रक्रिया में अस्पष्टताओं से बचाती है। डेवलपर्स "प्रबंधन" शब्द के अर्थ के उदाहरण पर एक स्पष्टीकरण देते हैं, रूसी में सार्वभौमिक सिमेंटिक ट्री की विभिन्न शाखाओं पर कई अवधारणाओं के अनुरूप है: "प्रबंधन" को एक विभाग के रूप में व्याख्या करना संभव है, या यह संभव है, उदाहरण के लिए, एक क्रिया के रूप में। और इस तथ्य के कारण कि कुछ संगठन के अर्थ में सिमेंटिक क्लास "प्रबंधन" का प्रतिनिधित्व पेड़ की एक शाखा में किया जाता है, और दूसरे में क्रियाओं के रूप में, सिस्टम स्वचालित रूप से सही शब्द का चयन करता है जब अंग्रेजी में पाठ का अनुवाद, वाक्यांश के संदर्भ के आधार पर विभाग या प्रबंधन का चयन करना; । नतीजतन, कम्प्रेनो के मूल के रूप में कार्य करने वाले शब्दार्थ विवरण अंग्रेजी या रूसी से एक सार्वभौमिक भाषा में और एक सार्वभौमिक भाषा से किसी भी अन्य के लिए पाठ का अनुवाद करना आसान बनाते हैं जिनके विवरण सिस्टम में उपलब्ध हैं।

Compreno प्लेटफ़ॉर्म का दूसरा प्रमुख ब्लॉक सिंटैक्स है। यह समझना महत्वपूर्ण है कि वाक्यविन्यास बताता है कि एक या अधिक वाक्यों के बीच अवधारणाएं एक-दूसरे से कैसे संबंधित हैं। इन संबंधों को भाषाओं में सांकेतिक करने के लिए, वाक्य के सदस्य, समन्वय, शब्द क्रम, मामले, विभिन्न सेवा शब्द, संयोजन, प्रस्ताव और बहुत कुछ उपयोग किया जाता है। सिंटेक्स, आलंकारिक रूप से बोल रहा है, इन तत्वों का एक महान निर्माता है।

विभिन्न भाषाएं विभिन्न कंस्ट्रक्टर तत्वों का उपयोग कर सकती हैं। उदाहरण के लिए, अंग्रेजी में, शब्द क्रम वाक्य रचना का एक महत्वपूर्ण हिस्सा है। संवादी वाक्य एक तरह से बनते हैं, कथा - दूसरे में, और कुछ नहीं। समय और स्थान की कुछ वैकल्पिक परिस्थितियां हैं जो वाक्य की शुरुआत में रखी जाती हैं, लेकिन आमतौर पर विषय पहले स्थान पर होता है, विधेय दूसरे में होता है और बाकी भाषण आगे स्थित होता है। रूसी में, स्थिति अलग है। हम शब्द क्रम से बंधे नहीं हैं, लेकिन दूसरी ओर, समन्वय हमारे लिए महत्वपूर्ण है, जो वास्तव में, रूसी अध्ययन करने वाले लोगों के लिए शायद सबसे बड़ा ठोकर है।

पाठ को पार्स करते समय विचार करने के लिए एक और महत्वपूर्ण बात यह है कि जब हम किसी शब्द को याद करते हैं तो शब्दों के बीच प्रतिस्थापन और कनेक्शन होते हैं, लेकिन यह समझें कि यह वैसे भी है। एक ज्वलंत उदाहरण वाक्यांश है "लड़का लाल सेब प्यार करता है, और लड़की हरा है।" यह स्पष्ट है कि लड़की के संबंध में हम सेब के बारे में बात कर रहे हैं (साथ ही इस तथ्य के बारे में भी कि वह उनसे प्यार करता है), और हम इसे पूरी तरह से समझते हैं, हालांकि पाठ में कुछ शब्द गायब हैं। अन्य, अधिक जटिल वाक्यविन्यास लिंक हैं जो कंप्रेनो द्वारा सफलतापूर्वक पार्स किए गए हैं। उदाहरण के लिए: "हालांकि लड़का खेलना चाहता था, वह समझ गया कि उसके पास बहुत कम समय है।" इस मामले में, हमने दो बार "लड़के" शब्द को "वह" और "उसे" के साथ बदल दिया, और मशीन के लिए यह समझना महत्वपूर्ण है कि यह एक और एक ही वस्तु है और लापता नोड्स को पुनर्स्थापित करना है।



Compreno सिंटैक्स ब्लॉक एक वाक्य में विभिन्न अवधारणाओं की भूमिकाओं को पार्स करता है और उन्हें एक साथ जोड़ता है। सिस्टम पाठ का विश्लेषण करता है और कनेक्शन का एक पेड़ बनाता है, जिसमें आमतौर पर मुख्य चीज कुछ कार्रवाई होती है। इससे आगे वस्तु, विषय और अन्य विशेषताएँ आती हैं, जो वस्तु या विषय से जुड़ी होती हैं और ठोस वाक्य में निहित अर्थ को बताती हैं। संभव के रूप में पार्सिंग को सटीक बनाने के लिए, कॉम्प्रेनो अवधारणाओं के ऊपर वर्णित सार्वभौमिक पदानुक्रम के आधार पर सिमेंटिक विश्लेषण का उपयोग करता है। यह सब कुल मिलाकर मशीन द्वारा ग्रंथों के प्रसंस्करण में स्वतंत्रता का एक नया स्तर प्रदान करता है, यह मूल वाक्य के अर्थ को "समझने" और फिर इस अर्थ को किसी अन्य भाषा में संश्लेषित करने की अनुमति देता है।

अंत में, एबीबीवाई भाषाई मंच का तीसरा महत्वपूर्ण घटक सांख्यिकी है, जो सिस्टम को वाक्यांशों को सही ढंग से संयोजित करने की अनुमति देता है और अधिक पूरी तरह से समरूपता को समझता है, जब एक ही शब्द का अर्थ विभिन्न चीजों (एक विशिष्ट उदाहरण: "महल" और "महल") हो सकता है। अस्पष्ट व्याख्या के साथ वाक्यों के सही विश्लेषण के लिए कोई कम महत्वपूर्ण सांख्यिकीय जानकारी नहीं है। उदाहरण के लिए, "इन प्रकार के स्टील हमारी कार्यशाला में हैं" वाक्यांश का एक सक्षम विश्लेषण केवल अवधारणाओं के बीच संबंधों की आवृत्ति पर डेटा का सहारा लेकर किया जा सकता है, जिससे भाषण के संदर्भ को समझना या, दूसरे शब्दों में, चर्चा का विषय। यदि यह धातु विज्ञान के बारे में है, तो कहानी स्टील के बारे में है, अगर लोगों के व्यवहार के बारे में है, तो यह कुछ बहुत अच्छे प्रकारों के पक्ष में चुनाव करना तर्कसंगत होगा।
कम्प्रेनो सांख्यिकीय मॉडल विभिन्न विषयों और शैलियों के ग्रंथों के एक प्रभावशाली सेट पर आधारित है, जो सिस्टम द्वारा लगभग दैनिक संसाधित किए जाते हैं। इसके अलावा, शाब्दिक डेटा किसी भी तरह से नहीं है, लेकिन किसी व्यक्ति द्वारा एक भाषा से दूसरी भाषा में बनाया या अनुवादित किया गया है। इस तरह के दृष्टिकोण से निर्णय लेने की प्रक्रिया में त्रुटियों की संभावना कम हो जाती है और अर्थ निर्माण के संश्लेषण में विकृतियां होती हैं।

आपने आखिर क्या किया? परिणामस्वरूप, एबीबीवाई विशेषज्ञ ज्ञान, कल्पना, विचारों और अनुभव के संयोजन में सफल हुए और "तीन स्तंभों" पर निर्मित - अवधारणाओं, वाक्यविन्यास और सांख्यिकी की शब्दार्थ पदानुक्रम - दुनिया की संरचना के बारे में भाषा-स्वतंत्र डेटा और इस डेटा तक पहुंचने के लिए एक मॉडल। नतीजतन, हम कंप्यूटर द्वारा पाठ के अर्थ को समझने के लिए जितना संभव हो उतना करीब लाने में कामयाब रहे और भाषाई समस्याओं की एक विस्तृत परत को हल करना संभव बना दिया। कौन से हैं?

दिमाग का खेल

ABBYY Compreno मंच के व्यावहारिक महत्व के बारे में बोलते हुए, डेवलपर्स मुख्य रूप से दो प्रमुख समस्याओं को हल करने पर ध्यान केंद्रित करते हैं - कई भाषा जोड़े और बुद्धिमान जानकारी पुनर्प्राप्ति के लिए ग्रंथों का स्वचालित अनुवाद।
डिजिटल डेटा के युग में, देशों के बीच औपचारिक सीमाओं और बाधाओं को मिटाते हुए, पाठ डेटा के अनुवाद से जुड़ा पहला कार्य अत्यंत महत्वपूर्ण है। बहुभाषी जानकारी के लगातार बढ़ते संस्करणों के साथ, आधुनिक परियोजनाओं के कार्यान्वयन में दुनिया के विभिन्न हिस्सों से प्रतिभागियों की बढ़ती संख्या को शामिल करने की आवश्यकता है, न केवल अनुवाद प्राप्त करने की गति, बल्कि आउटपुट पर प्राप्त ग्रंथों की गुणवत्ता भी महत्वपूर्ण हो जाती है। उत्तरार्द्ध के प्रावधान के साथ, मौजूदा मशीन अनुवाद प्रणालियां बिल्कुल भी चिकनी नहीं हैं क्योंकि वे पहली नज़र में लग सकते हैं। इसका कारण वैज्ञानिक दृष्टिकोणों में कई मौलिक सीमाएं हैं, जो कई मौजूदा मशीन अनुवादकों का आधार हैं। ये सीमाएं अपवादों को सही ढंग से संभालने में असमर्थता के साथ जुड़ी हुई हैं, भाषा संरचनाओं की उद्देश्य जटिलता, शब्दार्थ की अनदेखी, एक वाक्य में वास्तविक संबंधों को ठीक करने में असमर्थता और अन्य समस्याएं। कंप्रेनो तकनीक दुनिया के कई वैज्ञानिकों के मौलिक भाषाई अनुसंधान का इंजीनियरिंग अवतार है, जिसमें लगभग 50 वर्षों का अनुभव है। और इसके लिए धन्यवाद, कॉम्प्रेनो इन कठिनाइयों को दूर कर सकता है और आपको पाठ को उसी अर्थ के साथ संश्लेषित करने की अनुमति देता है, जैसा कि मूल भाषा में था, या जितना संभव हो सके। प्रणाली की क्षमताओं का मूल्यांकन करने के लिए, Google के लेख "बाबेल मछली" के टुकड़ों के अनुवाद का एक उदाहरण सांख्यिकीय अनुवादक और ABBYY मंच का उपयोग करके अनुवाद का भविष्य प्रस्तुत करता है। टिप्पणियाँ, जैसा कि वे कहते हैं, अनावश्यक हैं।

स्रोत:
यदि हमने सिस्टम को उन भाषाओं को देने के लिए मैन्युअल रूप से प्रयास किया, तो यह एक निराशाजनक कार्य होगा। एकमात्र संभावित तरीका जो हम कर सकते थे वह है मशीन की संगणना की शक्ति का दोहन। हम सांख्यिकीय मॉडल का निर्माण करते हैं जो स्वचालित रूप से खुद को प्रशिक्षित कर रहे हैं और हर समय सीख रहे हैं।

ABBYY Compreno:
अगर हमने सिस्टम को उन भाषाओं को मैन्युअल रूप से देने की कोशिश की, तो यह एक निराशाजनक काम होगा। एकमात्र संभव तरीका हम यह कर सकते थे कि मशीन गणना की शक्ति का उपयोग किया जाए। हम सांख्यिकीय मॉडल बनाते हैं जो हर समय स्वचालित रूप से सीखते हैं और सीखते हैं।

सांख्यिकीय अनुवादक:
अगर हमने सिस्टम को इन भाषाओं को देने के लिए स्वयं प्रयास किया, तो यह एक निराशाजनक कार्य होगा। ऐसा करने का एकमात्र संभव तरीका यह है कि हम कंप्यूटिंग मशीन की क्षमताओं का उपयोग करें। हम ऐसे सांख्यिकीय मॉडल बनाते हैं जो अपने आप को शिक्षित करते हैं और हर समय सीखते हैं।

दूसरे कार्य का महत्व - बौद्धिक खोज - मानव जाति द्वारा उत्पन्न जानकारी की विशाल मात्रा का परिणाम है, तेजी से बढ़ रहा है और विश्लेषण के लिए अन्य दृष्टिकोणों की आवश्यकता है और आवश्यक डेटा की खोज है। अब खोज मुख्य रूप से मौखिक जानकारी का उपयोग करके काम करती है: किसी दस्तावेज़ की खोज करते समय, हम पहले उन शब्दों को सोचते हैं जो इसमें निहित होने चाहिए, फिर कुंजी वाक्यांश दर्ज करें, डेटा प्राप्त करें जो खोज मानदंडों को पूरा करता है, और फिर मैन्युअल रूप से उस जानकारी का चयन करें जिसमें हम रुचि रखते हैं। इस तरह की एक परिचित खोज में कई बड़ी कमियां हैं। सबसे पहले, यह हमेशा एक क्वेरी तैयार करना संभव है जो उस जानकारी का सही वर्णन करता है जिसे खोजने की आवश्यकता है। दूसरे, योग्य शब्दों के साथ आने से, हम चयन को सीमित करते हैं और खोज को सीमित करते हैं। अंत में, खोजशब्दों के सभी संयोजनों के माध्यम से छांटना कभी-कभी बेहद थकाऊ होता है, यदि असंभव न हो। ABBYY Compreno प्रौद्योगिकियां इन सभी कमियों का सफलतापूर्वक सामना करती हैं, जो एक आम भाषा में तैयार की गई खोज क्वेरी से मशीन द्वारा निकाले गए अवधारणाओं और संबंधों का उपयोग करके एक सार्थक खोज की अनुमति देती हैं।
मंच का "उन्मूलन" और इसमें केंद्रित ज्ञान की विशाल मात्रा आपको कई अन्य लागू कार्यों को करने के लिए कंप्रेनो का उपयोग करने की अनुमति देती है। इसके आधार पर, कंपनियां बहुभाषी खोज और डेटा के वर्गीकरण, तथ्यों को निकालने और वस्तुओं, निगरानी, ​​सूचनाओं के अनधिकृत उपयोग से बचाने के लिए सिस्टम, स्वचालित अमूर्तता और दस्तावेजों की व्याख्या, भाषण मान्यता और कई अन्य कार्यों के बीच गुणात्मक रूप से नए समाधान बना सकती हैं।
Compreno के लिए एक समान रूप से आशाजनक और दिलचस्प क्षेत्र पाठ दृश्य से संबंधित समस्याओं को हल कर रहा है। एक आकर्षक उदाहरण टेक्स्ट स्क्रिप्ट के आधार पर एनिमेटेड वीडियो और फिल्मों का निर्माण है। यह इस दिशा में है कि बाजलेव्स इनोवेशन कंपनी काम करती है, स्कोल्कोवो परियोजना में भी सक्रिय भाग ले रही है और पहले ही ग्रंथों के इंटरैक्टिव त्रि-आयामी दृश्य के लिए एक सॉफ्टवेयर पैकेज बनाने में कुछ परिणाम प्राप्त कर चुकी है। ABBYY में, यह गर्व के बिना नहीं है कि वे कहते हैं कि अब दुनिया में ऐसा कोई सार्वभौमिक मंच नहीं है जो कई लागू समस्याओं को हल कर सके, जिनके लिए ग्रंथों के उच्च-गुणवत्ता वाले भाषाई विश्लेषण की आवश्यकता होती है।

बहुत बड़ी योजना

आज, जैसा कि ऊपर उल्लेख किया गया है, परियोजना में 300 से अधिक विशेषज्ञ भाग लेते हैं, युवा कर्मचारी, मास्को इंस्टीट्यूट ऑफ फिजिक्स एंड टेक्नोलॉजी और देश के अग्रणी विश्वविद्यालयों के मास्को विश्वविद्यालय के विभाग के छात्र - मॉस्को स्टेट यूनिवर्सिटी, रूसी स्टेट ह्यूमैनिटेरियन यूनिवर्सिटी, मॉस्को स्टेट पेडियोगॉजिकल यूनिवर्सिटी, सेंट पीटर्सबर्ग स्टेट यूनिवर्सिटी और कई अन्य सक्रिय रूप से शामिल हैं। यदि आप काम की जड़ों को देखते हैं, तो वे रूसी और विश्व भाषा विज्ञान के गंभीर शोध में निहित हैं। इस वैज्ञानिक सामान का उपयोग ABBYY विशेषज्ञों द्वारा किया जाता है। कंपनी की योजनाओं में परियोजना में भाग लेने और परियोजना को अंतरराष्ट्रीय दर्जा देने के लिए भाषा विज्ञान और भाषा विज्ञान के क्षेत्र में अग्रणी विश्व विशेषज्ञों को आकर्षित करना शामिल है।

वर्तमान में, एबीबीवाई कंप्रेनो पर आधारित सॉफ्टवेयर समाधानों को तैनात करने के लिए पायलट परियोजनाओं को लागू कर रहा है। अब तक, परियोजना आरंभकर्ता विकसित किए जा रहे उत्पादों के बारे में विवरण का खुलासा नहीं करते हैं, लेकिन आश्वासन देते हैं कि सभी को अंततः उनके कार्यान्वयन और व्यापक कार्यान्वयन से लाभ होगा - दोनों सॉफ्टवेयर निर्माता और उपभोक्ता, अर्थात्, आप और मैं।

भविष्य में कितनी महत्वाकांक्षी ABBYY Compreno परियोजना बदलेगी, इस बारे में बात करना जल्दबाजी होगी। हालांकि, यह कहना सुरक्षित है कि निकट भविष्य में, कंप्यूटर भाषाविज्ञान भाषा मॉडलिंग के क्षेत्र में महत्वपूर्ण प्रगति करेगा और पूरी तरह से नए तकनीकी आधार पर स्विच करेगा, जिसकी नींव अब रखी जा रही है।