साइंसहब # 06: कंप्यूटर भाषाविज्ञान

वैज्ञानिकों की प्रयोगशालाओं के लिए लगातार यात्राएं, हम एबीबीवाई कंपनी को मिले, और एमआईपीटी में कंप्यूटर भाषा विज्ञान विभाग में सिमेंटिक विश्लेषण समूह के प्रमुख और शिक्षक अनातोली स्ट्रोस्टिन के साथ बात की। उन्होंने अपने समूह के काम के बारे में, एबीबीवाई में कंप्यूटर भाषा विज्ञान की दिशाओं और ऑन्कोलॉजिस्ट के बारे में बात की।



पहले आपको शब्दावली निर्धारित करने की आवश्यकता है। तो, कंप्यूटर भाषाविज्ञान एक विज्ञान है, एक तरफ, भाषा के बारे में, और दूसरी ओर, कंप्यूटर के तरीकों का उपयोग करके भाषा (हमेशा प्राकृतिक नहीं) के साथ कैसे काम करें। यह एक विज्ञान है जो भाषा विज्ञान और कंप्यूटर विज्ञान के चौराहे पर उत्पन्न हुआ। विभिन्न कोणों से कंप्यूटर भाषाविज्ञान प्राकृतिक, औपचारिक भाषा की जांच करता है। इस विज्ञान के केंद्र में भाषा की अवधारणा है, जिसे विभिन्न कोणों से देखा जा सकता है। यह माना जा सकता है, उदाहरण के लिए, औपचारिक रूप से। गणितीय भाषाविज्ञान के रूप में ऐसा क्षेत्र भी है, यह कंप्यूटर से पहले उत्पन्न हुआ और गणित की एक शाखा है जिसमें प्रमेय, प्रमाण, औपचारिक वस्तुएं हैं।

कंप्यूटर भाषाविज्ञान में, यह महत्वपूर्ण है कि हमेशा केंद्र में एक व्यावहारिक ठोस कार्य हो जिसे हल करने की आवश्यकता है। उदाहरण के लिए, स्वचालित पार्सिंग, मशीन अनुवाद, भाषण पहचान।

पार्सिंग क्या है: जब स्कूली बच्चों के लिए एक मानक कार्य है - यह निर्धारित करने के लिए कि वाक्य में कहाँ कौन से सदस्य हैं, कौन से शब्द मुख्य हैं, और जो अधीनस्थ हैं, लेकिन मानव हस्तक्षेप के बिना ऐसा करने के लिए, एक स्वचालित तरीके से। ऐसा करने के लिए, इनपुट पर कंप्यूटर में वर्णों की एक श्रृंखला होती है, जिसे सही ढंग से व्याख्या करने की आवश्यकता होती है, शब्दों में टूट जाती है, एक दूसरे से जुड़ी होती है और एक सिंटैक्स ट्री का निर्माण होता है। चूँकि प्राकृतिक भाषा वाक्य संरचना समवर्ती है, और यह सामान्य भाषा से समझने योग्य तथ्य है, न कि कंप्यूटर भाषाविज्ञान से।

एक समस्या के रूप में घर का नाम

पार्स करने में मुख्य कठिनाई होमोसेक्सुअलिटी की समस्या है, जब दो शब्दों को एक ही तरीके से लिखा जाता है, लेकिन इसके अलग-अलग अर्थ होते हैं, इस मामले में मशीन को समझना चाहिए कि वास्तव में क्या मतलब है।

अनातोली स्ट्रॉस्टिन: "होमोमी निम्नलिखित स्तरों पर उत्पन्न होती है। उदाहरण के लिए, जब हम यह समझने की कोशिश करते हैं कि शब्द एक-दूसरे से कैसे संबंधित हैं, तो एक वाक्य का एक विशिष्ट उदाहरण है जो हमेशा होता है: "ये प्रकार स्टॉक में बन गए हैं।" इस वाक्य में सभी प्रकार के समरूपता का प्रतिनिधित्व किया गया है। एक ओर, हम सुनते हैं कि कुछ लोगों ने गोदाम में भोजन करना शुरू कर दिया, और दूसरी ओर, कि गोदाम में विभिन्न प्रकार के धातु हैं। क्या इस प्रकार के स्टील हैं? या प्रकार शुरू कर दिया? यह सजातीय श्रव्य है। और अगर आप वाक्यगत पेड़ बनाते हैं, तो एक मामले में "बन" शब्द एक विधेय है (अर्थात, क्रिया "बन"), और दूसरे मामले में, "शब्द" एक विधेय है। तदनुसार, यदि आप दो पेड़ खींचते हैं, तो वे अलग-अलग होंगे। यह वाक्यविन्यास समरूपता का एक उदाहरण है। ”

समस्या यह है कि सजा के संदर्भ को स्वचालित रूप से कैसे पढ़ा जाए और गृहणियों को हल किया जाए। यह कंप्यूटर भाषाविज्ञान में एक क्षेत्र है।

कहानी

20 वीं शताब्दी के मध्य में एक दिशा के रूप में कंप्यूटर भाषाविज्ञान उत्पन्न हुआ। और स्फटिक का पहला कार्य पाठ के स्वचालित अनुवाद के लिए एक कार्यक्रम बनाने के लिए उन समय की बहुत महत्वाकांक्षी इच्छा थी। यह याद रखना चाहिए कि कंप्यूटर शक्ति में भिन्न नहीं थे। और समय के साथ, लोगों को एहसास हुआ कि यह काम कितना मुश्किल है।

उसी समय, कृत्रिम बुद्धि नामक एक दिशा लोकप्रिय थी। लोग बौद्धिक समस्याओं को हल करने के लिए एक कंप्यूटर चाहते थे। यद्यपि कृत्रिम बुद्धिमत्ता कंप्यूटर भाषा विज्ञान की तुलना में एक व्यापक क्षेत्र है, लेकिन प्राकृतिक भाषा प्रसंस्करण को इसके भाग के रूप में देखा गया था।

ए। एस .: “कुछ बिंदु पर मशीन सीखने के तरीकों में उछाल था। यह तब हुआ जब लोगों ने महसूस किया कि गणितीय आंकड़ों और विशेष एल्गोरिदम के तरीकों का उपयोग करके कंप्यूटर को किसी व्यक्ति के किसी प्रकार के बौद्धिक व्यवहार को सटीक रूप से पुन: पेश करना संभव है। मैं एक ऐसे कार्य का उदाहरण दे सकता हूं जो आज भी बहुत प्रासंगिक है। यह ग्रंथों में नामित संस्थाओं को खोजने का कार्य है जब आपको पाठ में संगठनों के सभी संदर्भों या संगठनों के सभी संदर्भों को खोजने की आवश्यकता होती है। यह पता चला है कि इस समस्या को विश्लेषणात्मक रूप से हल किया जा सकता है (नियम, जटिल एल्गोरिदम लिखें)। और आप इस समस्या को दूसरे तरीके से हल कर सकते हैं, ग्रंथों का एक गुच्छा लेकर, अपने हाथों से उसमें निशान लगाएँ कि लोग कहाँ हैं और संगठन कहाँ हैं। उसके बाद, इसे कंप्यूटर को दें, कहें: "देखो, इन ग्रंथों में व्यक्ति यहाँ है, और संगठन यहाँ है।" और वैज्ञानिक शिक्षण विधियों की मदद से, एक कंप्यूटर इस ज्ञान को अवशोषित कर सकता है। और अन्य ग्रंथों पर जो उन्होंने अभी तक नहीं देखा था, यह उच्च सटीकता के साथ दोहराया जाता है। यही है, वह एक और पाठ लेगा जो उसने पहले नहीं पढ़ा था, और उन ग्रंथों के साथ समानता से वह अनुमान लगाएगा कि जहां व्यक्तियों का उल्लेख है, जहां - संगठन। इस समय, वह स्वाभाविक रूप से, उन कुछ विशेषताओं का लाभ उठाएगा जो उसने स्वयं सीखी हैं। ये संकेत: पूंजी पत्र, कुछ रूपात्मक रूप। अलग-अलग हुक और हुक हैं जो वास्तव में पाठ में मौजूद हैं। हम पढ़ते हैं, हम समझते हैं कि यह एक व्यक्ति है। लेकिन वास्तव में, एक व्यक्ति आमतौर पर ऐसे और ऐसे संदर्भों में उपयोग किया जाता है। हम यह भी नहीं जानते हैं। और मशीन सीखने की विधि का उपयोग करने वाला एक कंप्यूटर इन संदर्भों को अवशोषित कर सकता है और पुन: पेश कर सकता है। जब लोगों को यह समझ में आया, तो मशीन सीखने के बहुत से अनुप्रयोग आए। मशीन लर्निंग के तरीके आज विभिन्न कोणों से पाठ विश्लेषण के कार्यों के संबंध में कंप्यूटर भाषा विज्ञान का एक बहुत महत्वपूर्ण हिस्सा हैं। मशीन लर्निंग की मदद से बहुत सी विभिन्न समस्याओं का समाधान हो जाता है। ”

पेशे "कंप्यूटर भाषाविद"

कंप्यूटर भाषा विज्ञान के लिए कई बुनियादी व्यवसायों का उपयोग किया जाता है। एक पेशा एक प्रोग्रामर है। एक और बात यह है कि आमतौर पर सभी प्रोग्रामर काम करने के लिए आते हैं, और उन्हें पीछे हटने की जरूरत होती है। लेकिन भाषाविदों की भी जरूरत है क्योंकि वे प्राकृतिक भाषा के ज्ञान के वाहक हैं। कंप्यूटर भाषा विज्ञान के क्षेत्र में गिरने वाले भाषाविदों को भी नया ज्ञान प्राप्त करना होगा, कंप्यूटर विज्ञान में काम के लिए अधिक संरचनात्मक और औपचारिक हो जाएगा।

ए। एस।: “कंप्यूटर भाषा विज्ञान में भाषाविदों और प्रोग्रामरों का सहयोग शामिल है। और वे एक दूसरे की ओर जाते हैं। प्रोग्रामर जो कंप्यूटर भाषा विज्ञान में संलग्न हैं, जैसा कि वे वस्तु का वर्णन करते हैं, उसे समझना चाहिए। कोई भी प्रोग्रामर, उदाहरण के लिए, हमारे स्थान पर (एबीबीवाई में), एक वाक्यविन्यास वृक्ष क्या समझता है, समझता है कि शब्द एक-दूसरे से कैसे संबंधित हैं, भाषाविज्ञान के बारे में बहुत कुछ जानता है, समझता है कि लिंग, संख्या और मामला क्या है। और हमारे शुद्ध रूप में एबीबीवाई में विशेष अमूर्त स्तर किया जाता है। यही है, भाषाविदों के लिए वे कुछ प्रकार की औपचारिक भाषाएं बनाते हैं, वे वातावरण जिनके भीतर वे काम करते हैं, और जो दुनिया के उनके दृष्टिकोण के करीब हैं। वे स्वाभाविक रूप से भाषा के करीब हैं। और भाषाविद इन वातावरणों में उबलते हैं। लेकिन साथ ही, वे अब भी अच्छी तरह से जानते हैं कि यहाँ वे अब इस तरह के नियम को लिखेंगे। और इस नियम को इस तरह के एक एल्गोरिथ्म और इसलिए इस्तेमाल किया जाएगा। भाषाविदों के पास ऐसे विचार हैं। इसके बिना, वे काम करने में सक्षम नहीं होंगे। कंप्यूटर भाषा विज्ञान पर नज़र रखने वाले भाषाविदों का प्रशिक्षण स्वयं भाषाविदों को काफी प्रभावित करता है। आज कमोबेश आधुनिक भाषाविद् (यदि हम ऐसे लोगों के बारे में बात करते हैं जो प्राकृतिक भाषा में लगे हुए हैं, तो इस बारे में सैद्धांतिक काम लिखते हैं), कंप्यूटर के तरीकों के बारे में विचारों पर लंबे समय तक चले हैं। "

ABBYY में ओंटेंगेंसर

मूल भाषाई घटक, जो कंप्रेनो प्रौद्योगिकी की नींव है, को पिछले कई वर्षों से एबीबीवाई में विकसित किया गया है। यह एक प्रोग्राम है जो अर्थ-सिंटैक्टिक पेड़ों का निर्माण करता है।

मूल परत का उपयोग, जो प्राकृतिक भाषा में किसी वाक्य को शब्दार्थ-वाक्य-विन्यास के पेड़ में बदल देता है, कोई उच्च-स्तरीय समस्याओं को हल कर सकता है। विशेष रूप से, जानकारी का निष्कर्षण। ये अलग-अलग संक्षिप्त रूप हैं, ज्यादातर अंग्रेजी बोलने वाले, लेकिन इन सभी में रूसी एनालॉग हैं। वास्तव में यह सूचना के विश्लेषण के आसपास के कार्यों का एक जटिल है। यदि इनपुट पर पाठ है, तो आपको इसे एक निश्चित तरीके से व्याख्या करने की आवश्यकता है। अनातोली एबीबीवाई में अपने समूह में यही कर रही है।

एएस: “थोड़ा और विस्तार से बोलते हुए, किसी चीज़ को एक निश्चित तरीके से व्याख्या और निकालने का क्या मतलब है? जानकारी का अध्ययन करने के कार्य हमेशा निम्नानुसार होते हैं। सबसे पहले, एक डोमेन मॉडल का वर्णन किया गया है। यही है, हम हमेशा जानते हैं कि हम किस समस्या को हल कर रहे हैं। और औपचारिक रूप से हम इसे ठीक करते हैं। इस डोमेन मॉडल को ऑन्कोलॉजी भी कहा जाता है। हम पहले से ही हमारी रुचि रखते हैं, उदाहरण के लिए, लोग: संगठन, संगठनों में लोगों के काम के तथ्य। या हम स्थानों में रुचि रखते हैं: स्थानों में संगठनों के स्थान के तथ्य। यही है, हम विषय क्षेत्र का एक वैचारिक आरेख बनाते हैं। और इस वैचारिक योजना के चश्मे के तहत, हम पाठ पर विचार करते हैं। यही है, हमें पाठ से वह सभी जानकारी निकालने की आवश्यकता है जो पाठ में है (जो पूरी तरह से अस्पष्ट होगी, क्योंकि किसी भी पाठ में बहुत सारी अलग-अलग जानकारी होती है)। हमें केवल उन सूचनाओं को निकालने की आवश्यकता है जो अलमारियों में फिट होती हैं, जिन्हें हमने पहले खुद के लिए आकर्षित किया था। इसलिए सूचना के अध्ययन के कार्य निर्धारित हैं। "

खुद ऑन्कोलॉजी बहुत अलग हैं, आमतौर पर वे विषयगत हैं। यह चिकित्सा, व्यवसाय का एक विज्ञान हो सकता है, यह खेल का एक विज्ञान हो सकता है। ऑन्कोलॉजी हमेशा पहले वर्णित है। आगे विकास शुरू होता है। यह विशेष लोगों द्वारा किया जाता है जिन्हें ओण्टोलॉजिस्ट कहा जाता है।

एक भाषाविद् और एक प्रोग्रामर के सहजीवन का एक अच्छा उदाहरण हैं, आमतौर पर वे गणितीय विश्वविद्यालयों के स्नातक होते हैं क्योंकि उन्हें वास्तविकता को अच्छी तरह से समझना चाहिए, कार्यों को उपटैब में तोड़ना चाहिए, यह समझना चाहिए कि संस्थाएं कहां हैं, वे कैसे संबंधित हैं। दूसरी ओर, उन्हें यह अच्छी तरह से पता होना चाहिए कि अर्थ-सिंटैक्टिक पेड़ क्या हैं, अर्थात् भाषाई ज्ञान है।

ए। एस।: "ओंटेंगाइनर बैठते हैं और एक उच्च-स्तरीय भाषा में नियम लिखते हैं। इनपुट पर, इस भाषा में सिमेंटिक-सिंटैक्टिक ट्री प्राप्त होते हैं, और आउटपुट पर यह संबंधित डोमेन मॉडल का एक वैचारिक ग्राफ उत्पन्न करता है। एक सरल उदाहरण यह है कि आपकी कंपनी में लोग, संगठन और कार्य तथ्य हैं। और आपके पास वाक्य है "वास्या ABBYY में काम करता है"। कार्यक्रम को व्यक्ति को "वास्या" (यानी किसी व्यक्ति की अवधारणा का एक विशिष्ट उदाहरण) को निकालना होगा, संगठन एबीबीवाई (संगठन की अवधारणा का एक विशिष्ट उदाहरण) को निकालना चाहिए और समझना चाहिए कि ये दो उदाहरण कार्य के संबंध से जुड़े हुए हैं। यह जानकारी निकालने का एक विशिष्ट उदाहरण है। यहां कठिनाई यह है कि एक प्राकृतिक भाषा में एक ही अवधारणा को बहुत अलग तरीके से व्यक्त किया जा सकता है। एक ही बात कहने के लिए यह हमेशा एक विशाल विविधता है। हम कह सकते हैं: "वास्या एक एबीबीवाई कर्मचारी हैं।" हम कह सकते हैं: "वास्या ABBYY में काम करती है।" हम कह सकते हैं: "वास्या को एबीबीवाई से निकाल दिया गया था", और इसका मतलब यह होगा कि वह एक बार एक कर्मचारी था। हम कह सकते हैं: "वासी एबीबीवाई में अंशकालिक काम करता है।" इन सभी वाक्यांशों को समझना चाहिए और एक आम भाजक को कम करना चाहिए। यह एक मॉडल रूप में जानकारी निकालने का कार्य है। ”

संक्षेप में, यह कहा जा सकता है कि कंप्यूटर भाषाविज्ञान जानकारी निकालने का एक उपकरण बनता जा रहा है जहाँ से इसे पहले नहीं निकाला जा सकता था।

के रूप में : “अगर कोई संरचित डेटाबेस में रखता है, तो हम इसे ले जा सकते हैं क्योंकि वे संरचित हैं। आपको केवल प्रारूप को समझने की आवश्यकता है, अर्थात उन्होंने उन्हें कैसे रखा। और अगर यह पाठ में लिखा गया है, तो ऐसा लगेगा कि केवल एक व्यक्ति ही इसे समझ सकता है। यह पता चला कि ऐसे तरीकों की मदद से उन कार्यक्रमों को लिखना संभव है जो मनुष्यों के बजाय समझ में आएंगे। ये मोटे तौर पर बोल रहे हैं, संरचित जानकारी में असंरचित जानकारी के कन्वर्टर्स। यह वही है जो हम ABBYY में अपने समूह के हिस्से के रूप में बना रहे हैं। "

सभी समान हैं, लेकिन वीडियो प्रारूप में यहां पाया जा सकता है।