एक्स न्यूरल स्विचर - कुकबुक (भाग 2)। एल्गोरिदम

नमस्ते।

आज मैं एक्स न्यूरल स्विचर में इनपुट भाषा पहचान एल्गोरिदम का उपयोग करने के बारे में बात करूंगा।

जैसा कि आप जानते हैं, पुंटो स्विचर किसी दिए गए भाषा के लिए विशिष्ट अक्षर संयोजन की असंभवता के आधार पर शब्दकोशों का उपयोग करता है। यदि आपने पुंटो को स्थापित किया है, तो आप उन्हें देख सकते हैं - यहां% PROGRAMFILES% \ Yandex \ Punto Switcher \ Data \ triggers.dat। कम से कम इतना तो Google ने मुझे बताया। इन शब्दकोशों को एन्क्रिप्ट किया गया है (मुश्किल नहीं है, लेकिन अभी भी)।
इसके अतिरिक्त, Punto कस्टम अपवादों का उपयोग करता है। मैं यह नहीं कह सकता कि वे कहाँ संग्रहीत हैं - कार्यक्रम बंद है

अब वापस एक्सनूर में। जिस समय मैंने linux (2005) का उपयोग किया, उस समय दो प्रोग्राम ऐसे थे जो लेआउट को पहचानने और स्विच करने की क्षमता की घोषणा करते थे - स्वेन (अभी भी जीवित) और xneur (आधा मृत)। मैंने परिष्करण के लिए xneur को चुना, तो यह संस्करण 0.0.3 था (http://www.linux.org.ru/forum/talks/811959)। उस समय, शुरुआती डेवलपर्स ने वास्तव में इसे छोड़ दिया था, और छह महीने से अधिक समय तक वहां कोई आंदोलन नहीं हुआ था।



उस समय, xneur मनहूस से अधिक था। के प्रेमियों के लिए, इसलिए बोलना, रोमांच करना, लोगों के पास अभी भी संस्करण 0.0.3 है - यह भयानक था।

तब लेआउट को पहचानने का मुख्य विचार पत्र संयोजन के "वजन" का विचार था। संक्षेप में, एक निश्चित, बल्कि बड़ा, पाठ लिया गया था, और इसके आधार पर यह माना जाता था कि एक विशिष्ट दो-अक्षर संयोजन कितनी बार होता है। एक विशेष भाषा के लिए इसका "वजन" गणना और एक फ़ाइल में लिखा गया था।
Xneur को पत्र संयोजन में शब्द को तोड़ना था और प्रत्येक लेआउट के लिए शब्द के "वजन" की गणना करना था। यदि मूल्य एक निश्चित सीमा से ऊपर था (आंख से निर्धारित), तो शब्द इस लेआउट में अनुवाद किया गया था।

कोशिश करने के बाद उस समय क्या था जब मुझे xneur में दिलचस्पी हो गई, मुझे एहसास हुआ कि यह अच्छा नहीं था। मैं सोचने लगा कि ये सब कैसे निखारूं।

आंतरिक मान्यता एल्गोरिदम के बसने से पहले, कुछ वर्षों का परीक्षण और त्रुटि बीत गई। मेरी कोई दार्शनिक या भाषाई शिक्षा नहीं है, सभी एल्गोरिदम का आविष्कार तर्क और अंतर्ज्ञान के आधार पर किया गया था।

विवेक ने मुझे पुंटो से शब्दकोशों का उपयोग करने की अनुमति नहीं दी, साथ ही इस विचार पर कि मैंने एक्सनूर बहुभाषी सोचा था, अर्थात्, रूसी-संलग्न शब्दकोश बस मुझे सूट नहीं किया था।

अगला, मैं प्रोग्राम द्वारा वर्तमान में उपयोग किए जाने वाले एल्गोरिदम का वर्णन करूंगा।

एल्गोरिदम

वर्तमान में, xneur एक बहु-मंच भाषा परिभाषा का उपयोग करता है। यानी मैंने बस उनकी विश्वसनीयता की डिग्री के आधार पर एल्गोरिदम की शुरुआत की। शायद, आप में से कई लोग यहां एंटीवायरस में इस्तेमाल होने वाली एक तरह की रैंकिंग देखेंगे।

स्ट्रिंग की एक सरणी को लेआउट परिभाषा फ़ंक्शन में इनपुट शर्तों के रूप में पारित किया जाता है, जिनमें से प्रत्येक सिस्टम में स्थापित प्रत्येक लेआउट में टाइप किया गया एक पत्र संयोजन है।

प्रत्येक चरण में, शुरुआत में कार्यक्रम जांचता है कि क्या लेआउट में टाइप किए गए शब्द को छोड़ना संभव है जो पहले से ही चालू है। और केवल अगर शब्द वर्तमान लेआउट में फिट नहीं होता है, तो बाकी लेआउट की जांच की जाती है।

आगे विश्वसनीयता के अवरोही क्रम में विकल्प जाएंगे।

उपयोगकर्ता शब्दकोश

इस स्तर पर, शब्द का उपयोग उन शब्दकोशों का उपयोग करके किया जाता है जिन्हें मैंने या तो पहले से पूर्वनिर्धारित किया था (उदाहरण के लिए, ई-मेल, आईपी, मैक को अंग्रेजी लेआउट में बदलना), या उपयोगकर्ता द्वारा जोड़ा गया था, या स्वयं सीखने की प्रक्रिया में कार्यक्रम द्वारा जोड़ा गया था।

पहले, उपयोगकर्ता शब्दकोशों और नियमित अभिव्यक्तियों (आईपी, मैक, आदि) को अलग-अलग सेटिंग्स फ़ाइलों में विभाजित किया गया था, लेकिन बाद में, उन्हें जोड़ दिया गया, जो उपयोगकर्ता को नियमों को अधिक लचीले ढंग से जोड़ने की अनुमति देता है। उदाहरण के लिए, अक्षर संयोजन "पेड" जोड़कर, आप संकेत कर सकते हैं कि शब्द में यह अक्षर संयोजन कहां होना चाहिए, ताकि स्विचिंग हो जाए - शुरुआत में (" पैड अल"), अंत में ("साइकिल पैड ") या बस शब्द में यह अक्षर संयोजन होना चाहिए (" विकी पेड ia ”)।
इसके अलावा, बहुत उन्नत उपयोगकर्ताओं के लिए पर्ल नियमित अभिव्यक्ति मानक के अनुसार नियमित अभिव्यक्ति बनाने का अवसर है। लेकिन मेरी याद में, कोई भी इस अवसर को नहीं लेता है। शायद लोग उसके बारे में नहीं जानते, हुह?

सिस्टम शब्दकोश

यदि शब्द उपयोगकर्ता के किसी भी शब्दकोश में नहीं पाया जाता है, तो प्रोग्राम सत्यापन के अगले स्तर तक पहुंचता है - वर्तनी जांचक के पास। जैसा कि वे कहते हैं, उन लोगों के लिए धन्यवाद जिन्होंने आविष्कार किया और उन्हें लागू किया।
एक्सनेउर, बिल्ड विकल्पों पर निर्भर करता है, या तो एस्पेल लाइब्रेरी का उपयोग करता है या (डिफ़ॉल्ट रूप से) करामाती शब्दकोशों पर एक आवरण।

एस्पेल लाइब्रेरी एक काफी शक्तिशाली है, लेकिन थोड़ा पुराना वर्तनीकार है। यदि आप लिनक्स पैकेज वितरण का उपयोग करते हैं, तो आपकी भाषा के आधार पर, शब्दकोश संकुल को एस्पेल-आरयू, एस्पेल-यूके, या एस्पेल-एन कहा जाएगा।

यह इस पुस्तकालय के साथ था कि xneur में शब्दकोशों का समर्थन शुरू हुआ। दुर्भाग्य से, इस पुस्तकालय के लिए उपलब्ध शब्दकोशों की संख्या नहीं बढ़ रही है, और यही कारण है कि मुझे इसके लिए एक प्रतिस्थापन की तलाश करनी पड़ी।

एक विकल्प के रूप में, मेरी नज़र मयस्पेल और हंस्पेल पर पड़ी , और फिर एशेंट शब्दकोशों पर शानदार आवरण पर। शब्दकोशों पर इस आवरण का उपयोग वर्तनी जाँचक AbiWord, LibreOffice और Firefox द्वारा किया जाता है।
Enchant सिर्फ विभिन्न डिक्शनरी लाइब्रेरी पर एक आवरण है, और डिक्शनरी लाइब्रेरी खुद नहीं है। यह अपने विंग के तहत विभिन्न शब्दकोश इंजनों को जोड़ती है, प्रोग्रामिंग और गति की सुविधा को जोड़ती है।
मूल रूप से, उबंटू में, मर्चेंट माइस्पेल शब्दकोशों का उपयोग करता है, और केवल दुर्लभ भाषाओं के लिए अन्य शब्दकोशों को जोड़ता है।

इसलिए, xneur डिफ़ॉल्ट रूप से Enchant का भी उपयोग करता है।

हेयुरिस्टिक विश्लेषण

यदि शब्दकोशों के रूप में विश्वसनीय जानकारी के स्रोत यह निर्धारित नहीं कर सके कि शब्द किसी भी लेआउट का है, तो सबसे अविश्वसनीय है, लेकिन, वास्तव में, सबसे दिलचस्प कदम, हेयुरिस्टिक विश्लेषण प्रभाव में आता है।

बहुत परीक्षण और त्रुटि के बाद, मैं अभी भी मौजूदा संस्करण में आया था। लेकिन शुरुआत में मैं उपयुक्त, मध्यवर्ती विकल्पों के बारे में नहीं बताऊंगा।
पत्र संयोजन का "वजन" । मैंने पहले ही इस विकल्प का उल्लेख लेख की शुरुआत में किया था, लेकिन मैं इसे फिर से लिखूंगा। संक्षेप में, एक निश्चित, बल्कि बड़ा, पाठ लिया गया था, और इसके आधार पर यह माना जाता था कि एक विशिष्ट दो-अक्षर संयोजन कितनी बार होता है। पत्र संयोजन लैटिन में होना चाहिए था। एक विशेष भाषा के लिए पत्र संयोजन के "वजन" की गणना की गई थी, और एक फाइल पर लिखा गया था।
Xneur को पत्र संयोजन में शब्द को तोड़ना था और प्रत्येक लेआउट के लिए शब्द के "वजन" की गणना करना था। यदि मूल्य एक निश्चित सीमा से ऊपर था (आंख से निर्धारित), तो शब्द इस लेआउट में अनुवाद किया गया था।

सामान्य तौर पर, मुझे इस एल्गोरिथ्म को तुरंत त्यागना पड़ा क्योंकि वजन और स्विचिंग विशेषता की पंचांग की जटिलता की गणना की गई थी। हालाँकि यह मुझे यह महसूस नहीं होने देता है कि इस एल्गोरिथ्म को अंतिम रूप दिया जा सकता है और कैंडी बनाया जा सकता है।

भाषाओं का मान्य संयोजन । यहां आसान है। एक शब्द एक या दूसरे लेआउट का है, यदि इस शब्द के सभी अक्षर संयोजन एक विशिष्ट शब्दकोश में शामिल हैं।

नहीं चलाई - संसाधनों के संदर्भ में लंबी और महंगी। उसी समय, पत्र संयोजन हमेशा लैटिन वर्णमाला में संग्रहीत किया जाता था, जिसमें ट्रांसकोडिंग के साथ मज़ा जोड़ा गया था।

और इस तरह हम हेयुरिस्टिक्स के आधुनिक संस्करण में आए - पत्र संयोजन जो भाषा के लिए अस्वीकार्य हैं । इस बिंदु पर, यह समझ में आया कि लेआउट के अनुवाद की लागत को कम करने के लिए हम जिस भाषा का परीक्षण कर रहे हैं, उसके अक्षरों में अक्षर संयोजन संग्रहीत किया जाना चाहिए।

वर्तमान एल्गोरिदम के अनुसार, एक शब्द एक या दूसरी भाषा से संबंधित नहीं हो सकता है यदि इस शब्द का अक्षर संयोजन ऐसे अक्षर संयोजनों की सूची में पाया जाता है। अक्षरों के संयोजन की सूची जिन्हें हमने प्रोटो-लैंग्वेज कहा है। यह प्रोटो-भाषाओं के आधार पर है कि ह्यूरिस्टिक्स का निर्माण किया जाता है।

Xneur में प्रोटो-भाषाएँ दो प्रकार की होती हैं - बड़ी और छोटी। बड़े 3 वर्णों के संयोजन होते हैं, छोटे वाले 2 वर्ण लंबे होते हैं। यह अलगाव क्यों आवश्यक है? सब कुछ सरल है - बड़े प्रोटॉज 10-15 गुना छोटे होते हैं। यह किसी शब्द को संसाधित करने में लगने वाले समय को कम कर देता है। यानी पहले, शब्द को बड़े प्रोटो में जांचा जाता है, और फिर (यदि पहचान नहीं हुई है) छोटे में।

प्रोटो-भाषाओं को स्वयं एक्सनूर का उपयोग करके प्राप्त किया जाता है। यह पहले से ही उत्पादन के लिए एक तंत्र है। बस सिस्टम में आवश्यक लेआउट स्थापित करें, इस भाषा में पाठ लें, लेकिन अधिक सही मायने में, वांछित कुंजी के साथ xneur चलाएं, और जाएं!

प्रोटो-लैंग्वेज मान्यता एल्गोरिदम के नवीनतम हैं। यदि कोई शब्द सभी चरणों से गुजरा है और बाधाओं का सामना नहीं किया है, तो यह उस लेआउट में रहता है जो वह था।

सारांश

जैसा कि मैंने दिखाया, xneur एल्गोरिदम राक्षसी रूप से सरल हैं।

शायद, किसी ने मुझसे कुछ डरावने और जटिल एल्गोरिदम को प्रकट करने की उम्मीद की, जैसे कि मार्कोव चेन, लेकिन ऐसा नहीं हुआ।
xneur KISS को विकसित करने में मैं सरल नियमों को अटक - यह आसान है, तुम मूर्ख बनाने के लिए! और जैसा कि अभ्यास से पता चला है, ऐसे एल्गोरिदम के साथ झूठी सकारात्मकता का स्तर बहुत कम है। बेशक, इस समय, उपयोगकर्ता को सिस्टम डिक्शनरी लगाने की आवश्यकता होती है, लेकिन यह प्रसंस्करण गति के लिए एक बड़ा शुल्क नहीं है।

यदि आपके पास इस विषय पर विचार या घटनाक्रम हैं, तो मैं टिप्पणियों में आनंद के साथ उनकी चर्चा करूंगा। आखिरकार, यह समुदाय में है कि खुले स्रोत की शक्ति!

पिछले भागों

एक्स न्यूरल स्विचर - कुकबुक (भाग 0)। परिचय। विधानसभा और विन्यास
एक्स न्यूरल स्विचर - कुकबुक (भाग 1)। अग्रदूत और एनालॉग्स

आगे के लेखों में मैं इस बारे में बात करूंगा:

• Xneur को एक कीगलर के रूप में कॉन्फ़िगर करें।
• ग्लिच और चुटकुले xlib, लोकेल और विभिन्न DE।