PHP में पाठ एन्कोडिंग को परिभाषित करते हुए, भाग 2 - Bigrams

पिछले लेख में , वर्णों के वितरण की आवृत्ति के आधार पर पाठ एन्कोडिंग को स्वचालित रूप से निर्धारित करने के लिए एक एल्गोरिथ्म लागू किया गया था। टिप्पणियों में, उन्होंने नोट किया : यदि आप बीग्राम्स (ट्रिगर्स) का उपयोग करते हैं, तो परिणाम अधिक सटीक होगा। फिर मैंने खारिज कर दिया, वे कहते हैं, और एकल पात्रों पर एक अच्छा परिणाम प्राप्त होता है। लेकिन अब मैंने सोचा कि एल्गोरिथम में विश्वसनीयता और सटीकता को जोड़ना अच्छा होगा, खासकर जब से एकल पात्रों के बजाय बिगोग्राम के उपयोग के लिए बहुत कुछ खाने की आवश्यकता नहीं होती है।

कटौती के तहत - बिगोग्राम, स्रोत कोड और इसके काम के परिणामों पर एल्गोरिदम के कार्यान्वयन का एक उदाहरण।

एल्गोरिथम विवरण

हमेशा की तरह, हम केवल एकल-बाइट रूसी एन्कोडिंग के साथ काम करेंगे। UTF-8 का निर्धारण करने के लिए इस तरह के एल्गोरिदम को लिखने में कोई समझदारी नहीं है: यह बहुत सरलता से निर्धारित किया जाता है:

$str_utf8 = ' '; $str_cp1251 = iconv('UTF-8', 'Windows-1251', $str_utf8); var_dump(preg_match('#.#u', $str_utf8)); var_dump(preg_match('#.#u', $str_cp1251)); 

 m00t@m00t:~/workspace/test$ php detect_encoding.php int(1) int(0) 

इसलिए, हम बड़े रूसी पाठ लेते हैं और पत्र आवृत्तियों के बजाय पत्र जोड़े की आवृत्तियों को मापते हैं (मैंने परंपरागत रूप से युद्ध और शांति ली)। हमें ऐसा कुछ मिलता है (यहां आवृत्तियों को नहीं दिखाया गया है, लेकिन पाठ में संदर्भों की संख्या, जो वास्तव में एक ही बात है):

 <?php return array ( '' => 3, '' => 1127, '' => 5595, '' => 1373, '' => 3572, '' => 1483, '' => 0, '' => 1931, .... '' => 1325, '' => 2439, '' => 1, '' => 1, '' => 284, '' => 70, '' => 254, '' => 0, '' => 0, '' => 0, '' => 0, '' => 185, '' => 283, ); 

अगला, हम इस मामले को सभी आवश्यक एन्कोडिंग में बदल देते हैं, जबकि वर्णों के एक अलग मामले के साथ अधिक विकल्प जोड़ते हैं (एक ही समय में, आवृत्ति के संदर्भों की संख्या को परिवर्तित करें):

 <?php return array ( '' => 2.5816978277594E-6, '' => 2.5816978277594E-6, '' => 2.5816978277594E-6, '' => 2.5816978277594E-6, '' => 0.00096985781729497, '' => 0.00096985781729497, '' => 0.00096985781729497, '' => 0.00096985781729497, '' => 0.0048148664487714, '' => 0.0048148664487714, '' => 0.0048148664487714, '' => 0.0048148664487714, ... '' => 0, '' => 0, '' => 0, '' => 0, '' => 0, '' => 0, '' => 0, '' => 0, '' => 0, '' => 0, '' => 0, '' => 0, '' => 0.0001592046993785, '' => 0.0001592046993785, '' => 0.0001592046993785, '' => 0.0001592046993785, '' => 0.00024354016175197, '' => 0.00024354016175197, '' => 0.00024354016175197, '' => 0.00024354016175197, ); 

मुझे इनमें से तीन फाइलें मिलीं - प्रत्येक एन्कोडिंग के लिए एक: cp1251, koi8-r, iso8859-5।

अब, जब हमें किसी अज्ञात पाठ के एन्कोडिंग का पता लगाने की आवश्यकता होती है, तो हम इसके माध्यम से जाते हैं, सभी वर्णों को अलग करते हैं और पहले से उत्पन्न स्पेक्ट्रा से इस जोड़ी के वर्णों की आवृत्ति के प्रत्येक एन्कोडिंग के "वजन" को जोड़ते हैं।

काम के परिणाम

टिप्पणी की गई सरणियाँ - पाठ में वर्णों के जोड़े के कुल भार को संबंधित एन्कोडिंग के लिए, सभी सबमिशन के लिए योग द्वारा विभाजित किया गया है ( देखें test_detect_encoding.php: 21 )। यानी हम कह सकते हैं कि ये संभावनाएं हैं कि पाठ इस एन्कोडिंग में है।

 $data = iconv('UTF-8', 'iso8859-5', '  '); /* array(3) { ["windows-1251"]=> float(0.071131587263965) ["koi8-r"]=> float(0.19145038318717) ["iso8859-5"]=> float(0.73741802954887) } */ $data = iconv('UTF-8', 'windows-1251', '  '); /* array(3) { ["windows-1251"]=> float(0.95440659551352) ["koi8-r"]=> float(0.044353550201316) ["iso8859-5"]=> float(0.0012398542851665) } */ $data = file_get_contents('test/cp1251_1.html'); //  -    cp1251 /* array(3) { ["windows-1251"]=> float(0.78542385878465) ["koi8-r"]=> float(0.18514302234077) ["iso8859-5"]=> float(0.029433118874583) } */ 

जैसा कि आप देख सकते हैं, एक बहुत अच्छा परिणाम प्राप्त होता है - यहां तक ​​कि छोटी लाइनों पर भी सही एन्कोडिंग लगभग परिमाण का एक क्रम होता है।

तीन एकल-बाइट एन्कोडिंग के लिए उत्पन्न स्पेक्ट्रा के साथ सभी स्रोत (निश्चित रूप से, रूसी भाषा के लिए) जीथब पर डाउनलोड किए जा सकते हैं। मैंने जानबूझकर पुन: प्रयोज्य के रूप में पूरी बात नहीं की, क्योंकि कोड की केवल एक सौ पंक्तियाँ हैं। यदि किसी को इसकी आवश्यकता है, तो वह अपने लिए यह व्यवस्था करने में सक्षम होगा कि वह कैसे पसंद करता है और वह इस या उस उपयोग किए गए ढांचे को कैसे लागू करता है।