पर्ल में एन्कोडिंग के साथ काम करें

हबल पर पहले से ही पर्ल में UTF-8 के उपयोग के बारे में एक अच्छा लेख है - habrahabr.ru/post/53578 । मैं अभी भी अपने तरीके से थोड़ा सा हूं
मैं एनकोडिंग के बारे में बात करना चाहूंगा।

बहुत सारे प्रश्न एन्कोडिंग की विविधता, साथ ही साथ प्रयुक्त शब्दावली से संबंधित हैं। इसके अलावा, हममें से कई लोगों को ऐसी समस्याओं का सामना करना पड़ा है जो एनकोडिंग से संबंधित हैं। मैं इस लेख में इस मुद्दे पर एक समझने योग्य रूप में लिखने की कोशिश करूंगा। मैं स्वचालित रूप से पाठ एन्कोडिंग का पता लगाने के सवाल के साथ शुरू करूँगा।

स्रोत फ़ाइल के एन्कोडिंग का निर्धारण। स्रोत दस्तावेज़ के एन्कोडिंग का निर्धारण, एक कार्य जो व्यवहार में काफी सामान्य है। एक उदाहरण के रूप में ब्राउज़र को लें। Html फ़ाइल के अलावा, यह HTTP प्रतिक्रिया में एक हेडर भी प्राप्त कर सकता है जो दस्तावेज़ के एन्कोडिंग को सेट करता है और यह हेडर सही नहीं हो सकता है, इसलिए अकेले इस पर भरोसा करना असंभव है, परिणामस्वरूप, ब्राउज़र एन्कोडिंग का स्वचालित रूप से पता लगाने की क्षमता का समर्थन करते हैं।

Perl में, आप इसके लिए Encode :: Guess का उपयोग कर सकते हैं, लेकिन एक अधिक "उन्नत" औद्योगिक विकल्प Encode :: Detect :: Detector है। जैसा कि इसके लिए प्रलेखन में लिखा गया है, यह मोज़िलोव्स्की सार्वभौमिक एन्कोडिंग निर्धारक को एक इंटरफ़ेस प्रदान करता है।

यदि आप स्रोत कोड का अध्ययन करने जा रहे हैं, तो vnsUniversalDetector.cpp फ़ाइल और विधि पर ध्यान दें

nsresult nsUniversalDetector::HandleData(const char* aBuf, PRUint32 aLen)

इस पद्धति से, सभी एन्कोडिंग को निर्धारित करने पर काम शुरू होता है। सबसे पहले, यह निर्धारित किया जाता है कि अगर कोई बीओएम हेडर है, यदि ऐसा है, तो एन्कोडिंग का आगे का निर्धारण प्रारंभिक डेटा बाइट्स की सरल तुलना द्वारा किया जाता है:

• EF BB BF UTF-8 ने BOM को इनकोड किया
• एफई एफएफ 00 00 यूसीएस -4, असामान्य ऑक्टेट ऑर्डर बीओएम (3412)
• एफई एफएफ यूटीएफ -16, बड़े एंडियन बीओएम
• 00 00 एफई एफएफ यूटीएफ -32, बिग-एंडियन बीओएम
• 00 00 FF FE UCS-4, असामान्य ऑक्टेट ऑर्डर BOM (2143)
• एफएफ एफई 00 00 यूटीएफ -32, छोटे-एंडियन बीओएम
• FF FE UTF-16, छोटे एंडियन BOM

अगला, डेटा के प्रत्येक बाइट का विश्लेषण किया जाता है और क्या चरित्र को गैर-यूएस-एएससीआईआई माना जाता है (कोड 128 से 255); यदि ऐसा है, तो क्लास ऑब्जेक्ट बनाए जाते हैं:

• nsMBCSGroupProber;
• nsSBCSGroupProber;
• nsLatin1Prober;

जिनमें से प्रत्येक एन्कोडिंग समूहों (एमबी - मल्टी-बाइट, एसबी - सिंगल-बाइट) के विश्लेषण के लिए जिम्मेदार है।

यदि यह यूएस-एएससीआईआई है, तो 2 विकल्प हैं, या तो यह सामान्य एएससीआईआई (शुद्ध एएससीआई) है या एक फाइल जिसमें एस्केप सीक्वेंस हैं और इनकोडिंग को संदर्भित करता है जैसे आईएसओ -2022-केआर, आदि। (अधिक जानकारी के लिए - en.wikipedia.org/wiki/ISO/IEC_2022 ) इस स्थिति में, nsEscCharSetProber वर्ग द्वारा कार्यान्वित डिटेक्टर का उपयोग किया जाता है।

nsMBCSGroupProber ऐसे एनकोडिंग का समर्थन करता है जैसे: "UTF8", "SJIS", "EUCJP", "GB18030", "EUCKR", "Big5", "EUCTW"।

nsSBCSGroupProber - जैसे कि Win1251, koi8r, ibm866 और अन्य।

एकल-बाइट एन्कोडिंग की परिभाषा पाठ में 2 वर्ण अनुक्रमों की घटना की आवृत्ति के विश्लेषण पर आधारित है।

यह कहा जाना चाहिए कि ये सभी तरीके प्रकृति में संभाव्य हैं। उदाहरण के लिए, यदि निर्धारित करने के लिए पर्याप्त शब्द नहीं हैं, तो कोई भी एल्गोरिथ्म स्वचालित रूप से एन्कोडिंग को निर्धारित नहीं कर सकता है। इसलिए, विभिन्न प्रोग्रामिंग वातावरणों में, एन्कोडिंग के साथ समस्या को अपने तरीके से हल किया जाता है, लेकिन ऐसी कोई बात नहीं है कि सब कुछ अपने आप से निर्धारित होता है।

यूनिकोड और पर्ल। ऐतिहासिक दृश्य। Www.unicode.org/glossary के अनुसार, यूनिकोड की 7 संभावित एन्कोडिंग योजनाएँ हैं: UTF-8, UTF-16, UTF-16BE, UTF-16LE, UTF-32, UTF-32BE, UTF-32LE। यूनिकोड शब्द के लिए, निम्नलिखित परिभाषा दी गई है: "... वर्णों के डिजिटल प्रतिनिधित्व के लिए एक मानक जो दुनिया की सभी भाषाओं द्वारा लिखित में उपयोग किया जाता है ..."। इसके अलावा, यूटीएफ -7 भी है, जो मानक का हिस्सा नहीं है, लेकिन पर्ल द्वारा समर्थित है - एनकोड: यूनिकोड :: यूटीएफ 7 (आरएफसी 2152 भी देखें)।

UTF-7 व्यावहारिक रूप से उपयोग नहीं किया जाता है। यहाँ क्या है एनकोड: यूनिकोड :: यूटीएफ 7 कहता है - "... हालांकि, यदि आप मेल और वेब पेजों में दस्तावेजों के लिए यूटीएफ -7 का उपयोग करना चाहते हैं, तो इसका उपयोग तब तक न करें जब तक कि आप यह सुनिश्चित न कर लें कि प्राप्तकर्ता और पाठक (इन दस्तावेजों के अर्थ में प्रक्रिया कर सकते हैं) यह एन्कोडिंग ... "।

पर्ल डेवलपर्स, अनुप्रयोगों में यूनिकोड एनकोडिंग के व्यापक कार्यान्वयन में प्रगति के बाद, पर्ल में यूनिकोड समर्थन भी लागू किया। इसके अलावा, एनकोड मॉड्यूल अन्य एनकोडिंग का भी समर्थन करता है, दोनों एकल-बाइट और मल्टी-बाइट, जिनमें से एक सूची एनकोड :: कॉन्फिगर पैकेज में देखी जा सकती है। अक्षरों के साथ काम करने के लिए, MIME एनकोडिंग का समर्थन किया जाता है: MIME-Header, MIME-B, MIME-Q, MIME-Header-ISO_2022_JP।

यह कहा जाना चाहिए कि वेब दस्तावेजों के लिए एन्कोडिंग के रूप में UTF-8 बहुत व्यापक है। UTF-16 का उपयोग जावा और विंडोज में किया जाता है, UTF-8 और UTF-32 का उपयोग लिनक्स और अन्य यूनिक्स जैसी प्रणालियों द्वारा किया जाता है।

संस्करण पर्ल 5.6.0 के साथ शुरू, यूनिकोड के साथ काम करने की क्षमता शुरू में लागू की गई थी। हालांकि, यूनिकोड के साथ अधिक गंभीर काम के लिए पर्ल 5.8.0 की सिफारिश की गई थी। पर्ल 5.14.0 पहला संस्करण है जिसमें यूनिकोड का समर्थन आसानी से (लगभग) कई नुकसानों के बिना एकीकृत है (अपवादों में कुछ मतभेद हैं)। संस्करण 5.14 भी यूनिकोड मानक से कई त्रुटियों और विचलन को ठीक करता है।

विजुअल स्टूडियो 2012 और एनकोडिंग्स (पर्ल के साथ तुलना के लिए)। जब हम विजुअल स्टूडियो में C # में कुछ एप्लिकेशन लिखते हैं तो हम उस एन्कोडिंग के बारे में नहीं सोचते हैं जिसमें यह सब संग्रहीत और संसाधित होता है। Vistual Studio में एक दस्तावेज़ बनाते समय, वह इसे UTF8 में बनाएगा और UTF8 को BOM हेडर में जोड़ेगा - बाइट्स 0xEF, 0xBB, 0xBF का एक क्रम। जब हम स्रोत फ़ाइल (पहले से ही विजुअल स्टूडियो में खोलते हैं) को परिवर्तित करते हैं, उदाहरण के लिए, UTF8 से CP1251 तक, हमें एक त्रुटि संदेश मिलता है
कुछ बाइट्स को लोड करते समय यूनिकोड प्रतिस्थापन चरित्र के साथ बदल दिया गया है ... यूनिकोड (UTF-8) एन्कोडिंग के साथ। फ़ाइल को सहेजना मूल फ़ाइल सामग्री को संरक्षित नहीं करेगा।

यदि आप cp1251 में एक मौजूदा फ़ाइल खोलते हैं - ToUpper (), उदाहरण के लिए, सही ढंग से काम करेगा, और यदि आप फ़ाइल को KOI8-R में परिवर्तित करते हैं और फिर इसे Visual Studio में खोलते हैं और निष्पादित करते हैं, तो कोई भी सही संचालन का सवाल नहीं है, यहाँ पर्यावरण को नहीं पता है, KOI8-R क्या है, और वह कैसे पता लगा सकती है?

"पर्ल में यूनिकोड बग।" विज़ुअल स्टूडियो की तरह, पर्ल प्रोग्राम के साथ भी कुछ ऐसा ही होता है, लेकिन पर्ल डेवलपर्स स्पष्ट रूप से एप्लिकेशन स्रोत कोड के एन्कोडिंग को निर्दिष्ट कर सकते हैं। यही कारण है कि जब पर्ल प्रोग्रामिंग के शुरुआती लोग रूसी भाषा के विंडोज एक्सपी पर अपना पसंदीदा संपादक खोलते हैं और एएनएसआई (यानी cp1251) में ऐसा कुछ लिखते हैं

 use strict; use warnings; my $a = ""; my $b = ""; my $c = “word”; print "Words are equal" if uc($a) eq uc($b); 

और आउटपुट यह है कि चर में लाइनें समान नहीं हैं, पहले तो यह समझना मुश्किल है कि क्या हो रहा है। इसी तरह की चीजें नियमित अभिव्यक्तियों के साथ होती हैं, स्ट्रिंग फ़ंक्शंस (लेकिन uc ($ c) सही ढंग से काम करेगी)।

यह पर्ल में तथाकथित "यूनिकोड बग" है (अधिक विवरण के लिए प्रलेखन देखें), इस तथ्य के कारण कि अलग-अलग एकल-बाइट एन्कोडिंग के लिए, 128 से 255 तक के कोड वाले वर्णों के अलग-अलग अर्थ होंगे। उदाहरण के लिए, cp1251 में पत्र संख्या - कोड 0xCF है, जबकि CP866 - 0x8F, और KOI8-R - 0xF0 में। कैसे, तो, uc (), ucfirst (), lc (), lcfirst () या \ L, \ U जैसे रेग्युलर एक्सप्रेशंस में ऐसे स्ट्रिंग फंक्शन के लिए सही तरीके से वर्कआउट करना है?

यह दुभाषिया को "बताने" के लिए पर्याप्त है कि स्रोत फ़ाइल का एन्कोडिंग cp1251 है और सब कुछ सही ढंग से काम करेगा। नीचे दिए गए कोड में अधिक सटीक रूप से, चर $ a और $ b, स्ट्रिंग को आंतरिक पर्ल प्रारूप में संग्रहीत करेंगे।

 use strict; use warnings; use encoding 'cp1251'; my $a = ""; my $b = ""; print "equal" if uc($a) eq uc($b); 

पर्ल में आंतरिक स्ट्रिंग प्रारूप। पर्ल के बहुत पुराने संस्करणों में, तार तथाकथित आंतरिक प्रारूप (पर्ल के आंतरिक रूप) में संग्रहीत किए जा सकते हैं। ध्यान दें कि उन्हें केवल बाइट्स के सेट के रूप में संग्रहीत किया जा सकता है। ऊपर दिए गए उदाहरण में, जहां स्रोत फ़ाइल का एन्कोडिंग स्पष्ट रूप से निर्दिष्ट नहीं किया गया था (उपयोग एन्कोडिंग 'cp1251) का उपयोग करते हुए; चर $ a, $ b, $ c बस बाइट्स के एक सेट को संग्रहीत करते हैं (शब्द ऑक्टेट का उपयोग पर्ल के लिए प्रलेखन में भी किया गया है - एक अनुक्रम ओकटेट)।

आंतरिक प्रारूप अलग-अलग बाइट्स से अलग होता है जिसमें UTF-8 एन्कोडिंग का उपयोग किया जाता है और UTF8 ध्वज को चर के लिए सक्षम किया जाता है। मैं एक उदाहरण दूंगा। कार्यक्रम के स्रोत कोड को निम्न में थोड़ा बदलें

 use strict; use warnings; use encoding 'cp1251'; use Devel::Peek; my $a = ""; my $b = ""; print Dump ($a); 

जिसका परिणाम हमें मिलता है

एसवी = पीवी (0x199ee4) 0x19bfb4 पर
REFCNT = 1
FLAGS = (PADMY, POK, pPOK, UTF8)
PV = 0x19316c "\ 321 \ _ \ _ \ _ \ _ \ _ 320 \ _ \ x {43e} "]
कुर = १०
LEN = 12

ध्यान दें कि फ्लैग = (PADMY, POK, pPOK, UTF8)। यदि हम एन्कोडिंग 'cp1251' का उपयोग करते हैं;
हमें मिलता है

एसवी = पीवी (0x2d9ee4) 0x2dbfc4 पर
REFCNT = 1
FLAGS = (PADMY, POK, pPOK)
PV = 0x2d316c "\ 321 \ 201 \ 320 \ 273 \ 320 \ 276 \ 320 \ 262 \ 320 \ 276" \ 0
कुर = १०
LEN = 12

जब हम इंगित करते हैं कि फ़ाइल का स्रोत कोड cp1251 या किसी अन्य से एन्कोड किया गया है, तो पर्ल जानता है कि स्ट्रिंग कोड को स्रोत कोड में निर्दिष्ट एन्कोडिंग से आंतरिक स्वरूप में परिवर्तित करना आवश्यक है (इस मामले में, cp1251 से आंतरिक प्रारूप UTF-8 के लिए) और यह करता है ।

एन्कोडिंग को निर्धारित करने की एक समान समस्या तब उत्पन्न होती है जब बाहर से प्राप्त डेटा के साथ काम करते हैं, जैसे कि फाइलें या वेब। प्रत्येक मामले पर विचार करें।

मान लें कि हमारे पास एक cp866 एन्कोडेड फ़ाइल है जिसमें शब्द "व्हेन" (पाठ फ़ाइल में, शब्द जब एक पूंजी के साथ होता है) होता है। हमें "जब" शब्द को खोजने के लिए इसे खोलने और सभी लाइनों का विश्लेषण करने की आवश्यकता है। यहां बताया गया है कि इसे सही कैसे किया जाए (utf8 में स्रोत कोड के साथ)।

 use strict; use warnings; use encoding 'utf8'; open (my $tmp, "<:encoding(cp866)", $ARGV[0]) or die "Error open file - $!"; while (<$tmp>) { if (//i) { print "OK\n"; } } close ($tmp); 

कृपया ध्यान दें कि यदि हम "<: एन्कोडिंग (cp866)" का उपयोग नहीं करते हैं और एन्कोडिंग 'cp866' का उपयोग करते हैं, तो नियमित अभिव्यक्ति काम करेगी, लेकिन केवल बाइट सेट और / i के साथ काम नहीं करेगी। "<: एन्कोडिंग (cp866)" निर्माण पर्ल को बताता है कि पाठ फ़ाइल में डेटा CP866 में इनकोड किया गया है, इसलिए यह CP866 से आंतरिक प्रारूप (CP866 -> UTF8 + UTF8 ध्वज को सक्षम करता है) को सही ढंग से एन्कोड करता है।

निम्नलिखित उदाहरण, हमें LWP :: UserAgent का उपयोग करके पेज मिलता है। यह कैसे करना है, इसका सही उदाहरण यहां दिया गया है।

 use strict; use warnings; use LWP::UserAgent; use HTML::Entities; use Data::Dumper; use Encode; use Devel::Peek; my $ua = LWP::UserAgent->new(); my $res = $ua->get("http://wp.local"); my $content; if (!$res->is_error) { $content = $res->content; } else { exit(1); } #     UTF8,   cp1251 - $content = decode('cp1251',$content); # decode   utf8  ( )    Perl $content = decode('utf8',$content); #   $content     ,      ,  , , HTML::Entities,    ,    .. decode_entities($content); 

$ सामग्री = डिकोड ('utf8', $ सामग्री) के लिए कॉल को नोट करें।

LWP :: UserAgent बाइट्स के साथ काम करता है, यह नहीं जानता है, और यह उसकी चिंता नहीं है, जिसमें पेज को एन्कोडिंग एकल-बाइट cp1251 में या UTF8 में है, हमें स्पष्ट रूप से यह इंगित करना चाहिए। दुर्भाग्य से, बहुत सारे साहित्य में अंग्रेजी में और पर्ल के पुराने संस्करणों के उदाहरण हैं, परिणामस्वरूप, इन उदाहरणों में ट्रांसकोडिंग के बारे में कुछ भी नहीं है।

उदाहरण के लिए, खोज इंजन रोबोट (या अन्य कोड) को सर्वर प्रतिक्रिया हेडर या HTML मेटा टैग सामग्री का उपयोग किए बिना पृष्ठ एन्कोडिंग को न केवल सही ढंग से निर्धारित करना चाहिए, जो गलत हो सकता है, बल्कि पृष्ठ भाषा भी निर्धारित कर सकता है। इसलिए, यह मत सोचो कि केवल पर्ल प्रोग्रामर को उपरोक्त सभी करना चाहिए।

एक वेबसाइट से बाहरी डेटा प्राप्त करने के उदाहरण का उपयोग करते हुए, हम एनकोड मॉड्यूल के उपयोग पर विचार करने के लिए आए थे। यहाँ इसका मुख्य API है, किसी भी पर्ल प्रोग्रामर के काम में बहुत महत्वपूर्ण है:

 $string = decode(ENCODING, OCTETS[, CHECK]).     ()   ENCODING    Perl; $octets = encode(ENCODING, STRING[, CHECK]).      Perl      ENCODING. [$length =] from_to($octets, FROM_ENC, TO_ENC [, CHECK]).        . 

उदाहरण में, जिसमें हमने CP866 में पाठ फ़ाइल खोली है, हम <: एन्कोडिंग (cp866) को छोड़ सकते हैं। फिर, प्रत्येक रीड ऑपरेशन के साथ, हमें CP866 में बाइट्स का एक सेट मिलेगा। हम उनका उपयोग करके आंतरिक स्वरूप में परिवर्तित कर सकते हैं

 $str = decode('cp866',$str) 

चर $ str के साथ काम करना जारी रखें।

कोई यह सुझाव दे सकता है कि आप utf8 को प्रोग्राम के स्रोत कोड के रूप में उपयोग कर सकते हैं, और इसके अलावा, cp866 से utf8 तक ट्रांसकोड और सब कुछ उसी तरह काम करेगा जैसा इसे करना चाहिए। ऐसा नहीं है, एक उदाहरण पर विचार करें (पाठ फ़ाइल में, शब्द जब एक बड़े अक्षर के साथ हो)।

 use strict; use warnings; use encoding 'utf8'; use Encode; #open (my $tmp, "<:encoding(cp866)", $ARGV[0]) or die "Error open file - $!"; open (my $tmp, "<", $ARGV[0]) or die "Error open file - $!"; while (<$tmp>) { my $str = $_; Encode::from_to($str,'cp866','utf8'); if ($str=~//i) { print "OK\n"; } } close ($tmp); 

एनकोड को अंजाम देने के बाद $ str :: from_to ($ str, 'cp866', 'utf8') utf8 में डेटा होता है, लेकिन बाइट्स (ऑक्टेट्स) के अनुक्रम के रूप में इसलिए / मैं काम नहीं करता है। सब कुछ काम करने के लिए जैसा कि आपको कॉल जोड़ने की आवश्यकता है

 $str = decode('utf8',$str) 

बेशक, एक सरल विकल्प दो के बजाय एक पंक्ति है

 $str = decode('cp866',$str) 

पर्ल के आंतरिक स्ट्रिंग प्रारूप, अधिक विस्तार से। हमने पहले ही कहा है कि नियमित अभिव्यक्ति, मॉड्यूल का हिस्सा, और स्ट्रिंग फ़ंक्शन स्ट्रिंग के साथ सही तरीके से काम करते हैं जो बाइट्स के सेट के रूप में संग्रहीत नहीं होते हैं, लेकिन आंतरिक पर्ल प्रतिनिधित्व में। यह भी कहा गया है कि पर्ल अपने आंतरिक स्ट्रिंग भंडारण प्रारूप के रूप में UTF-8 का उपयोग करता है। इस एन्कोडिंग को एक कारण के लिए चुना गया था। 0-127 से इस एन्कोडिंग में वर्ण कोड का हिस्सा ASCII (US-ASCII) के साथ मेल खाता है, जो केवल अंग्रेजी वर्णमाला के लिए जिम्मेदार हैं, यही कारण है कि 0 से 127 के कोड वाली लाइन के लिए uc कॉल सही ढंग से काम करता है और यह सिंगल-बाइट एन्कोडिंग की परवाह किए बिना काम करेगा। जिसमें स्रोत कोड सहेजा जाता है। UTF8 के लिए, सब कुछ अभी भी सही ढंग से काम करता है।

हालांकि, यह आपको जानने की आवश्यकता नहीं है।

UTF-8 बनाम utf8 बनाम UTF8। UTF-8 एन्कोडिंग समय के साथ और अधिक "सख्त" हो गया है (उदाहरण के लिए, कुछ वर्णों की उपस्थिति निषिद्ध थी)। इसलिए, पर्ल में UTF-8 का कार्यान्वयन पदावनत है। पर्ल 5.8.7 से शुरू होकर, "UTF-8" का अर्थ है आधुनिक "बोली" अधिक "सख्त", जबकि "utf8" का अर्थ अधिक "उदार पुरानी बोली" है। यहाँ एक छोटा सा उदाहरण है

 use strict; use warnings; use Encode; #      UTF-8 my $str = "\x{FDD0}"; $str = encode("UTF-8",$str,1); #  $str = encode("utf8",$str,1); # OK 

इस प्रकार, "यूटीएफ" और "8" के बीच की हाइफ़न महत्वपूर्ण है; इसके बिना, एनकोड अधिक उदार हो जाता है और संभवतः अत्यधिक अनुमति देता है। अगर अमल करना है

 use strict; use warnings; use Encode; my $str = sprintf ("%s | %s | %s | %s | %s\n", find_encoding("UTF-8")->name , find_encoding("utf-8")->name , find_encoding("utf_8")->name , find_encoding("UTF8")->name , find_encoding("utf8")->name ); print $str; 

हम निम्नलिखित परिणाम प्राप्त करते हैं - utf-8-सख्त | utf-8-सख्त | utf-8-सख्त | utf8 | UTF8।

कंसोल से काम करें। ओएस के विंडोज परिवार के कंसोल पर विचार करें। जैसा कि सभी जानते हैं कि विंडोज में यूनिकोड, एएनएसआई, ओईएम एन्कोडिंग की अवधारणा है। ओएस का एपीआई स्वयं 2 प्रकार के कार्यों का समर्थन करता है जो ANSI और यूनिकोड (UTF-16) के साथ काम करते हैं। ANSI OS के स्थानीयकरण पर निर्भर करता है, रूसी संस्करण के लिए, एन्कोडिंग CP1251 का उपयोग किया जाता है। ओईएम कंसोल I / O के लिए उपयोग किया जाने वाला एन्कोडिंग है, रूसी भाषी विंडोज के लिए, यह CP866 है। यह एन्कोडिंग है जिसे रूसी-भाषा एमएस-डॉस में प्रस्तावित किया गया था, और बाद में पुराने सॉफ़्टवेयर के साथ पिछड़े संगतता के लिए विंडोज में चले गए। इसीलिए, utf-8 में निम्नलिखित कार्यक्रम

 use strict; use warnings; use Encode; use encoding 'utf8'; my $str = ' '; print $str; 

क़ीमती रेखा नहीं छापेंगे, लेकिन CP866 की आवश्यकता होने पर हम UTF8 प्रिंट करते हैं। यहां आपको एनकोड :: लोकेल मॉड्यूल का उपयोग करने की आवश्यकता है। यदि आप इसके स्रोत कोड को देखते हैं, तो आप देख सकते हैं कि विंडोज के लिए यह ANSI और कंसोल के एन्कोडिंग को निर्धारित करता है और एलियास कंसोल_इन, कंसोल_आउट, लोकेल, लोकेल_फैट बनाता है। जो कुछ भी करना बाकी है, वह हमारे कार्यक्रम को थोड़ा बदलना है।

 use strict; use warnings; use Encode::Locale; use Encode; use encoding 'utf8'; my $str = ' '; if (-t) { binmode(STDIN, ":encoding(console_in)"); binmode(STDOUT, ":encoding(console_out)"); binmode(STDERR, ":encoding(console_out)"); } print $str; 

PS यह लेख उन लोगों के लिए है जो पर्ल के साथ काम करना शुरू कर रहे हैं और शायद यह बहुत कम है। मैं लेख के विस्तार के बारे में इच्छाओं को सुनने और कार्यान्वित करने के लिए तैयार हूं।