UTF-8: एन्कोडिंग और डिकोडिंग

यह पता लगाने का कारण कि यूटीएफ -8 कैसे काम करता है और यूनिकोड क्या है, इस तथ्य के कारण होता है कि वीबीएसस्क्रिप्ट में यूटीएफ -8 के साथ काम करने के लिए कोई अंतर्निहित कार्य नहीं है। और जब से मुझे कुछ भी काम नहीं मिला, मुझे खुद को बंदूक पर रखना पड़ा। मेरी राय में अनुभव वैसे भी उपयोगी है। एक बेहतर समझ के लिए, मैं सिद्धांत के साथ शुरू करूँगा।

यूनिकोड के बारे में

यूनिकोड से पहले, 8-बिट एन्कोडिंग का व्यापक रूप से उपयोग किया गया था, जिनमें से मुख्य नुकसान स्पष्ट हैं:

• केवल 255 वर्ण, और उनमें से कुछ भी ग्राफिक नहीं हैं;
• दस्तावेज़ को खोलने की क्षमता एन्कोडिंग के साथ नहीं है जिसमें इसे बनाया गया था;
• प्रत्येक एन्कोडिंग के लिए फ़ॉन्ट बनाए जाने चाहिए।

इसलिए "व्यापक" एन्कोडिंग का एक एकल मानक बनाने का निर्णय लिया गया, जिसमें सभी वर्ण शामिल होंगे (और सबसे पहले वे इसमें केवल साधारण वर्णों को शामिल करना चाहते थे, लेकिन फिर अपने दिमाग को बदल दिया और विदेशी लोगों को जोड़ना शुरू कर दिया)। यूनिकोड में 1,112,064 कोड पोजीशन (16 से अधिक बिट्स) का उपयोग किया गया है। शुरुआत ASCII की नकल करती है, और फिर शेष लैटिन वर्णमाला, सिरिलिक, और अन्य यूरोपीय और एशियाई वर्णों की। चरित्र पदनामों के लिए, पहले 65 k के लिए "U + xxxx" फॉर्म के हेक्साडेसिमल नोटेशन और बाकी के लिए बड़ी संख्या में अंकों का उपयोग करें।

UTF-8 के बारे में

एक बार मैंने सोचा कि यूनिकोड है, लेकिन यूटीएफ -8 है। बाद में मुझे पता चला कि मैं गलत था।
UTF-8 यूनिकोड का केवल 8-बिट रूप में प्रतिनिधित्व करता है। 128 से कम कोड वाले वर्णों को एक बाइट द्वारा दर्शाया जाता है, और चूंकि यूनिकोड में वे ASCII को दोहराते हैं, केवल इन अक्षरों द्वारा लिखे गए पाठ ASCII में पाठ होंगे। 128 के कोड वाले प्रतीकों को 2 बाइट्स द्वारा एन्कोड किया गया है, जिसमें 2048 - 3 के कोड 65536 - 4 के कोड हैं। इसलिए 6 बाइट्स तक पहुंचना संभव होगा, लेकिन उनके साथ सांकेतिक शब्दों में बदलना कुछ भी नहीं।

 0x00000000 - 0x0000007F: 0xxxxxxx
 0x00000080 - 0x000007FF: 110xxxxx 10xxxxxx
 0x00000800 - 0x0000FFFF: 1110xxxx 10xxxxxx 10xxxxxx
 0x00010000 - 0x001FFFFF: 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx

UTF-8 में एन्कोडिंग

प्रक्रिया लगभग निम्नलिखित है:

• हम प्रत्येक चरित्र को यूनिकोड में परिवर्तित करते हैं।
• देखें कि कौन सी वर्ण सीमा है।
• यदि वर्ण कोड 128 से कम है, तो हम इसे अपरिवर्तित परिणाम में जोड़ते हैं।
• यदि वर्ण कोड 2048 से कम है, तो हम अंतिम 6 बिट्स और वर्ण कोड के पहले 5 बिट्स लेते हैं। पहले 5 बिट्स में 0xC0 जोड़ें और अनुक्रम का पहला बाइट प्राप्त करें, और अंतिम 6 बिट्स में 0x80 जोड़ें और दूसरा बाइट प्राप्त करें। परिणाम को जोड़ना और जोड़ना।
• इसी तरह, हम बड़े कोड के लिए जारी रख सकते हैं, लेकिन अगर यू + एफएफएफएफ के बाहर के एक चरित्र को यूटीएफ -16 सरोगेट्स से निपटना पड़ता है।

Function EncodeUTF8(s) Dim i, c, utfc, b1, b2, b3 For i=1 to Len(s) c = ToLong(AscW(Mid(s,i,1))) If c < 128 Then utfc = chr( c) ElseIf c < 2048 Then b1 = c Mod &h40 b2 = (c - b1) / &h40 utfc = chr(&hC0 + b2) & chr(&h80 + b1) ElseIf c < 65536 And (c < 55296 Or c > 57343) Then b1 = c Mod &h40 b2 = ((c - b1) / &h40) Mod &h40 b3 = (c - b1 - (&h40 * b2)) / &h1000 utfc = chr(&hE0 + b3) & chr(&h80 + b2) & chr(&h80 + b1) Else '     UTF-16 utfc = Chr(&hEF) & Chr(&hBF) & Chr(&hBD) End If EncodeUTF8 = EncodeUTF8 + utfc Next End Function Function ToLong(intVal) If intVal < 0 Then ToLong = CLng(intVal) + &H10000 Else ToLong = CLng(intVal) End If End Function 

यूटीएफ -8 को डिकोड करें

• हम फॉर्म 11xxxxxx के पहले चरित्र की तलाश कर रहे हैं
• हमने फॉर्म 10xxxxxx के बाद के सभी बाइट्स पढ़े
• यदि दो बाइट्स का क्रम और फॉर्म का पहला बाइट 110xxxxx है, तो हम उपसर्गों को काटते हैं और जोड़ते हैं, पहले बाइट को 0x40 से गुणा करते हैं।
• इसी तरह लंबे दृश्यों के लिए।
• पूरे अनुक्रम को वांछित यूनिकोड वर्ण से बदलें।

 Function DecodeUTF8(s) Dim i, c, n, b1, b2, b3 i = 1 Do While i <= len(s) c = asc(mid(s,i,1)) If (c and &hC0) = &hC0 Then n = 1 Do While i + n <= len(s) If (asc(mid(s,i+n,1)) and &hC0) <> &h80 Then Exit Do End If n = n + 1 Loop If n = 2 and ((c and &hE0) = &hC0) Then b1 = asc(mid(s,i+1,1)) and &h3F b2 = c and &h1F c = b1 + b2 * &h40 Elseif n = 3 and ((c and &hF0) = &hE0) Then b1 = asc(mid(s,i+2,1)) and &h3F b2 = asc(mid(s,i+1,1)) and &h3F b3 = c and &h0F c = b3 * &H1000 + b2 * &H40 + b1 Else '   U+FFFF    c = &hFFFD End if s = left(s,i-1) + chrw( c) + mid(s,i+n) Elseif (c and &hC0) = &h80 then '    s = left(s,i-1) + chrw(&hFFFD) + mid(s,i+1) End If i = i + 1 Loop DecodeUTF8 = s End Function 

संदर्भ

विकिपीडिया पर यूनिकोड
ASP + VBScript का स्रोत

UPD : त्रुटि अनुक्रम हैंडलिंग और त्रुटि प्रकार के साथ पूर्णांक, जो AscW देता है।