प्रत्येक डेवलपर को पाठ के साथ काम करने के लिए एन्कोडिंग और चरित्र सेट के बारे में जानने की आवश्यकता है

यह हर प्रोग्रामर के अनुवाद का पहला भाग है, जिसे पाठ के साथ काम करने के लिए एनकोडिंग और चरित्र सेट के बारे में पूरी तरह से सकारात्मक आवश्यकता है

यदि आप कंप्यूटर पर पाठ के साथ काम करते हैं, तो आपको निश्चित रूप से एन्कोडिंग के बारे में जानना होगा। भले ही आप ईमेल भेजते हैं। भले ही आप उन्हें प्राप्त करें। हर विवरण को समझना आवश्यक नहीं है, लेकिन आपको कम से कम यह जानना चाहिए कि एनकोडिंग क्या है। और यहां पहली अच्छी खबर है: लेख थोड़ा भ्रमित हो सकता है, लेकिन मूल विचार बहुत, बहुत सरल है।

यह लेख एनकोडिंग और चरित्र सेट के बारे में है।


जोएल स्पोलस्की का एक लेख "यूनिकोड पर पूर्णतम न्यूनतम और प्रत्येक डेवलपर के लिए वर्ण सेट (कोई अपवाद नहीं!)" शीर्षक एक अच्छा परिचयात्मक लेख होगा और यह मुझे समय-समय पर इसे फिर से पढ़ने के लिए बहुत खुशी देता है। मैं उसे उन लोगों को भेजने में शर्मिंदा हूं, जिन्हें एन्कोडिंग समस्याओं को समझने में कठिनाई होती है, हालांकि तकनीकी विवरण के मामले में यह काफी हल्का है। मुझे आशा है कि यह लेख वास्तव में क्या एन्कोडिंग हैं और क्यों अपने सभी ग्रंथों को सबसे अनावश्यक क्षण में दूषित कर रहे हैं पर थोड़ा प्रकाश डालता है। लेख डेवलपर्स (मुख्य रूप से PHP में) के लिए अभिप्रेत है, लेकिन कोई भी कंप्यूटर उपयोगकर्ता इससे लाभ उठा सकता है।

मूल बातें

इसके बारे में कमोबेश सभी ने सुना है, लेकिन किसी तरह यह ज्ञान चर्चा में आने पर वाष्पित हो जाता है, इसलिए यहां आप जाते हैं: कंप्यूटर अक्षरों, संख्याओं, चित्रों, या कुछ और को संग्रहीत नहीं कर सकता है। वह केवल बिट्स को याद कर सकता है। एक बिट के केवल दो अर्थ हैं: हाँ या कोई, TRUE या FALSE, 1 या 0, या कोई अन्य जोड़ी जिसकी आप कल्पना कर सकते हैं। चूंकि कंप्यूटर बिजली से काम करता है, इसलिए बिट को एक विद्युत आवेश द्वारा दर्शाया जाता है: यह या तो वहाँ है या नहीं। लोगों के लिए 1 और 0 के रूप में इसका प्रतिनिधित्व करना आसान है, इसलिए मैं इन सूचनाओं पर टिकूंगा।

कुछ उपयोगी का प्रतिनिधित्व करने के लिए बिट्स का उपयोग करने के लिए, हमें नियमों की आवश्यकता है। एन्कोडिंग योजना का उपयोग करके अक्षरों, संख्याओं और चित्रों के समान बिट्स के अनुक्रम को परिवर्तित करना आवश्यक है, या संक्षेप में एन्कोडिंग। इस तरह, उदाहरण के लिए:

01100010 01101001 01110100 01110011
बिट्स

इस एन्कोडिंग में, 01100010 'b' है, 01101001 'i' है, 01110100 't' है, 01110011 's' है। बिट्स का एक विशिष्ट अनुक्रम एक पत्र से मेल खाता है, और बिट्स के एक विशिष्ट अनुक्रम के लिए एक पत्र। यदि आप 26 अक्षरों के लिए अनुक्रम याद कर सकते हैं, या आप वास्तव में जल्दी से सही मैच पा सकते हैं, तो आप किताबों की तरह बिट्स पढ़ सकते हैं।
उल्लिखित सर्किट को ASCII कहा जाता है। शून्य और लोगों के साथ एक पंक्ति को 8 बिट्स (बाइट्स) के भागों में विभाजित किया गया है। ASCII एन्कोडिंग मानव अक्षरों में बाइट्स के अनुवाद के लिए एक तालिका को परिभाषित करता है। यहाँ इस तालिका का एक छोटा सा टुकड़ा है:

बिट्स चरित्र

01000001 ए
01000010 बी
01000011 सी
0 100 100 डी
01000101 ई
0 100 0110 एफ

इसमें 95 अक्षर होते हैं, जिसमें A से Z तक के अक्षर शामिल होते हैं, निचले और ऊपरी मामले में, 0 से 9 तक की संख्या, एक दर्जन विराम चिह्नों के साथ, एक एम्परसेंड, एक डॉलर चिह्न, और अन्य। इसमें 33 मान भी शामिल हैं, जैसे कि स्पेस, टैब, लाइन फीड, कैरेक्टर रिटर्न और अन्य। ये गैर-मुद्रण योग्य वर्ण हैं, हालांकि वे व्यक्ति को दिखाई देते हैं और उसके द्वारा उपयोग किए जाते हैं। कुछ मान केवल एक कंप्यूटर के लिए उपयोगी होते हैं, जैसे किसी पाठ का प्रारंभ और अंत कोड। कुल मिलाकर, 128 वर्ण ASCII एन्कोडिंग में शामिल हैं - कंप्यूटर को समझने वालों के लिए एक आदर्श सम संख्या, क्योंकि यह 7 बिट्स के सभी संयोजनों (0000000 से 1111111 तक) का उपयोग करता है।

यहां केवल और शून्य का उपयोग करके मानव स्ट्रिंग का प्रतिनिधित्व करने का एक तरीका है:

01001000 01100101 01101100 01101100 01101111 00100000
01010111 01101111 01110010 01101100 01100100

"हैलो वर्ल्ड"

महत्वपूर्ण शर्तें

ASCII में कुछ भी सांकेतिक शब्दों में बदलना, दाएं से बाएं, बिट्स के लिए अक्षरों की अदला-बदली करना। अक्षरों में बिट्स को डीकोड करने के लिए, अक्षरों के साथ बिट्स की जगह, टेबल को बाएं से दाएं का पालन करें।

एनकोड | enˈkˈd |
क्रिया [obj के साथ। ]
एक कोडित रूप में परिवर्तित
कोड | kōd |
संज्ञा
शब्दों, अक्षरों, आंकड़ों या अन्य प्रतीकों की एक प्रणाली, जो दूसरे शब्दों, अक्षरों आदि के लिए प्रतिस्थापित है।

कोडिंग कुछ और का प्रतिनिधित्व है। एन्कोडिंग नियमों का एक समूह है जो वर्णन करता है कि एक दृश्य को दूसरे में कैसे अनुवाद किया जाए।

स्पष्टीकरण के योग्य अन्य शर्तें:

कैरेक्टर सेट, चारसेट, चारसेट - एक कैरेक्टर सेट जिसे एनकोड किया जा सकता है। "ASCII एन्कोडिंग में 128 वर्णों का एक सेट शामिल है।" एन्कोडिंग के लिए एक पर्यायवाची।

कोड पृष्ठ एक कोड पृष्ठ होता है जो एक प्रतीक के लिए बिट्स का एक सेट प्रदान करता है। टेबल। एन्कोडिंग के लिए एक पर्यायवाची।

एक स्ट्रिंग एक साथ मिलकर कुछ का एक बंडल है। एक बिट स्ट्रिंग बिट्स का एक गुच्छा है, जैसे कि 00011011। एक चरित्र स्ट्रिंग वर्णों का एक गुच्छा है, उदाहरण के लिए, "एक"। क्रम का पर्यायवाची।

बाइनरी, ऑक्टल, दशमलव, हेक्साडेसिमल

नंबर लिखने के कई तरीके हैं। 10011111 अष्टक में 237, दशमलव में 159 और हेक्साडेसिमल में 9F के लिए बाइनरी नोटेशन है। इन सभी नंबरों के लिए मान समान हैं, लेकिन हेक्साडेसिमल सिस्टम बाइनरी की तुलना में छोटा और समझने में आसान है। मैं इस लेख में बाइनरी सिस्टम के साथ समझ को सुधारने और अमूर्तता के अतिरिक्त स्तर को हटाने के लिए छड़ी करूंगा। अन्य संकेतन में चरित्र कोड को पूरा करने से घबराएं नहीं, सभी मूल्य समान हैं।

Excusez-Moi?

चूँकि हम अब जानते हैं कि हम किस बारे में बात कर रहे हैं, हम ध्यान दें: जब भाषा आती है तो 95 अक्षर काफी होते हैं। इस सेट में बुनियादी अंग्रेजी शामिल है, लेकिन फ्रांसीसी पात्रों के बारे में क्या? लेकिन यह जर्मन से Strandenbergübergangs thisänderungsetgesetz है? और स्वीडिश में smörgåsbord का निमंत्रण? सामान्य तौर पर, यह काम नहीं करेगा। ASCII में नहीं। ,, Ss, ü, ä, ö की प्रस्तुति के लिए विनिर्देश बस उपलब्ध नहीं है।

"एक मिनट रुको," यूरोपीय लोग कहेंगे, "साधारण कंप्यूटरों पर 8 बिट प्रति बाइट के साथ, ASCII एक बिट का उपयोग नहीं करता है जो हमेशा 0 होता है! हम इसका उपयोग तालिका को अन्य 128 मूल्यों के विस्तार के लिए कर सकते हैं। ” और ऐसा ही था। लेकिन स्वरों की ध्वनि को इंगित करने के लिए अभी भी बहुत सारे तरीके हैं। यूरोपीय भाषाओं में प्रयुक्त अक्षरों और अर्थों के सभी संयोजन 256 प्रविष्टियों की तालिका में फिट नहीं होते हैं। तो दुनिया में एनकोडिंग्स, मानकों, डी फैक्टो मानकों और समझ की एक बहुतायत आ गई है जो सभी वर्णों के सबसेट को कवर करती है। किसी को स्वीडिश या चेक में एक दस्तावेज लिखने की आवश्यकता थी, और वांछित एन्कोडिंग नहीं ढूंढने के लिए, बस एक और आविष्कार किया। या मुझे लगता है कि यह सब हुआ।

रूसी, हिंदी, अरबी, कोरियाई और ग्रह की कई अन्य जीवित भाषाओं के बारे में मत भूलना। हम मृतकों के बारे में चुप हैं। एक बार जब आप कई भाषाओं का उपयोग करते हुए दस्तावेज़ लिखने का एक तरीका खोज लेते हैं, तो चीनी जोड़ने का प्रयास करें। या जापानी। दोनों में हजारों किरदार हैं। और आपके पास केवल 256 मान हैं। आगे बढ़ो!

मल्टीबीट एनकोडिंग्स

ऐसी तालिकाएँ बनाने के लिए जिनमें 256 से अधिक वर्ण हों, एक बाइट बस पर्याप्त नहीं है। दो बाइट्स (16 बिट्स) 65536 विभिन्न मूल्यों को एनकोड करने के लिए पर्याप्त हैं। उदाहरण के लिए बिग -5, डबल-बाइट एन्कोडिंग। बिट्स के अनुक्रम को 8 के ब्लॉक में तोड़ने के बजाय, यह 16 बिट्स के ब्लॉक का उपयोग करता है और इसमें एक बड़ी (I LARGE) मिलान तालिका होती है। अपने मुख्य रूप में बिग -5 पारंपरिक चीनी के अधिकांश पात्रों को शामिल करता है। GB18030 एक समान एन्कोडिंग है, लेकिन इसमें पारंपरिक और सरलीकृत चीनी दोनों शामिल हैं। और, इससे पहले कि आप पूछें, हाँ, सरल चीनी के लिए केवल एनकोडिंग हैं। पर्याप्त नहीं है?

यहाँ टेबल GB18030 का एक टुकड़ा है:

बिट्स चरित्र
10000001 01000000 丂
10000001 01000001 01
10000001 01000010 10
10000001 01000011 11
10000001 01000100 00

GB18030 अधिकांश लैटिन वर्णों सहित वर्णों की एक विस्तृत श्रृंखला को कवर करता है, लेकिन अंत में, यह कई अन्य लोगों के बीच सिर्फ एक और एन्कोडिंग है।

यूनिकोड भ्रम

नतीजतन, जो लोग इस गंदगी से सबसे अधिक थक गए हैं, उन्हें एक एकल मानक विकसित करने का विचार मिला जो सभी एन्कोडिंग को जोड़ती है। यूनिकोड वह मानक बन गया है। यह अक्षरों और प्रतीकों के सभी रूपों के लिए इस्तेमाल 1,114,112 अंकों की एक अविश्वसनीय तालिका को परिभाषित करता है। यह सभी यूरोपीय, मध्य एशियाई, सुदूर पूर्वी, दक्षिणी, उत्तरी, पश्चिमी, प्रागैतिहासिक और भविष्य के प्रतीकों को इंगित करने के लिए पर्याप्त है जो मानवता के बारे में जानते हैं। यूनिकोड आपको किसी भी वर्ण के साथ किसी भी भाषा में एक दस्तावेज़ बनाने की अनुमति देता है जिसे आप अपने कंप्यूटर में दर्ज कर सकते हैं। यूनिकोड युग से पहले यह असंभव या बहुत कठिन था। मानक के पास एक अनौपचारिक क्लिंगन अनुभाग भी है। आप समझते हैं, यूनिकोड इतना बड़ा है कि अनौपचारिक वर्गों की अनुमति देता है।

तो, और कितने बाइट्स यूनिकोड का उपयोग एन्कोडिंग के लिए करता है? बिलकुल नहीं । क्योंकि यूनिकोड एनकोडिंग नहीं है।
उलझन में? तुम अकेले नहीं हो यूनिकोड पहले और सबसे महत्वपूर्ण पात्रों के लिए मदों की एक तालिका को परिभाषित करता है। यह "65 - ए, 66 - बी, 9731 -" कहने का एक ऐसा तरीका है (मैं मजाक नहीं कर रहा हूं, यह है)। इन वस्तुओं को बाइट्स में कैसे एन्कोड किया गया है, यह एक अन्य वार्तालाप का विषय है। दो बाइट्स 1,114,112 का प्रतिनिधित्व करने के लिए पर्याप्त नहीं हैं। तीन पर्याप्त है, लेकिन 3 एक अजीब संख्या है, इसलिए 4 एक आरामदायक न्यूनतम है। लेकिन, जब तक आप चीनी, या किसी अन्य भाषा का उपयोग नहीं करते हैं, जिसमें कई अक्षरों के साथ बड़ी संख्या में बिट्स को एनकोड करने की आवश्यकता होती है, तो आपको कभी भी 4 बाइट्स के मोटे सॉसेज का उपयोग नहीं करना पड़ता है। यदि "A" हमेशा 000000000000000000000000 01000001 में एन्कोड किया जाता है, और 000000000000000000000000 01000010 पर "B", तो इस एन्कोडिंग का उपयोग करने वाला एक दस्तावेज़ 4 बार सूज जाएगा।

इस समस्या को हल करने के कई तरीके हैं। UTF-32 एक एन्कोडिंग है जो सभी पात्रों को 32-बिट सेट में अनुवाद करता है। यह एक साधारण एल्गोरिथ्म है, लेकिन बहुत सारी जगह बर्बाद कर रहा है। UTF-16 और UTF-8 परिवर्तनीय लंबाई एनकोडिंग हैं। यदि किसी वर्ण को एक बाइट में एन्कोड किया जा सकता है (क्योंकि वर्ण का आइटम नंबर बहुत छोटा है), UTF-8 इसे एक बाइट में एन्कोड करता है। यदि 2 बाइट्स की आवश्यकता है, तो 2 बाइट्स का उपयोग किया जाता है। एन्कोडिंग उच्च बिट्स को बताता है कि वर्तमान चरित्र कितने बिट्स एन्कोडेड है। यह रास्ता अंतरिक्ष बचाता है, लेकिन यह भी खर्च करता है अगर ये सिग्नल बिट्स अक्सर उपयोग किए जाते हैं। UTF-16 एक समझौता है: सभी वर्ण कम से कम डबल-बाइट हैं, लेकिन यदि आवश्यक हो, तो उनका आकार 4 बाइट तक बढ़ सकता है।

चरित्र एन्कोडिंग बिट्स
एक UTF-8 01000001
एक UTF-16 00000000 01000001
एक UTF-32 000000000000000000000000 01000001
8 UTF-8 11100011 10000001 10000010
16 UTF-16 00110000 01000010
32 UTF-32 0000000000000000 00110000 01000010

और वह सब है। यूनिकोड वर्णों और संख्याओं की एक विशाल तालिका है, और विभिन्न यूटीएफ एन्कोडिंग यह निर्धारित करते हैं कि ये संख्याएं बिट्स में कैसे परिवर्तित होती हैं। सामान्य तौर पर, यूनिकोड सिर्फ एक और योजना है। कुछ खास नहीं, वह सिर्फ प्रभावी रहने के दौरान वह सब कुछ कवर करने की कोशिश कर रही है। और वह अच्छा है।

अंक

प्रतीकों को उनके यूनिकोड बिंदुओं द्वारा पहचाना जाता है। इन वस्तुओं को हेक्साडेसिमल में लिखा गया है और "यू +" से पहले (केवल सुविधा के लिए, इसका मतलब कुछ भी नहीं है लेकिन "यह एक यूनिकोड आइटम है")। प्रतीक paragraph में पैराग्राफ U + 1E00 है। दूसरे (दशमलव) शब्दों में, यह यूनिकोड तालिका का 7680 वां वर्ण है। इसे आधिकारिक तौर पर "एक रिंग बॉटम के साथ लेटिन कैपिटल लेटर ए" कहा जाता है।

niasilil

उपरोक्त का सार: किसी भी चरित्र को बिट्स के कई अलग-अलग अनुक्रमों द्वारा एन्कोड किया जा सकता है, और बिट्स का कोई भी अनुक्रम उपयोग किए गए एन्कोडिंग के आधार पर, विभिन्न वर्णों का प्रतिनिधित्व कर सकता है। कारण यह है कि अलग-अलग एन्कोडिंग विभिन्न वर्णों के प्रति बिट्स की अलग-अलग संख्याओं का उपयोग करते हैं और विभिन्न वर्णों को एन्कोड करने के लिए अलग-अलग मान हैं।

बिट्स एन्कोडिंग वर्ण

11000100 01000010 विंडोज लैटिन 1 00B
11000100 01000010 मैक रोमन 00B
110 100 100 01000010 GB18030 00

अक्षर बिट्स एन्कोडिंग

Føö विंडोज लैटिन 1 01000110 11111000 11110110
Føö मैक रोमन 01000110 10111111 10011010
Føö UTF-8 01000110 11000011 10111000 11000011 10110110

गलतफहमी, शर्मिंदगी और समस्याएं

उपरोक्त सभी होने के बाद, हम दबाने वाली समस्याओं के लिए आते हैं जो कई उपयोगकर्ता और डेवलपर्स हर दिन अनुभव करते हैं कि वे ऊपर से कैसे संबंधित हैं, और समाधान क्या हैं। सबसे बड़ी समस्या है

मेरा पाठ अपठनीय क्यों है?

ÅGÉìÉRÉ [ÉfÉBÇÕìÔǵÇO≠ Ç Ç »¢ Å

यदि आप दस्तावेज़ को खोलते हैं, और यह ऊपर के पाठ जैसा दिखता है, तो इसका कारण समान है: आपके प्रोग्राम को एन्कोडिंग के साथ गलत किया गया था। और वह सब है। दस्तावेज़ दूषित नहीं है (कम से कम अभी तक नहीं), और किसी जादू की आवश्यकता नहीं है। इसके बजाय, आपको केवल पाठ प्रदर्शित करने के लिए सही एन्कोडिंग का चयन करने की आवश्यकता है। उपरोक्त दस्तावेज़ में बिट्स हैं:

10000011 01000111 10000011 10010011 10000011 01010010 10000001 01011011
10000011 01100110 10000011 01000010 10000011 10010011 10000011 01001111
10000010 11001101 10010011 11101111 10000010 10110101 10000010 10101101
10000010 11001000 10000010 10100010

तो, जल्दी से एन्कोडिंग का अनुमान लगाया? अगर आपने सर हिलाया, तो आप सही हैं। कौन जानता है?
आइए ASCII के साथ प्रयास करें। इनमें से अधिकांश बाइट्स 1 से शुरू होते हैं। यदि आपको सही याद है, तो ASCII वास्तव में इस बिट का उपयोग नहीं करता है। इसलिए ASCII एक विकल्प नहीं है। UTF-8 के बारे में क्या? अधिकांश बाइट्स इस एन्कोडिंग में मान्य मान नहीं हैं। मैक रोमन (एक और यूरोपीय एन्कोडिंग) के बारे में क्या? हम्म, उसके लिए, ये बाइट्स सही मान हैं। 10000011 "जी", "जी", और इसी तरह से। तो मैक रोमन में पाठ इस तरह दिखेगा: ÉìÉGÅRÉ [ÉfÉìÉBÉìÉOÇÕìÇÕµÔÇ Ç Ç »≠ text। है न? नहीं? हो सकता है कि? कंप्यूटर कैसे जानता है? शायद कोई ऐसा लिखना चाहता था। जहाँ तक मुझे पता है, यह डीएनए अनुक्रम हो सकता है! तो हम इसे हल करेंगे: यह मैक रोमन है, और यह डीएनए है।

बेशक, यह पूरी बकवास है। सही उत्तर है: पाठ को जापान शिफ्ट-जेआईएस में इनकोड किया गया है और इसे is ン コ the the the the the the the the エ की तरह दिखना चाहिए। किसने सोचा होगा?
अपठनीय पाठ का पहला कारण यह है कि कोई गलत एन्कोडिंग में बाइट्स के अनुक्रम को पढ़ने की कोशिश कर रहा है। कंप्यूटर को हमेशा संकेत देने की आवश्यकता होती है। वह खुद अनुमान नहीं लगाएगा। कुछ प्रकार के दस्तावेज़ उनकी सामग्री के एन्कोडिंग को निर्धारित करते हैं, लेकिन बाइट्स का एक क्रम हमेशा एक ब्लैक बॉक्स रहता है।
अधिकांश ब्राउज़र एक विशेष मेनू आइटम का उपयोग करके पेज एन्कोडिंग को निर्दिष्ट करने की क्षमता प्रदान करते हैं। अन्य कार्यक्रमों में भी समान आइटम हैं।

लेखक के पास भागों में टूटने नहीं है, लेकिन लेख पहले से ही लंबा है। एक दो दिनों में जारी रखा जाए।