📹 🎪 🏷️ डमीज के लिए यूनिकोड ✴️ ✔️ 🤢

मैं खुद डमी / बर्तन / धूपदान के लिए अपने स्वयं के रस में पोकेमोन जैसे शीर्षकों को वास्तव में पसंद नहीं करता हूं, लेकिन ऐसा लगता है - हम उन बुनियादी चीजों के बारे में बात करेंगे जो अक्सर काम करते हैं और शंकु से भरा एक कम्पार्टमेंट बनाते हैं और प्रश्न के आसपास बहुत समय खो देते हैं। "यह काम क्यों नहीं करता है?" यदि आप अभी भी डरते हैं और / या यूनिकोड को नहीं समझते हैं - मैं बिल्ली के लिए पूछता हूं।

क्यों?

एक नौसिखिया का मुख्य प्रश्न, जो एक प्रभावशाली मात्रा में एन्कोडिंग और पहली नज़र में उनके साथ काम करने के लिए जटिल तंत्र के रूप में आता है (उदाहरण के लिए, पायथन 2.x में)। संक्षिप्त उत्तर है क्योंकि यह हुआ :)

कोडिंग, जो नहीं जानता है, कंप्यूटर मेमोरी में प्रतिनिधित्व करने का तरीका कहा जाता है (पढ़ें - शून्य-इकाइयों \ संख्या में) संख्या, बीचे और अन्य सभी वर्ण। उदाहरण के लिए, एक स्थान को 0b100000 (बाइनरी में), 32 (दशमलव में), या 0x20 (हेक्साडेसिमल में) के रूप में दर्शाया गया है।

इसलिए, एक बार बहुत कम मेमोरी थी और सभी कंप्यूटरों में सभी आवश्यक वर्णों (संख्याओं, लोअरकेस / अपरकेस लैटिन वर्णमाला, वर्णों का एक गुच्छा और तथाकथित नियंत्रित वर्ण - सभी 127 संभव संख्याएं किसी को दी गई थीं) का प्रतिनिधित्व करने के लिए केवल 7 बिट थे। उस समय एन्कोडिंग एक था - ASCII । जैसे-जैसे समय बीतता गया, सभी लोग खुश थे, और जो खुश नहीं थे (पढ़ें - जिनके पास "©" साइन या मूल पत्र "यू" का अभाव था) - ने अपने विवेक पर शेष 128 वर्णों का उपयोग किया, अर्थात, नए एनकोडिंग बनाए। तो ISO-8859-1 और हमारे (यानी सिरिलिक) cp1251 और KOI8 दिखाई दिए । उनके साथ मिलकर, 0b1 ******* (यानी, वर्णों की संख्या 128 से 255 तक) की बाइट्स की व्याख्या करने की समस्या थी - उदाहरण के लिए, cp1251 एन्कोडिंग में 0b11011111 हमारा मूल "I" है, आईएसओ में एक ही समय में- 8859-1 "जर्मन" के लिए ~~ग्रीक~~ जर्मन एसजेट (मूनराइज को बताता है) है। जाहिर है, नेटवर्क संचार और बस विभिन्न कंप्यूटरों के बीच फ़ाइल साझा करना नरक-में बदल गया, इस तथ्य के बावजूद कि HTTP प्रोटोकॉल, ईमेल और HTML पृष्ठों में 'सामग्री-एन्कोडिंग' जैसे हेडर ने स्थिति को थोड़ा बचा लिया।

उस समय, उज्ज्वल दिमाग इकट्ठा हुए और एक नया मानक प्रस्तावित किया - यूनिकोड । यह मानक है, एन्कोडिंग नहीं है - अकेले यूनिकोड यह निर्धारित नहीं करता है कि हार्ड ड्राइव पर पात्रों को कैसे संग्रहीत किया जाएगा या नेटवर्क पर प्रेषित किया जाएगा। यह केवल एक चरित्र और एक निश्चित संख्या के बीच संबंध को परिभाषित करता है, और प्रारूप जिसके अनुसार इन नंबरों को बाइट में परिवर्तित किया जाएगा, यूनिकोड एनकोडिंग (उदाहरण के लिए, UTF-8 या UTF-16 ) द्वारा निर्धारित किया जाता है। वर्तमान में, यूनिकोड मानक में 100 हजार से अधिक वर्ण हैं, जबकि UTF-16 आपको एक मिलियन (UTF-8 - और इससे भी अधिक) का समर्थन करने की अनुमति देता है।

मैं आपको शानदार जोएल स्पोलस्की के साथ विषय पर अधिक से अधिक मजेदार पढ़ने की सलाह देता हूं , निरपेक्ष न्यूनतम हर सॉफ्टवेयर डेवलपर बिल्कुल, यूनिकोड और चरित्र सेट के बारे में सकारात्मक रूप से जानना चाहिए ।

बिंदु पर जाओ!

स्वाभाविक रूप से, पायथन में यूनिकोड के लिए भी समर्थन है। लेकिन, दुर्भाग्य से, केवल पायथन 3 में ही सभी तार यूनिकोड हो गए, और नए लोगों को त्रुटियों के बारे में खुद को मारना पड़ा:

>>> with open('1.txt') as fh: s = fh.read() >>> print s  >>> parser_result = u'-' #   ,  ,     -  >>> parser_result + s

 Traceback (most recent call last): File "<pyshell#43>", line 1, in <module> parser_result + s UnicodeDecodeError: 'ascii' codec can't decode byte 0xea in position 0: ordinal not in range(128)

या तो:

 >>> str(parser_result)

 Traceback (most recent call last): File "<pyshell#52>", line 1, in <module> str(parser_result) UnicodeEncodeError: 'ascii' codec can't encode characters in position 0-3: ordinal not in range(128)

आइए इसे समझें, लेकिन क्रम में।

कोई यूनिकोड का उपयोग क्यों कर रहा है?

मेरा पसंदीदा HTML पार्सर यूनिकोड क्यों लौट रहा है? इसे सामान्य स्ट्रिंग वापस करने दें, और मैं इसके साथ पहले ही सौदा कर लूंगा! है न? वास्तव में नहीं। हालांकि यूनिकोड में मौजूद प्रत्येक वर्ण को (शायद) कुछ एकल-बाइट एन्कोडिंग में दर्शाया जा सकता है (ISO-8859-1, cp1251 और अन्य को सिंगल-बाइट कहा जाता है, क्योंकि वे किसी भी वर्ण को एक बाइट में कूटबद्ध करते हैं), लेकिन क्या होगा यदि स्ट्रिंग में वर्ण हों विभिन्न एन्कोडिंग्स से? प्रत्येक वर्ण के लिए एक अलग एन्कोडिंग निरुपित करें? नहीं, बेशक, आपको यूनिकोड का उपयोग करने की आवश्यकता है।

हमें एक नए प्रकार के "यूनिकोड" की आवश्यकता क्यों है?

तो हम सबसे दिलचस्प हो गए। पायथन 2.x में एक स्ट्रिंग क्या है? ये सिर्फ बाइट्स हैं । बस बाइनरी डेटा जो कुछ भी हो सकता है। वास्तव में, जब हम कुछ लिखते हैं:

 >>> x = 'abcd' >>> x 'abcd'

दुभाषिया एक चर नहीं बनाता है जिसमें लैटिन वर्णमाला के पहले चार अक्षर होते हैं, लेकिन केवल एक अनुक्रम

 ('a', 'b', 'c', 'd')

चार बाइट्स के साथ, और यहाँ लैटिन अक्षरों का उपयोग विशेष रूप से इस विशेष बाइट मान को इंगित करने के लिए किया जाता है। यही है, 'ए' यहाँ केवल '\ x61' लिखने के लिए एक पर्याय है, और कुछ अधिक नहीं। उदाहरण के लिए:

 >>> '\x61' 'a' >>> struct.unpack('>4b', x) # 'x' -    signed/unsigned char- (97, 98, 99, 100) >>> struct.unpack('>2h', x) #   short- (24930, 25444) >>> struct.unpack('>l', x) #   long (1633837924,) >>> struct.unpack('>f', x) #  float (2.6100787562286154e+20,) >>> struct.unpack('>d', x * 2) #    double- (1.2926117739473244e+161,)

और यह बात है!

और सवाल का जवाब - हमें "यूनिकोड" की आवश्यकता क्यों है और अधिक स्पष्ट है - हमें एक प्रकार की आवश्यकता है जो वर्णों द्वारा दर्शाया जाएगा, बाइट्स द्वारा नहीं।

खैर, मैं समझ गया कि लाइन क्या है। फिर पायथन में यूनिकोड क्या है?

"टाइप यूनिकोड" मुख्य रूप से एक अमूर्त है, जो यूनिकोड (पात्रों का एक समूह और उनसे जुड़ी संख्या) के विचार को लागू करता है। "यूनिकोड" प्रकार की एक वस्तु अब बाइट्स का अनुक्रम नहीं है, लेकिन पात्रों का एक क्रम बिना किसी विचार के खुद को बताता है कि ये अक्षर कंप्यूटर मेमोरी में प्रभावी रूप से कैसे संग्रहीत किए जाते हैं। यदि आप चाहते हैं, तो यह बाइट स्ट्रिंग्स की तुलना में उच्च स्तर का अमूर्त है (यह वही है जिसे पायथन 3 नियमित स्ट्रिंग्स कहते हैं जो पायथन 2.6 में उपयोग किए जाते हैं)।

यूनिकोड का उपयोग कैसे करें?

आप पाइथन 2.6 में तीन (कम से कम स्वाभाविक रूप से) तरीके से एक यूनिकोड स्ट्रिंग बना सकते हैं:

यू "" शाब्दिक:
```
 >>> u'abc' u'abc' 
```
बाइट स्ट्रिंग के लिए डिकोड विधि:
```
 >>> 'abc'.decode('ascii') u'abc' 
```
यूनिकोड फ़ंक्शन:
```
 >>> unicode('abc', 'ascii') u'abc' 
```

पिछले दो उदाहरणों में ascii को एन्कोडिंग के रूप में निर्दिष्ट किया गया है, जिसका उपयोग बाइट्स को वर्णों में बदलने के लिए किया जाएगा। इस परिवर्तन के चरण कुछ इस तरह दिखते हैं:

 '\x61' ->  ascii ->   "a" -> u'\u0061' (unicode-point   )  '\xe0' ->  c1251 ->   "a" -> u'\u0430'

यूनिकोड स्ट्रिंग से सामान्य कैसे प्राप्त करें? इसे एनकोड करें:

 >>> u'abc'.encode('ascii') 'abc'

कोडिंग एल्गोरिथ्म स्वाभाविक रूप से उपरोक्त के विपरीत है।

हम याद करते हैं और भ्रमित नहीं करते हैं - यूनिकोड == वर्ण, स्ट्रिंग == बाइट्स, और बाइट्स -> कुछ सार्थक (वर्ण) डी-एन्कोडिंग (डिकोड) है, और वर्ण -> बाइट्स एन्कोडिंग (एनकोड) हैं।

एन्कोडेड नहीं :(

आइए लेख की शुरुआत से उदाहरण देखें। स्ट्रिंग और यूनिकोड स्ट्रिंग संघनन कैसे काम करता है? एक साधारण स्ट्रिंग को यूनिकोड स्ट्रिंग में परिवर्तित किया जाना चाहिए, और चूंकि दुभाषिया एन्कोडिंग को नहीं जानता है, इसलिए यह डिफ़ॉल्ट एन्कोडिंग, एससीआईआई का उपयोग करता है। यदि यह एन्कोडिंग स्ट्रिंग को डीकोड करने में विफल रहता है, तो हमें एक बदसूरत त्रुटि मिलती है। इस मामले में, हमें सही एन्कोडिंग का उपयोग करके स्ट्रिंग को एक यूनिकोड स्ट्रिंग में डालने की आवश्यकता है:

 >>> print type(parser_result), parser_result <type 'unicode'> - >>> s = '' >>> parser_result + s

 Traceback (most recent call last): File "<pyshell#67>", line 1, in <module> parser_result + s UnicodeDecodeError: 'ascii' codec can't decode byte 0xea in position 0: ordinal not in range(128)

 >>> parser_result + s.decode('cp1251') u'\xe1\xe0\xe1\xe0-\xff\xe3\xe0\u043a\u043e\u0449\u0435\u0439' >>> print parser_result + s.decode('cp1251') - >>> print '&'.join((parser_result, s.decode('cp1251'))) -& #   :)

"यूनिकोडडॉस्ट्रोर" आम तौर पर सबूत है कि आपको सही एन्कोडिंग का उपयोग करके यूनिकोड को एक स्ट्रिंग को डीकोड करने की आवश्यकता है।

अब str और यूनिकोड स्ट्रिंग्स का उपयोग करना। "Str" और यूनिकोड स्ट्रिंग्स का उपयोग न करें :) "str" में एन्कोडिंग को निर्दिष्ट करने का कोई तरीका नहीं है, इसलिए डिफ़ॉल्ट एन्कोडिंग का हमेशा उपयोग किया जाएगा और किसी भी वर्ण> 128 में त्रुटि होगी। "एनकोड" विधि का उपयोग करें:

 >>> print type(s), s <type 'unicode'>  >>> str(s)

 Traceback (most recent call last): File "<pyshell#90>", line 1, in <module> str(s) UnicodeEncodeError: 'ascii' codec can't encode characters in position 0-4: ordinal not in range(128)

 >>> s = s.encode('cp1251') >>> print type(s), s <type 'str'>

"यूनिकोडएकोडकोड" एक संकेत है जिसे हमें यूनिकोड स्ट्रिंग को एक नियमित रूप में परिवर्तित करने के लिए सही एन्कोडिंग को निर्दिष्ट करने की आवश्यकता है (या "एनकोडे" विधि में '\' xmlcharrefreplace 'की जगह' \ n '' xmlcharrefreplace 'को अनदेखा करें)।

मुझे और चाहिए!

ठीक है, ऊपर दिए गए उदाहरण से बाबा यागा का उपयोग करें:

 >>> parser_result = u'-' #1 >>> parser_result u'\xe1\xe0\xe1\xe0-\xff\xe3\xe0' #2 >>> print parser_result áàáà-ÿãà #3 >>> print parser_result.encode('latin1') #4 - >>> print parser_result.encode('latin1').decode('cp1251') #5 - >>> print unicode('-', 'cp1251') #6 -

उदाहरण पूरी तरह से सरल नहीं है, लेकिन सब कुछ है (अच्छी तरह से, या लगभग सब कुछ)। यहाँ क्या हो रहा है:

प्रवेश द्वार पर हमारे पास क्या है? बाइट्स जो IDLE इंटरप्रेटर को जाता है। बाहर निकलने पर आपको क्या चाहिए? यूनिकोड, अर्थात् वर्ण। यह बाइट्स को पात्रों में बदलने के लिए बना हुआ है - लेकिन आपको एन्कोडिंग की आवश्यकता है, है ना? क्या एन्कोडिंग का उपयोग किया जाएगा? हम आगे देखते हैं।
यहाँ एक महत्वपूर्ण बिंदु है:
```
 >>> '-' '\xe1\xe0\xe1\xe0-\xff\xe3\xe0' >>> u'\u00e1\u00e0\u00e1\u00e0-\u00ff\u00e3\u00e0' == u'\xe1\xe0\xe1\xe0-\xff\xe3\xe0' True 
```
जैसा कि आप देख सकते हैं, पायथन एन्कोडिंग की पसंद से परेशान नहीं है - बाइट्स केवल यूनिकोड बिंदुओं में बदल जाते हैं:
```
 >>> ord('') 224 >>> ord(u'') 224 
```
केवल यहाँ समस्या है - cp1251 में 224 वां चरित्र (दुभाषिया द्वारा इस्तेमाल किया जाने वाला एन्कोडिंग) यूनिकोड में 224 के समान नहीं है। यह इस वजह से है कि जब हम अपने यूनिकोड स्ट्रिंग को प्रिंट करने की कोशिश करते हैं तो हमें krakozyabra मिलता है।
एक महिला की मदद कैसे करें? यह पता चला है कि पहले 256 यूनिकोड वर्ण ISO-8859-1 \ latin1 एन्कोडिंग के समान हैं, यदि हम इसका उपयोग यूनिकोड स्ट्रिंग को एन्कोड करने के लिए करते हैं, तो हम उन बाइट्स को प्राप्त करते हैं जो हमने खुद में प्रवेश किया था (जो परवाह करता है - ऑब्जेक्ट्स / यूनिकोडोबजेक्ट . c ) फ़ंक्शन की परिभाषा "यूनिकोड_केनोड_स 1" की तलाश में):
```
 >>> parser_result.encode('latin1') '\xe1\xe0\xe1\xe0-\xff\xe3\xe0' 
```
यूनिकोड में एक महिला कैसे प्राप्त करें? आपको यह निर्दिष्ट करना होगा कि किस एन्कोडिंग का उपयोग करना है:
```
 >>> parser_result.encode('latin1').decode('cp1251') u'\u0431\u0430\u0431\u0430-\u044f\u0433\u0430' 
```
बिंदु # 5 से विधि निश्चित रूप से इतनी गर्म नहीं है, बिल्ट-इन यूनिकोड का उपयोग करना अधिक सुविधाजनक है।

वास्तव में, "यू" शाब्दिक के साथ सब कुछ इतना बुरा नहीं है, क्योंकि समस्या केवल कंसोल में उत्पन्न होती है। वास्तव में, यदि गैर-एससीआई अक्षर स्रोत फ़ाइल में उपयोग किए जाते हैं, तो पायथन "# - * - कोडिंग: - * -" ( पीईपी 0263 ) जैसे हेडर का उपयोग करने पर जोर देगा, और यूनिकोड तार सही एन्कोडिंग का उपयोग करेगा।

उदाहरण के लिए, सिरिलिक का प्रतिनिधित्व करने के लिए "यू" का उपयोग करने का एक तरीका भी है, और एन्कोडिंग या अपठनीय यूनिकोड बिंदुओं को निर्दिष्ट नहीं करते हैं (यानी, "यू '\ u1234'")। विधि पूरी तरह से सुविधाजनक नहीं है, लेकिन यूनिकोड इकाई कोड का उपयोग करना दिलचस्प है:

 >>> s = u'\N{CYRILLIC SMALL LETTER KA}\N{CYRILLIC SMALL LETTER O}\N{CYRILLIC SMALL LETTER SHCHA}\N{CYRILLIC SMALL LETTER IE}\N{CYRILLIC SMALL LETTER SHORT I}' >>> print s

खैर, सब कुछ लगता है। मुख्य युक्तियां "एनकोड" \ "डिकोड" को भ्रमित करने और बाइट्स और वर्णों के बीच के अंतर को समझने के लिए नहीं हैं।

अजगर ३

कोई कोड नहीं है, क्योंकि कोई अनुभव नहीं है। प्रत्यक्षदर्शियों का दावा है कि वहां सब कुछ बहुत सरल और अधिक मजेदार है। जो बिल्लियों के यहाँ (पायथन 2.x) और वहाँ (पायथन 3.x) के बीच के अंतर को प्रदर्शित करने का काम करेंगे - सम्मान और सम्मान।

उपयोगी

चूंकि हम एन्कोडिंग के बारे में बात कर रहे हैं, इसलिए मैं एक ऐसे संसाधन की सिफारिश करूंगा जो समय-समय पर krakozyabra को दूर करने में मदद करता है - http://2cyr.com/decode/?lang=en ।

एक बार फिर, स्पॉल्स्की द्वारा लेख का एक लिंक - पूर्ण न्यूनतम हर सॉफ्टवेयर डेवलपर बिल्कुल, यूनिकोड और चरित्र सेट के बारे में सकारात्मक रूप से जानना चाहिए ।

यूनिकोड HOWTO एक आधिकारिक दस्तावेज है कि कहां, कैसे और क्यों पाइकॉन में यूनिकोड 2.x।

आपका ध्यान देने के लिए धन्यवाद। मैं निजी तौर पर टिप्पणियों के लिए आभारी रहूंगा।

PS ने स्पोलस्की के अनुवाद का एक लिंक फेंक दिया - निरपेक्ष न्यूनतम, जिसे हर सॉफ्टवेयर डेवलपर को यूनिकोड और कैरेक्टर सेट के बारे में जानना चाहिए ।

डमीज के लिए यूनिकोड