पायथन 3 में यूनिकोड दुर्घटना

अनुवादक से: अर्मिन रोनाचेर पायथन समुदाय (फ्लास्क, जिंजा 2, वर्केज़ग) में एक काफी प्रसिद्ध डेवलपर हैं।
उन्होंने कुछ समय पहले Python3 के खिलाफ एक तरह का धर्मयुद्ध शुरू किया था, लेकिन हिस्टीरिया और प्रतिगामी के लिए उन्हें दोष देना इतना आसान नहीं है: उनकी आपत्तियां गंभीर विकास के अनुभव से तय होती हैं, वह काफी विस्तार से अपनी बात रखते हैं। शब्दावली के बारे में थोड़ा सा:
मैंने जोर-जबरदस्ती को एन्कोडिंग के रूपांतरण के रूप में अनुवाद किया, और बाइट स्ट्रिंग के रूप में बाइट स्ट्रिंग के बाद से, "कच्चे" तार का शब्द फिर भी थोड़ा अलग है।
"ऐतिहासिक" नोट: 2012 में, अर्मिन ने PEP 414 का प्रस्ताव रखा, जिसमें यूनिकोड की समस्याओं के निवारण के लिए कई उपाय थे, PEP की पुष्टि बहुत जल्दी हो गई थी, लेकिन यह अभी भी है, क्योंकि नीचे दिया गया पाठ 5 जनवरी, 2014 को लिखा गया था।

पायथन 2 और 3 के बीच अंतर के बारे में एक सूचित चर्चा प्राप्त करना कठिन और कठिन हो रहा है, क्योंकि एक भाषा पहले से ही मृत है,
और दूसरा सक्रिय रूप से विकसित हो रहा है। जब कोई दो पायथन शाखाओं में यूनिकोड समर्थन की चर्चा शुरू करता है, तो यह एक बहुत ही जटिल विषय है। भाषा के दो संस्करणों में यूनिकोड समर्थन पर विचार करने के बजाय, मैं टेक्स्ट और बाइट स्ट्रिंग्स के प्रसंस्करण के लिए एक बुनियादी मॉडल पर विचार करूंगा।



इस पोस्ट में, मैं आपको भाषा और मानक पुस्तकालय के डेवलपर्स से समाधान का एक उदाहरण दिखाऊंगा
पायथन 2 पाठ और बाइट स्ट्रिंग्स के साथ काम करने के लिए बेहतर है।


चूंकि मुझे बाइट स्ट्रिंग्स और यूनिकोड के बीच सीधे रूपांतरण के साथ काम करने वाले कोड की एक बड़ी मात्रा के साथ काम करना था, इसलिए पायथन 3 में गिरावट ने मुझे बहुत दुख पहुंचाया। मैं मुख्य अजगर विकास टीम की सामग्री से विशेष रूप से नाराज हूं, जो मुझे यह विश्वास करने के लिए प्रोत्साहित करता है कि अजगर 3 2.7 से बेहतर है।

पाठ प्रस्तुति मॉडल

पायथन 2 और पायथन 3 के बीच मुख्य अंतर बुनियादी प्रकार है जो स्ट्रिंग्स और बाइट स्ट्रिंग्स के साथ काम करने के लिए मौजूद हैं। पायथन 3 में, हमारे पास एक स्ट्रिंग प्रकार है: str , जो यूनिकोड में डेटा संग्रहीत करता है, और दो बाइट प्रकार: बाइट्स और बायट्रेयर ।


दूसरी ओर, पायथन 2 में, हमारे पास दो स्ट्रिंग प्रकार हैं: str , जो कि किसी भी उद्देश्य और कार्य के लिए पर्याप्त है, जो कि ASCII + तक सीमित है और कुछ अपरिभाषित डेटा के साथ स्ट्रिंग को 7-बिट अंतराल से अधिक है। स्ट्रेट प्रकार के साथ, Python2 में एक यूनिकोड डेटा प्रकार है, जो Python 3 str डेटा प्रकार के बराबर है। Python 2 में बाइट्स के साथ काम करने के लिए, एक प्रकार है: bytearray, Python 3 से लिया गया। 3. स्थिति को देखते हुए, आप देखेंगे कि Python 3 से। उन्होंने क्या हटाया: यूनिकोड में स्ट्रिंग डेटा का समर्थन नहीं। हैश बाइट डेटा प्रकार ( बाइट्स ) बलिदान के लिए क्षतिपूर्ति बन गया। बाईट्रेयर डेटा प्रकार परिवर्तनशील है और इसलिए हैशेड नहीं किया जा सकता है। मैं द्विआधारी डेटा का उपयोग शब्दकोश कीज़ के रूप में बहुत कम करता हूं, और इसलिए हैशिंग बाइनरी डेटा की संभावना या असंभवता मेरे लिए बहुत गंभीर नहीं लगती है। विशेष रूप से पायथन 2 में, चूंकि बाइट्स को बिना किसी समस्या के स्ट्रिंग के एक चर में रखा जा सकता है।

खोया प्रकार

पायथन 3 बाइट स्ट्रिंग्स के लिए समर्थन को बाहर करता है, जो 2.x शाखा में टाइप स्ट्रॉग के थे। कागज पर, इस निर्णय में कुछ भी गलत नहीं है। अकादमिक दृष्टिकोण से, यूनिकोड में हमेशा दर्शाए गए तार महान हैं। और यह सच है अगर पूरी दुनिया आपकी दुभाषिया है। दुर्भाग्य से, वास्तविक दुनिया में, सब कुछ अलग तरह से होता है: आपको नियमित रूप से अलग-अलग एन्कोडिंग के साथ काम करने के लिए मजबूर किया जाता है, इस मामले में स्ट्रिंग के साथ काम करने के लिए पायथन 3 का दृष्टिकोण तेजी से टूट रहा है।

मैं आपके साथ ईमानदार रहूंगा: जिस तरह से पायथन 2 यूनिकोड को संभालता है, त्रुटियों का कारण बनता है, और मैं पूरी तरह से यूनीकोड ​​हैंडलिंग में सुधार को मंजूरी देता हूं। मेरी स्थिति यह है कि जिस तरह से पायथन 3 में यह किया गया है वह एक कदम पीछे है और इससे भी अधिक त्रुटियां उत्पन्न होती हैं, यही वजह है कि मैं पायथन 3 के साथ काम करने से बिल्कुल नफरत करता हूं।

यूनिकोड के साथ काम करते समय त्रुटियां

इससे पहले कि मैं विवरण में डुबकी लगाऊं, हमें पायथन 2 और 3 में यूनिकोड समर्थन के बीच के अंतर को समझने की जरूरत है,
साथ ही साथ डेवलपर्स ने यूनिकोड समर्थन तंत्र को बदलने का फैसला क्यों किया।

प्रारंभ में, पायथन 2, इससे पहले कई अन्य भाषाओं की तरह, विभिन्न एन्कोडिंग के प्रसंस्करण स्टॉक के समर्थन के बिना बनाया गया था।
एक स्ट्रिंग एक स्ट्रिंग है, इसमें बाइट्स होते हैं। इसके लिए डेवलपर्स को विभिन्न के साथ सही ढंग से काम करने की आवश्यकता होती है
मैन्युअल रूप से एन्कोड किया गया। यह कई स्थितियों के लिए पूरी तरह से स्वीकार्य था। Django वेब फ्रेमवर्क के कई साल
यूनिकोड के साथ काम नहीं किया, लेकिन विशेष रूप से बाइट स्ट्रिंग्स का इस्तेमाल किया।

इस बीच, पायथन, 2 साल से आंतरिक यूनिकोड समर्थन में सुधार कर रहा है। यूनिकोड समर्थन में सुधार
विभिन्न एन्कोडिंग में डेटा की एक समान प्रस्तुति के लिए इसका उपयोग करने की अनुमति दी गई है।

पायथन 2 में एक विशिष्ट एन्कोडिंग का उपयोग करके तारों को संभालने का दृष्टिकोण बहुत सरल है:
आप एक स्ट्रिंग (बाइट) लेते हैं जिसे आप कहीं से भी प्राप्त कर सकते हैं, और फिर परिवर्तित कर सकते हैं
यह एन्कोडिंग से स्ट्रिंग के स्रोत के लिए विशेषता है (मेटाडेटा, हेडर, अन्य)
यूनिकोड स्ट्रिंग के लिए। एक यूनिकोड स्ट्रिंग बनने के बाद, यह सभी समान कार्यों का समर्थन करता है।
बाइट की तरह, लेकिन अब यह पात्रों की एक विस्तृत श्रृंखला को संग्रहीत कर सकता है।
जब आपको कहीं और प्रसंस्करण के लिए स्ट्रिंग को पास करने की आवश्यकता होती है, तो आप फिर से
इसे प्राप्त करने वाली पार्टी द्वारा उपयोग किए जाने वाले एन्कोडिंग में परिवर्तित करें,
और हमारे सामने फिर से एक बाइट स्ट्रिंग

इस दृष्टिकोण के साथ क्या विशेषताएं जुड़ी हुई हैं? इसके लिए मुख्य भाषा स्तर पर काम करने के लिए,
पायथन 2 को यूनिकोड के बिना एक खूबसूरत दुनिया के साथ एक दुनिया से संक्रमण का रास्ता प्रदान करना चाहिए।
बाइट और गैर-बाइट स्ट्रिंग्स के जबरन रूपांतरण के कारण यह संभव है। ऐसा कब होता है
और यह तंत्र कैसे काम करता है?

मुख्य बिंदु यह है कि जब एक बाइट स्ट्रिंग एक एकल ऑपरेशन में यूनिकोड स्ट्रिंग के साथ शामिल होता है,
तब बाइट स्ट्रिंग को एक अंतर्निहित स्ट्रिंग डिकोडिंग प्रक्रिया का उपयोग करके यूनिकोड स्ट्रिंग में परिवर्तित किया जाता है जो डिफ़ॉल्ट एन्कोडिंग का उपयोग करता है। यह एन्कोडिंग डिफ़ॉल्ट रूप से ASCII माना जाता है। पायथन ने एकल मॉड्यूल का उपयोग करते हुए डिफ़ॉल्ट एन्कोडिंग को बदलने की क्षमता प्रदान की, लेकिन अब डिफ़ॉल्ट एन्कोडिंग को बदलने के लिए कार्य साइट-साइट मॉड्यूल से हटा दिए गए हैं, यह ASCII पर सेट है। यदि आप -s ध्वज के साथ दुभाषिया चलाते हैं, तो sys.setdefaultencoding फ़ंक्शन आपके लिए उपलब्ध होगा और आप यह पता लगाने के लिए प्रयोग कर पाएंगे कि क्या होता है यदि आप UTF-8 को डिफ़ॉल्ट एन्कोडिंग सेट करते हैं। कुछ स्थितियों में, डिफ़ॉल्ट एन्कोडिंग के साथ काम करने पर समस्याएँ उत्पन्न हो सकती हैं:

1. निहितार्थ के दौरान अंतर्निहित विनिर्देश और एन्कोडिंग रूपांतरण:

>>> "Hello " + u"World" u'Hello World' 

यहां, बाईं ओर स्ट्रिंग को डिफ़ॉल्ट एन्कोडिंग का उपयोग करके यूनिकोड स्ट्रिंग में परिवर्तित किया गया है। यदि स्ट्रिंग में गैर-एएससीआईआई अक्षर शामिल हैं, तो एक सामान्य कार्यक्रम निष्पादन स्थिति में, रूपांतरण यूनिकोडडबलस्ट्रीम अपवाद के साथ बंद हो जाता है, क्योंकि डिफ़ॉल्ट एन्कोडिंग एएससीआईआई है।

2. स्ट्रिंग्स की तुलना करते समय इंप्लिकेंट जॉब और एन्कोडिंग रूपांतरण

 >>> "Foo" == u"Foo" True 

यह वास्तव में है की तुलना में अधिक खतरनाक लगता है। बाईं ओर को यूनिकोड में बदल दिया जाता है, और फिर एक तुलना की जाती है। यदि बाईं ओर परिवर्तित नहीं किया जा सकता है, तो दुभाषिया एक चेतावनी देता है, और लाइनों को असमान माना जाता है (तुलना के परिणाम के रूप में गलत लौटा दिया जाता है)। यह काफी अच्छा व्यवहार है, भले ही उसके साथ पहली मुलाकात में ऐसा न हो।


3. स्पष्ट विनिर्देश और एन्कोडिंग रूपांतरण, कोडेक्स का उपयोग करते हुए तंत्र के हिस्से के रूप में।

यह सबसे अधिक भयावह चीजों में से एक है और पायथन 2 में सभी यूनिकोड विफलताओं और गलतफहमी का सबसे आम स्रोत है। इस क्षेत्र में समस्याओं को दूर करने के लिए, पायथन 3 ने यूनिकोड स्ट्रिंग्स और .encode () विधि को बाइट स्ट्रिंग्स से .decode () विधि को हटाकर एक पागल कदम उठाया। , इससे मुझे सबसे बड़ी गलतफहमी और निराशा हुई। मेरे दृष्टिकोण से, यह एक बहुत ही मूर्खतापूर्ण निर्णय है, लेकिन उन्होंने मुझे कई बार कहा कि मुझे कुछ भी समझ में नहीं आता है, कोई भी मोड़ नहीं होगा।

कोडेक्स के साथ काम करते समय एक स्पष्ट एन्कोडिंग रूपांतरण इस तरह दिखता है:

 >>> "foo".encode('utf-8') 'foo' 

यह स्ट्रिंग स्पष्ट रूप से एक बाइट स्ट्रिंग है। हम इसे यूटीएफ -8 में बदलने की मांग करते हैं। अकेले ही व्यर्थ है, क्योंकि UTF-8 कोडेक यूटीएफ -8 में एन्कोडेड एक स्ट्रिंग को बाइट स्ट्रिंग से परिवर्तित करता है। यह कैसे काम करता है? UTF-8 कोडेक देखता है कि स्ट्रिंग एक यूनिकोड स्ट्रिंग नहीं है, और इसलिए यूनिकोड के लिए एक मजबूर रूपांतरण पहले किया जाता है। जबकि "फू" केवल ASCII डेटा है और डिफ़ॉल्ट एन्कोडिंग ASCII है, मजबूर रूपांतरण सफल है, और उसके बाद यूनिकोड स्ट्रिंग यू "फू" को यूटीएफ -8 में बदल दिया जाता है।

कोडेक इंजन

अब आप जानते हैं कि पायथन 2 में स्ट्रिंग्स का प्रतिनिधित्व करने के लिए दो दृष्टिकोण हैं: बाइट्स और यूनिकोड। इन अभ्यावेदन के बीच रूपांतरण कोडेक तंत्र का उपयोग करके किया जाता है। यह तंत्र एक यूनिकोड-> बाइट रूपांतरण योजना या एक समान लागू नहीं करता है। कोडेक रूपांतरण बाइट-> बाइट या यूनिकोड-> यूनिकोड प्रदर्शन कर सकता है। वास्तव में, कोडेक सिस्टम किसी भी प्रकार के पायथन के बीच रूपांतरण को लागू कर सकता है। आपके पास एक JSON कोडेक हो सकता है जो एक स्ट्रिंग को इसके आधार पर एक जटिल पायथन ऑब्जेक्ट में परिवर्तित करता है, अगर आपको लगता है कि आपको इस तरह के रूपांतरण की आवश्यकता है।

इस राज्य की स्थिति तंत्र को समझने के साथ समस्याओं का कारण बन सकती है, इसकी नींव के साथ शुरू करना। इसका एक उदाहरण 'अपरिभाषित' नामक एक कोडेक होगा, जिसे डिफ़ॉल्ट एन्कोडिंग के रूप में सेट किया जा सकता है। इस स्थिति में, स्ट्रिंग एन्कोडिंग के किसी भी जबरन रूपांतरण को अक्षम कर दिया जाएगा:

 >>> import sys >>> sys.setdefaultencoding('undefined') >>> "foo" + u"bar" Traceback (most recent call last): raise UnicodeError("undefined encoding") UnicodeError: undefined encoding 

और पायथन 3 कैसे कोडेक्स के साथ समस्या को हल करता है? पायथन 3 उन सभी कोडेक्स को हटाता है जो फ़ॉर्म का रूपांतरण नहीं करते हैं: यूनिकोड <-> बाइट, और इसके अलावा .encode () बाइट स्ट्रिंग विधि और .decode () स्ट्रिंग विधि। यह बहुत ही बुरा निर्णय है, क्योंकि यह बहुत अच्छा था
कई उपयोगी कोडेक्स। उदाहरण के लिए, पायथन 2 में हेक्स कोडेक का उपयोग करके रूपांतरण का उपयोग करना बहुत आम है:

 >>> "\x00\x01".encode('hex') '0001' 

जबकि आप कह सकते हैं कि इस विशेष मामले में, बिनसायसी जैसे मॉड्यूल का उपयोग करके समस्या को हल किया जा सकता है, लेकिन समस्या गहरी है, कोडेक्स वाले मॉड्यूल अलग से उपलब्ध हैं। उदाहरण के लिए, लाइब्रेरी जो सॉकेट्स से रीडिंग को लागू करती हैं, कोडेक्स का उपयोग आंशिक रूप से zlib लाइब्रेरी डेटा स्ट्रीम से डेटा को परिवर्तित करने के लिए करती हैं:

 >>> import codecs >>> decoder = codecs.getincrementaldecoder('zlib')('strict') >>> decoder.decode('x\x9c\xf3H\xcd\xc9\xc9Wp') 'Hello ' >>> decoder.decode('\xcdK\xceO\xc9\xccK/\x06\x00+\xad\x05\xaf') 'Encodings' 

अंत में, समस्या को पहचान लिया गया और पायथन 3.3 में इन कोडेक्स को बहाल किया गया। हालांकि, अब हम फिर से उपयोगकर्ता को भ्रम में डाल रहे हैं, क्योंकि कोडेक्स उन प्रकारों के बारे में मेटा-जानकारी प्रदान नहीं करते हैं, जिन्हें वे फ़ंक्शन को कॉल करने से पहले संसाधित कर सकते हैं। इस कारण से, पायथन अब निम्नलिखित अपवादों को फेंक सकता है:

 >>> "Hello World".encode('zlib_codec') Traceback (most recent call last): File "<stdin>", line 1, in <module> TypeError: 'str' does not support the buffer interface 

(ध्यान दें कि कोडक को अब zlib के बजाय zlib_codec कहा जाता है क्योंकि पायथन 3.3 ने कोडेक्स के लिए पुराने नोटेशन को संरक्षित नहीं किया है)

और क्या होगा यदि हम बाइट के तारों के लिए .encode () विधि लौटाते हैं, उदाहरण के लिए? यह पायथन दुभाषिया के हैक के बिना भी सत्यापित करना आसान है। हम एक समान व्यवहार के साथ एक फ़ंक्शन लिखते हैं:

 import codecs def encode(s, name, *args, **kwargs): codec = codecs.lookup(name) rv, length = codec.encode(s, *args, **kwargs) if not isinstance(rv, (str, bytes, bytearray)): raise TypeError('Not a string or byte codec') return rv 

अब हम बाइट स्ट्रिंग्स के .encode () विधि के प्रतिस्थापन के रूप में इस फ़ंक्शन का उपयोग कर सकते हैं:

 >>> b'Hello World'.encode('latin1') Traceback (most recent call last): File "<stdin>", line 1, in <module> AttributeError: 'bytes' object has no attribute 'encode' >>> encode(b'Hello World', 'latin1') Traceback (most recent call last): File "<stdin>", line 4, in encode TypeError: Can't convert 'bytes' object to str implicitly 

अहा! पायथन 3 पहले से ही जानता है कि इस स्थिति से कैसे निपटना है। हम एक सुंदर त्रुटि सूचना प्राप्त करते हैं। मेरा मानना ​​है कि यहां तक ​​कि "बाइट्स ऑब्जेक्ट को स्ट्रेक्टली कन्वर्ट नहीं कर सकते हैं" भी "बाइट्स ऑब्जेक्ट की कोई विशेषता 'एनकोड' की तुलना में बहुत बेहतर और समझने योग्य है।"

इन एन्कोडिंग रूपांतरण विधियों (एनकोड और डीकोड) को वापस क्यों नहीं लाया जाए? मैं वास्तव में नहीं जानता और अब इसके बारे में नहीं सोचता। उन्होंने मुझे बार-बार समझाया है कि मैं कुछ भी नहीं समझता और मैं शुरुआती लोगों को नहीं समझता, या यह कि "पाठ मॉडल" बदल गया है और इसके लिए मेरी आवश्यकताएं निरर्थक हैं।

बाइट लाइनें खो गईं

अब, कोडेक सिस्टम के प्रतिगमन के बाद, स्ट्रिंग ऑपरेशन भी बदल गए हैं: उन्हें केवल यूनिकोड स्ट्रिंग्स के लिए परिभाषित किया गया है। पहली नज़र में, यह काफी उचित लगता है, लेकिन वास्तव में ऐसा नहीं है। इंटरप्रेटर में बाइट और यूनिकोड स्ट्रिंग्स के संचालन के लिए कार्यान्वयन होते थे। यह दृष्टिकोण प्रोग्रामर्स के लिए बिल्कुल स्पष्ट था, अगर ऑब्जेक्ट को बाइट या यूनिकोड स्ट्रिंग के रूप में प्रतिनिधित्व करने की आवश्यकता होती है, तो दो तरीकों को परिभाषित किया गया था: __ str__ और __unicode__। हां, निश्चित रूप से, एक मजबूर एन्कोडिंग परिवर्तन का उपयोग किया गया था, जो शुरुआती लोगों को भ्रमित करता था, लेकिन हमारे पास एक विकल्प था।

यह क्यों उपयोगी है? क्योंकि, उदाहरण के लिए, यदि आप निम्न-स्तर के प्रोटोकॉल के साथ काम करते हैं, तो आपको अक्सर बाइट स्ट्रिंग के अंदर एक विशिष्ट प्रारूप में संख्याओं से निपटने की आवश्यकता होती है।

पायथन डेवलपर्स द्वारा उपयोग किए जाने वाले मालिकाना संस्करण नियंत्रण प्रणाली पायथन 3 पर काम नहीं करती है, क्योंकि वर्षों से पायथन विकास टीम बाइट स्ट्रिंग्स के लिए स्वरूपण वापस नहीं करना चाहती है ।

उपरोक्त सभी शो: पायथन 3 स्ट्रिंग डेटा प्रोसेसिंग मॉडल वास्तविक दुनिया में काम नहीं करता है। उदाहरण के लिए, पायथन 3 में, कुछ एपीआई को "अपडेट" किया गया है, जिससे वे केवल यूनिकोड के साथ काम कर रहे हैं, और इसलिए वे वास्तविक कार्य स्थितियों में उपयोग के लिए पूरी तरह से अनुपयुक्त हैं। उदाहरण के लिए, अब आप मानक लाइब्रेरी का उपयोग करके बाइट्स को पार्स नहीं कर सकते, लेकिन केवल URL। इसका कारण यह अंतर्निहित धारणा है कि सभी URL केवल यूनिकोड में प्रस्तुत किए जाते हैं (इस स्थिति में, अब आप गैर-यूनिकोड-एन्कोडेड मेल संदेशों के साथ काम नहीं कर पाएंगे, जब तक कि आप पत्र में द्विआधारी अनुलग्नकों के अस्तित्व को पूरी तरह से अनदेखा नहीं करते)।

इसे ठीक करना काफी आसान हुआ करता था, लेकिन चूंकि बाइट स्ट्रिंग्स अब डेवलपर्स के लिए खो गई है, इसलिए URL प्रोसेसिंग लाइब्रेरी में अब दो कार्यान्वयन हैं। एक यूनिकोड के लिए और एक बाइट ऑब्जेक्ट्स के लिए। एक ही फ़ंक्शन के लिए दो कार्यान्वयन इस तथ्य को जन्म देते हैं कि डेटा प्रोसेसिंग का परिणाम बहुत भिन्न हो सकता है:

 >>> from urllib.parse import urlparse >>> urlparse('http://www.google.com/') ParseResult(scheme='http', netloc='www.google.com', path='/', params='', query='', fragment='') >>> urlparse(b'http://www.google.com/') ParseResultBytes(scheme=b'http', netloc=b'www.google.com', path=b'/', params=b'', query=b'', fragment=b'') 

बहुत अच्छा लग रहा है? बिल्कुल नहीं, क्योंकि परिणामस्वरूप, ऑपरेशन के परिणाम के लिए हमारे पास पूरी तरह से अलग डेटा प्रकार हैं।
उनमें से एक तार का एक टुकड़ा है, दूसरा पूर्णांक की एक सरणी की तरह है। मैंने पहले ही इस बारे में लिखा था और इसी तरह की स्थिति ने मुझे पीड़ित किया। अब पायथन में कोड लिखना मुझे गंभीर असुविधा देता है या बेहद अक्षम हो जाता है, क्योंकि अब आपको बड़ी संख्या में डेटा एन्कोडिंग के माध्यम से जाना होगा। इस वजह से, कोड लिखना बहुत मुश्किल हो जाता है जो सभी आवश्यक कार्यों को लागू करता है। यह विचार कि सभी यूनिकोड सिद्धांत में बहुत अच्छे हैं, लेकिन व्यवहार में पूरी तरह से अनुपयुक्त हैं।

पायथन 3 उन परिस्थितियों को संभालने के लिए बैसाखी के एक समूह के साथ भरा हुआ है जहां यूनिकोड को संभालना असंभव है, और मेरे जैसे लोगों के लिए जो ऐसी परिस्थितियों के साथ बहुत काम करते हैं, यह सब बहुत कष्टप्रद है।

हमारी बैसाखी काम नहीं करती

2.x शाखा में यूनिकोड का समर्थन अपूर्ण है और आदर्श से बहुत दूर है। ये एपीआई गायब हैं, विभिन्न कोणों से आ रही समस्याएं हैं, लेकिन प्रोग्रामर के रूप में हमने यह सब काम किया है। हमारे द्वारा पहले किए गए कई तरीकों को अब पायथन 3 में लागू नहीं किया जा सकता है, और कुछ एपीआई को पायथन 3 के साथ अच्छी तरह से काम करने के लिए संशोधित किया जाएगा।

मेरा पसंदीदा उदाहरण फ़ाइल धाराओं का प्रसंस्करण है, जो या तो बाइट या पाठ हो सकता है, लेकिन यह निर्धारित करने के लिए कोई विश्वसनीय तरीका नहीं था कि हम किस प्रकार की धारा का सामना कर रहे हैं। जिस ट्रिक को मैंने लोकप्रिय बनाने में मदद की वह अपने प्रकार को निर्धारित करने के लिए एक स्ट्रीम से शून्य बाइट्स पढ़ रही थी। अब यह ट्रिक काम नहीं कर रही है । उदाहरण के लिए, urllib पुस्तकालय अनुरोध फ्लास्क फ़ंक्शन के लिए ऑब्जेक्ट पास करना, जो JSON को प्रोसेस करता है, पायथन 3 में काम नहीं करता है, लेकिन पायथन 2 में काम करता है:

 >>> from urllib.request import urlopen >>> r = urlopen('https://pypi.python.org/pypi/Flask/json') >>> from flask import json >>> json.load(r) Traceback (most recent call last): File "decoder.py", line 368, in raw_decode StopIteration 

फेंके गए अपवाद के प्रसंस्करण के दौरान, एक और फेंक दिया जाता है:

 Traceback (most recent call last): File "<stdin>", line 1, in <module> ValueError: No JSON object could be decoded 

तो क्या?

ऊपर वर्णित समस्याओं के अलावा, यूनिकोड समर्थन के साथ पायथन 3 में अन्य समस्याओं का एक गुच्छा है। मैंने पायथन के ट्विटर डेवलपर्स से सदस्यता समाप्त करना शुरू कर दिया क्योंकि मैं यह पढ़कर थक गया था कि पायथन 3 महान है, क्योंकि यह मेरे अनुभव के विपरीत है। हां, पायथन 3 में बहुत सारे अच्छे हैं, लेकिन बाइट स्ट्रिंग प्रसंस्करण के साथ उन्होंने क्या किया और यूनिकोड उन पर लागू नहीं होता है।

(सबसे बुरी बात यह है कि पायथन 3 की वास्तव में बहुत सी शांत विशेषताएं आमतौर पर केवल पायथन में ही काम करती हैं। उदाहरण के लिए, गैर-फोकल, एसएनआई एसएसएल समर्थन आदि से उपज।)

इस तथ्य के प्रकाश में कि पायथन डेवलपर्स के केवल 3% सक्रिय रूप से पायथन 3 का उपयोग करते हैं , और ट्विटर पर पायथन डेवलपर्स जोर से घोषणा करते हैं कि पायथन 3 के लिए प्रवास की योजना बनाई जा रही है, मैं निराश हूं क्योंकि मैंने पायथन 3 के साथ अपने अनुभव का विस्तार से वर्णन किया है और मैं बाद से कैसे चाहता हूं। छुटकारा पाना।

मैं अब ऐसा नहीं करना चाहता, लेकिन मैं चाहता हूं कि पायथन 3 डेवलपमेंट टीम समुदाय को थोड़ा और सुनें। हम में से 97% के लिए, पायथन 2 एक आरामदायक छोटी दुनिया है जहाँ हम वर्षों से काम कर रहे हैं, और इसलिए जब वे हमारे पास आते हैं और घोषणा करते हैं तो स्थिति काफी दर्दनाक होती है: पायथन 3 सुंदर है और इस पर चर्चा नहीं की गई है। यह बस कई प्रतिगमन के प्रकाश में मामला नहीं है। उन लोगों के साथ मिलकर जो Python 2.8 और Stackless Python 2.8 पर चर्चा करना शुरू कर रहे हैं, मुझे नहीं पता कि यह क्या विफलता है अगर यह उसके पास नहीं है।