मैं सांत्वना में एन्कोडिंग के साथ कैसे संघर्ष किया

एक बार फिर, विंडोज में अपनी खुद की स्क्रिप्ट-मुखबिर समज़्ज़त के लिए दौड़ना और कंसोल में "रहस्यमय प्रतीकों" को देखते हुए , मैंने खुद से कहा: "अब, आखिरकार, अपने आप को एक सामान्य क्रॉस-प्लेटफ़ॉर्म लॉगिंग बनाइए!"

मैं इस बारे में बताने की कोशिश करूंगा कि हाबरा-कैट _{(सब कुछ} नीचे वर्णित _{सब कुछ पायथन 2.x शाखा पर लागू होता है) के} तहत Win32 में Django-vsky जैसे लॉग के आउटपुट को कैसे चित्रित किया जाए।

पहला काम। कंसोल को सही पाठ आउटपुट

लक्षण

जब तक हम आरंभिक I / O सिस्टम में कोई "सुधार" नहीं करते हैं और केवल यूनिकोड लाइनों के साथ प्रिंट स्टेटमेंट का उपयोग करते हैं, तो OS की परवाह किए बिना सब कुछ सामान्य रूप से कम या ज्यादा हो जाता है।

"चमत्कार" आगे शुरू होता है - अगर हम किसी भी एन्कोडिंग को बदलते हैं (थोड़ा आगे देखें) या स्क्रीन पर प्रदर्शित करने के लिए लॉगिंग मॉड्यूल का उपयोग करें। यह लिनक्स में अपेक्षित व्यवहार स्थापित करने लगता है, विंडोज पर आपको utf-8 में कचरा मिलता है। आप जीत के तहत संपादित करना शुरू करते हैं - 1251 कंसोल में क्रॉल करता है ...

सैद्धांतिक भ्रमण

वर्णों को परिवर्तित करने और उन्हें कंसोल में प्रदर्शित करने के लिए पैरामीटर के लिए कई पैरामीटर जिम्मेदार हैं:

• sys मॉड्यूल की डिफ़ॉल्ट एन्कोडिंग sys.getdefaultencoding()
• वर्तमान स्थान के लिए पसंदीदा एन्कोडिंग locale.getpreferredencoding()
• मानक धाराओं का एन्कोडिंग sys.stdout, sys.stderr
• फ़ाइल की एन्कोडिंग स्वयं कुछ भ्रम का परिचय देती है, लेकिन हम इस बात से सहमत होंगे कि सब कुछ एकीकृत है और utf-8 की सभी फाइलों में सही हेडर हैं
• "बोनस" अपवादों को फेंकने के लिए मानक थ्रेड्स का प्यार है, अगर, यहां तक ​​कि सही ढंग से सेट एन्कोडिंग के साथ, एक यूनिकोड लाइन को प्रिंट करते समय किसी भी चरित्र की आवश्यकता नहीं होती है

हम इसका हल ढूंढ रहे हैं

जाहिर है, इन सभी समस्याओं से छुटकारा पाने के लिए, आपको किसी तरह उन्हें एकरूपता में लाने की जरूरत है।
और यहाँ मज़ा शुरू होता है:

 # -*- coding: utf-8 -*- >>> import sys >>> import locale >>> print sys.getdefaultencoding() ascii >>> print locale.getpreferredencoding() # linux UTF-8 >>> print locale.getpreferredencoding() # win32/rus cp1251 #   : >>> print sys.stdout.encoding # linux UTF-8 >>> print sys.stdout.encoding # win32 cp866 

अहा! यह पता चला है कि "सिस्टम" ASCII में सामान्य रूप से रहता है। नतीजतन, इनपुट / आउटपुट के साथ काम करने का प्रयास एक "पसंदीदा" अपवाद UnicodeEncodeError/UnicodeDecodeError साथ समाप्त होता है।

इसके अलावा, जैसा कि उदाहरण से देखा जा सकता है, अगर हमारे पास लिनक्स पर हर जगह utf-8 है, तो विंडोज पर दो अलग-अलग एनकोडिंग हैं - तथाकथित एएनएसआई, यह cp1251 है, जिसका उपयोग ग्राफिक भाग और OEM के लिए किया जाता है, यह cp866 है, जो पाठ को आउटपुट करने के लिए है कंसोल। DOS के बाद से OEM एन्कोडिंग हमारे पास आया है, सैद्धांतिक रूप से, विशेष टीमों द्वारा भी पुन: कॉन्फ़िगर किया जा सकता है, लेकिन व्यवहार में कोई भी लंबे समय से ऐसा नहीं कर रहा है।

कुछ समय पहले तक, मैंने इस उपद्रव को ठीक करने के लिए एक सामान्य तरीका इस्तेमाल किया था:

 #!/usr/bin/env python # -*- coding: utf-8 -*- # ============== # Main script file # ============== import sys reload(sys) sys.setdefaultencoding('utf-8') #  import locale sys.setdefaultencoding(locale.getpreferredencoding()) # ... 

और वह, सामान्य रूप से, काम किया। जब तक मैंने print इस्तेमाल किया, तब तक काम किया। जब मैं logging माध्यम से स्क्रीन आउटपुट पर गया logging सब कुछ टूट गया।
हाँ, मैंने सोचा, चूंकि "यह" डिफ़ॉल्ट एन्कोडिंग का उपयोग करता है, मैं कंसोल में उसी एन्कोडिंग को सेट करूँगा:

 sys.setdefaultencoding(sys.stdout.encoding or sys.stderr.encoding) 

पहले से ही थोड़ा बेहतर है, लेकिन:

• Win32 में, पाठ krakozyabry द्वारा मुद्रित किया गया है, स्पष्ट रूप से cp1251 की याद दिलाता है
• जब पुनर्निर्देशित आउटपुट से शुरू होता है, तो फिर से वही नहीं मिलता है जो कि अपेक्षित था
• समय-समय पर, जब आप पाठ को प्रिंट करने का प्रयास करते हैं, जिसमें टाइप ① ( ① ) का एक चरित्र होता है ① जिसे यूनिकोड में बदल दिया जाता है और कृपया लेखक द्वारा कुछ हेडिंग में जोड़ दिया जाता है, तो हम फिर से UnicodeEncodeError प्राप्त UnicodeEncodeError !

पहले उदाहरण को करीब से देखने के बाद, यह नोटिस करना आसान है कि cp866 एन्कोडिंग को केवल वांछित स्ट्रीम की विशेषता की जांच करके प्राप्त किया जा सकता है। और यह हमेशा उपलब्ध नहीं होता है।
कार्य का दूसरा भाग utf-8 में सिस्टम एन्कोडिंग को छोड़ना है, लेकिन आउटपुट को कंसोल पर सही ढंग से कॉन्फ़िगर करना है।
आउटपुट को कस्टमाइज़ करने के लिए, आपको आउटपुट स्ट्रीम की प्रोसेसिंग को इस तरह से फिर से परिभाषित करना होगा:

 import sys import codecs sys.stdout = codecs.getwriter('cp866')(sys.stdout,'replace') 

यह कोड आपको एक पत्थर से दो पक्षियों को मारने की अनुमति देता है - वांछित एन्कोडिंग सेट करें और सभी प्रकार के umlauts और अन्य टाइपोग्राफी को प्रिंट करते समय अपवादों से अपनी सुरक्षा करें जो कि cp866 के 255 वर्णों में गायब है।
यह इस कोड को सार्वभौमिक बनाने के लिए बना हुआ है - मैं एक अनियंत्रित गोलाकार कंप्यूटर पर OEM एन्कोडिंग को कैसे जान सकता हूं? अजगर में ANSI / OEM एन्कोडिंग के लिए तैयार समर्थन के लिए गुगली करना उचित नहीं था, इसलिए, मुझे WinAPI को थोड़ा याद करना पड़ा

 UINT GetOEMCP(void); //   OEM     UINT GetANSICP(void); //    ANSI   

... और यह सब एक साथ रखा:

 # -*- coding: utf-8 -*- import sys import codecs def setup_console(sys_enc="utf-8"): reload(sys) try: #  win32     if sys.platform.startswith("win"): import ctypes enc = "cp%d" % ctypes.windll.kernel32.GetOEMCP() #TODO:   win64/python64 else: #  Linux , ,    enc = (sys.stdout.encoding if sys.stdout.isatty() else sys.stderr.encoding if sys.stderr.isatty() else sys.getfilesystemencoding() or sys_enc) #   sys sys.setdefaultencoding(sys_enc) #    ,     if sys.stdout.isatty() and sys.stdout.encoding != enc: sys.stdout = codecs.getwriter(enc)(sys.stdout, 'replace') if sys.stderr.isatty() and sys.stderr.encoding != enc: sys.stderr = codecs.getwriter(enc)(sys.stderr, 'replace') except: pass # ?    -  -... 

दूसरा कार्य। निष्कर्ष को रंगीन करें

वेर्केग के साथ मिलकर जंग के डिबगिंग आउटपुट को देखने के बाद, मैं अपने लिए भी कुछ ऐसा ही चाहता था। Googling , एक निश्चित सेट पर, लॉगिंग.स्ट्रीमहैंडलर के सबसे सरल वंशज से - विस्तार और सुविधा की अलग-अलग डिग्री की कई परियोजनाओं का निर्माण करता है, जो आयात करते समय स्वचालित रूप से मानक स्ट्रीमहैंडलर को बदल देता है।

उनमें से कुछ की कोशिश करने के बाद, मैंने स्टैक ओवरफ्लो पर टिप्पणियों में से एक में सूचीबद्ध सरल स्ट्रीमहैंडलर वारिस का उपयोग करके समाप्त किया और अब तक काफी संतुष्ट हूं:

 class ColoredHandler( logging.StreamHandler ): def emit( self, record ): # Need to make a actual copy of the record # to prevent altering the message for other loggers myrecord = copy.copy( record ) levelno = myrecord.levelno if( levelno >= 50 ): # CRITICAL / FATAL color = '\x1b[31;1m' # red elif( levelno >= 40 ): # ERROR color = '\x1b[31m' # red elif( levelno >= 30 ): # WARNING color = '\x1b[33m' # yellow elif( levelno >= 20 ): # INFO color = '\x1b[32m' # green elif( levelno >= 10 ): # DEBUG color = '\x1b[35m' # pink else: # NOTSET and anything else color = '\x1b[0m' # normal myrecord.msg = (u"%s%s%s" % (color, myrecord.msg, '\x1b[0m')).encode('utf-8') # normal logging.StreamHandler.emit( self, myrecord ) 

हालांकि, विंडोज में, यह सब काम, निश्चित रूप से, इनकार कर दिया। और अगर पहले यह संभव हो गया था कि कंसोल में "मैजिक" ansi.dll को सिम्फनी प्रोजेक्ट से विंडोज सिस्टम फोल्डर के बोल्स में जोड़कर एएनएस कोड के लिए "एनेबल" सपोर्ट दिया जाए, तो विंडोज 7 के साथ शुरू (ऐसा लगता है) यह फीचर आखिरकार सिस्टम से "कट" हो गया। । और उपयोगकर्ता को सिस्टम फ़ोल्डर में किसी प्रकार के dll को कॉपी करने के लिए मजबूर करना भी किसी तरह "कोषेर नहीं है।"

हम फिर से Google की ओर रुख करते हैं, फिर से, हमें कई समाधान मिलते हैं। एक तरह से या किसी अन्य, सभी विकल्प कंसोल विशेषताओं को प्रबंधित करने के लिए WinAPI कॉल के साथ ANSI से बचने के क्रम को बदलने के लिए नीचे उबालते हैं।

लिंक पर कुछ समय के लिए भटकने के बाद, मैं एक रंगमा प्रोजेक्ट में आया। किसी तरह मैंने उसे बाकी की तुलना में अधिक पसंद किया। इस विशेष परियोजना के फायदों में पूरे कंसोल आउटपुट का प्रतिस्थापन शामिल है - आप रंगीन प्रिंट को साधारण print u"\x1b[31;40m- \x1b[0m" प्रिंट कर सकते हैं print u"\x1b[31;40m- \x1b[0m" यदि आप अचानक मोड़ना चाहते हैं, तो print u"\x1b[31;40m- \x1b[0m" ।

मुझे तुरंत पता चलेगा कि वर्तमान संस्करण 0.1.18 में एक कष्टप्रद बग है जो यूनिकोड लाइनों के आउटपुट को तोड़ता है। लेकिन मैं इस मुद्दे को बनाते समय सबसे सरल समाधान लाया।

वास्तव में, यह दोनों इच्छाओं को संयोजित करने और पारंपरिक "बैसाखी" के बजाय उपयोग करना शुरू करता है:

 # -*- coding: utf-8 -*- import sys import codecs import copy import logging #: Is ANSI printing available ansi = not sys.platform.startswith("win") def setup_console(sys_enc='utf-8', use_colorama=True): """ Set sys.defaultencoding to `sys_enc` and update stdout/stderr writers to corresponding encoding .. note:: For Win32 the OEM console encoding will be used istead of `sys_enc` """ global ansi reload(sys) try: if sys.platform.startswith("win"): #... ,   if use_colorama and sys.platform.startswith("win"): try: #   colorama      `ansi`,    from colorama import init init() ansi = True except: pass class ColoredHandler( logging.StreamHandler ): def emit( self, record ): # Need to make a actual copy of the record # to prevent altering the message for other loggers myrecord = copy.copy( record ) levelno = myrecord.levelno if( levelno >= 50 ): # CRITICAL / FATAL color = '\x1b[31;1m' # red elif( levelno >= 40 ): # ERROR color = '\x1b[31m' # red elif( levelno >= 30 ): # WARNING color = '\x1b[33m' # yellow elif( levelno >= 20 ): # INFO color = '\x1b[32m' # green elif( levelno >= 10 ): # DEBUG color = '\x1b[35m' # pink else: # NOTSET and anything else color = '\x1b[0m' # normal myrecord.msg = (u"%s%s%s" % (color, myrecord.msg, '\x1b[0m')).encode('utf-8') # normal logging.StreamHandler.emit( self, myrecord ) 

आगे हमारी परियोजना में, निष्पादन योग्य फ़ाइल में हम उपयोग करते हैं:

 #!/usr/bin/env python # -*- coding: utf-8 -*- from setupcon import setup_console setup_console('utf-8', False) #... #       import setupcon setupcon.setup_console() import logging #... if setupcon.ansi: logging.getLogger().addHandler(setupcon.ColoredHandler()) 

वह सब है। संभावित सुधारों में से, यह win64 अजगर के तहत संचालन क्षमता की जांच करने के लिए रहता है और संभवतः, एक ही StackOverflow पर अधिक जटिल उदाहरणों के रूप में, खुद को isatty के लिए जाँच करने के लिए ColoredHandler मिलता है।

परिणामी मॉड्यूल के अंतिम संस्करण को dzz.org पर लिया जा सकता है