UCS2 या UCS4? - pyodbc और MSSQL में utf16 डेटा के साथ काम करते हैं

समस्या

UTF-16 एन्कोडिंग (UCS2) में MSSQL सर्वर 2005 डेटाबेस के साथ काम करने के लिए मैं अजगर में लिखी गई स्क्रिप्ट का उपयोग करता हूं। यह स्क्रिप्ट डेटाबेस के साथ काम करने के लिए उपकरणों के निम्नलिखित सेट का उपयोग करती है:

• unixODBC
• FreeTDS
• pyodbc
• sqlachemy

और यहां कठिनाई दिखाई दी: जब डेटाबेस (nvarchar, ntext फ़ील्ड्स) से स्ट्रिंग डेटा प्राप्त होता है, तो यूनिकोड को सही तरीके से संसाधित नहीं किया जाता है।
जैसा कि यह निकला, मैंने जो अजगर स्थापित किया था वह UCS4 यूनिकोड के साथ बनाया गया था। अजगर विधानसभा में यूनिकोड प्रकार प्राप्त करने की विधियां स्टैकओवरफ्लो पर इस प्रश्न में अच्छी तरह से वर्णित हैं। यदि आप टर्मिनल में निम्न लाइन निष्पादित करते हैं:

python -c "import sys;print 'UCS4' if sys.maxunicode > 65536 else 'UCS2'" 

तब हमें अजगर के लिए यूनिकोड असेंबली संस्करण मिलता है। मेरे मामले में यह UCS4 था। यह अपने लिए क्या खींचता है:

1. unixODBC डब्ल्यू परिशिष्ट (उदाहरण के लिए, SQLExecDirectW () ) के साथ संबंधित डेटाबेस फ़ंक्शन को लागू करता है, परिणाम प्राप्त करता है। जिसमें पाठ का एक वर्ण 2 बाइट्स (UCS2) व्याप्त है
2. pyodbc ODBC ड्राइवर से परिणाम प्राप्त करता है, और बदले में एक यूनिकोड चर के परिणामों को बचाता है
3. इस प्रकार, pyodbc के अनुसार परिणाम का 1 वर्ण, 4 बाइट्स (UCS4) है। इस तरह से परिणाम बच जाता है। ODBC ड्राइवर से प्राप्त किया गया।

ड्राइवर डेटा वापस लौटाता है जिसमें चरित्र 2 बाइट्स रखता है, और pyodbc इस डेटा को फिर से बनाता है ताकि चरित्र 4 बाइट्स पर कब्जा कर ले। कोई भी रूपांतरण होने पर सब कुछ ठीक होगा, लेकिन डेटा को बस बाइट्स के एक सरणी के रूप में यूनिकोड प्रकार के एक चर में बचाया जाता है, जिसके अप्रिय परिणाम होते हैं: परिणाम वर्ण में अनिवार्य रूप से ODBC ड्राइवर द्वारा लौटाए गए परिणाम के 2 वर्ण होते हैं।

भयानक परिणाम नहीं, मैंने फैसला किया और स्वतंत्र रूप से परिणाम को बदल दिया, इसे प्रतीकों द्वारा विभाजित किया:

 def odbcUCS4toUCS2(ustr): u = u"" for i in range(0, len(ustr)): u32 = ord(ustr[i]) u16 = [(u32 & 0xFFFF0000) >> 16, (u32 & 0x0000FFFF)] u += unichr(u16[1]) u += unichr(u16[0]) return u 

यह पर्याप्त नहीं था। एक और अप्रिय परिणाम था: यदि परिणाम के पात्रों में लंबाई विषम है, तो परिणाम का अंतिम चरित्र छोटा है । यानी स्ट्रिंग 'यह शब्द' मेरी स्क्रिप्ट में 'इस शब्द' के रूप में प्राप्त होगा। मैं अभी भी परिवर्तनों के साथ इस समस्या को हल नहीं कर सका: परिणाम के अंतिम दो बाइट्स वास्तव में गलत यूनीकोड ​​भंडारण के कारण अनुपस्थित हैं। फिर मैं UCS2 यूनिकोड समर्थन के साथ अजगर के पुनर्निर्माण के निर्णय पर आया।

निर्णय

हम एकत्र करते हैं, विकल्पों में निर्दिष्ट करने के लिए मत भूलना --enable-unicode = ucs2 । एक नए अजगर का निर्माण करते समय, आपको zlib1g-dev पैकेज को स्थापित करना याद रखना चाहिए, अन्यथा पाइप का उपयोग करके संकुल को स्थापित करने में कठिनाई हो सकती है।
Virtualenv स्थापित और कॉन्फ़िगर करें:

 $ sudo apt-get install virtualenv $ virtualenv ~/ucs2env -p [   ucs2 ] 

खैर, उपनाम में जोड़ें:

 echo "alias ucs2env='source ~/ucs2env/bin/activate'">>~/.bashrc 

खैर, यह सब है। अब डेटा उसी तरह से प्राप्त किया जाता है जैसे डेटाबेस में संग्रहीत किया जाता है:

 $ ucs2env (ucs2env)$ python -c "import sys;print 'UCS4' if sys.maxunicode > 65536 else 'UCS2'" UCS2