दोस्तों के मित्र MS Visual C ++ के साथ 3। स्वचालित ट्रांसकोडिंग के साथ Boost.Python में एक पुल का निर्माण

सभी के लिए शुभ दिन {दिन के समय}!

आज का समय आपको ट्रांसकोडिंग की मूलभूत समस्या के बारे में बताने का है, जब विंडोज प्लेटफॉर्म पर एमएस विजुअल सी ++ पर बनी एक परियोजना और सी ++ भाषा के लिए सबसे सुखद स्क्रिप्ट बाइंडिंग के साथ बातचीत करते हुए, बूस्ट.पायथॉन लाइब्रेरी के लिए धन्यवाद, वास्तव में पायथन द्वारा लिखा गया था।

आखिरकार, आप Python 3.x के नवीनतम संस्करण पर Windows OS के तहत C ++ पर अपने एप्लिकेशन के लिए अच्छी स्क्रिप्टिंग का उपयोग करना चाहते हैं, या आप Pyon पर अपने एप्लिकेशन के लिए C ++ में आपके मॉड्यूल के कोड के सबसे त्वरित अनुभाग का उपयोग करना चाहते हैं। दोनों ही मामलों में, यदि आप दोनों भाषाओं को कम से कम अच्छी तरह से जानते हैं, तो आपको इसे पढ़ना चाहिए।

मैं सिद्धांत रूप में पाठ को ट्रांसकोडिंग की समस्या के बारे में गणना के घंटे के साथ आपको बोर नहीं करूंगा। हम सभी जानते हैं कि यह समस्या नई नहीं है, इसे हर जगह और हर जगह पर अलग-अलग तरीकों से हल किया जाता है, ज्यादातर मामलों में किसी भी तरह से, यह प्रोग्रामर के कंधों पर स्थानांतरित कर दिया जाता है।

संस्करण 3.0 से शुरू होने वाले पायथन में, केवल पाठ को स्ट्रिंग के रूप में विचार करने का निर्णय लिया गया था। इससे कोई फर्क नहीं पड़ता कि पाठ स्वयं कैसे एन्कोडेड है, लेकिन यह यूनिकोड में एनकोडेड है, एक स्ट्रिंग की बहुत अवधारणा हमेशा अपने एन्कोडिंग से तलाकशुदा है। यही है, यह समझने का कोई तरीका नहीं है कि स्ट्रिंग में एक वर्ण के लिए कौन सी संख्या मेल खाती है, अन्यथा, इसे बाइट्स की एक सरणी में एन्कोड करना, एन्कोडिंग निर्दिष्ट करना।

"!".encode('cp1251') 

ऊपर दिए गए उदाहरण से पता चलता है कि "हेलो!" लाइन स्वयं उसी प्रकार रहेगी जैसे आपने इसे टाइप किया था, चाहे आप इसे रूस, अमेरिका या चीन में देखें, विंडोज, लिनक्स या मैकओएस पर, यह "हैलो!" लाइन ही रहेगी। स्ट्रिंग विधि str.encode (एन्कोडिंग) द्वारा इसे बाइट सरणी में डिकोड करने के बाद, हमें हमेशा बाइट सरणी तत्वों का समान मूल्य मिलता है, इस बात की परवाह किए बिना कि दुनिया में हम कहां हैं और हम किस प्लेटफॉर्म का उपयोग करते हैं। और यह अद्भुत है!
हालांकि, हम पृथ्वी पर लौट आएंगे। ऐसी एक विंडोज है ...

संपूर्ण समस्या एमएस विज़ुअल स्टूडियो के अद्भुत विकास वातावरण में निहित है। और सबसे बढ़कर, यह उल्लेखनीय है कि इसमें C ++ की सभी लाइनें विंडोज कोड पेज के एन्कोडिंग में गारंटी हैं। यही है, रूस के लिए, सभी लाइनें हमेशा ' cp1251 ' में होंगी । और यह सब ठीक होगा, लेकिन यह एन्कोडिंग वेब पेज के लिए आउटपुट के लिए उपयुक्त नहीं है, एक्सएमएल में सहेजें, एक अंतरराष्ट्रीय डेटाबेस और अन्य चीजों के लिए आउटपुट। "हैलो" फॉर्म की लाइनों के साथ Microsoft-प्रस्तावित संस्करण थोड़ा अधिक स्वीकार्य है, लेकिन हम जानते हैं कि ऐसी लाइनों के साथ C ++ में यह कितना अद्भुत है। इसके अलावा, हम इस तथ्य से आगे बढ़ेंगे कि हमें पहले से ही cp1251 के रूप में लाइनों का एक गुच्छा मिला है। कोड के गीगाबाइट्स जो std :: string और char * के साथ काम करते हैं और उनके साथ पूरी तरह से काम करते हैं: जल्दी और कुशलता से।

यदि आप पायथन से C ++ तक जाते हैं, तो बस याद रखें कि पायथन स्ट्रिंग्स पूरी तरह से char * में परिवर्तित हो जाते हैं, आंतरिक पायथन मेमोरी का उपयोग करते हुए, चूंकि पायथन 3.x में सभी तार पहले से ही कम से कम UTF-8 में संग्रहीत हैं और GC और संदर्भ काउंटर द्वारा बारीकी से देखे गए हैं। । इसलिए, फिर से: Microsoft से यूसीएस -2 को यूनिकोड के रूप में पारित करने की आवश्यकता नहीं है, सामान्य तारों का उपयोग करें। ठीक है, इसके अलावा, याद रखें कि रूस में आपकी कंपनी के लिए स्थानीय डेटाबेस डेटा के आकार को दोगुना करने के लिए धन्यवाद नहीं करेगा, जब विन -1251 से यूटीएफ -8 पर स्विच किया जाता है, क्योंकि यह शायद सिरिलिक अक्षरों से भरा होता है।
सामान्य तौर पर, समस्या का संकेत मिलता है।

अब फैसला।

आपके पास शायद पहले से ही Python 3.x का नवीनतम संस्करण है (वर्तमान में यह Python 3.3 है), यदि पहले से नहीं है, तो नवीनतम को यहाँ से डालें: www.python.org/download/releases
आपके पास संभवतः MS Visual Studio भी है (फिलहाल, VS2012 बाद का है, लेकिन निम्नलिखित सभी VS2010 के पिछले संस्करण के लिए सही होंगे)।
अपने सी ++ कक्षाओं को पायथन के साथ जोड़ने के लिए, आपको Boost.Python पुस्तकालय की आवश्यकता है। इसे लगभग मानक बूस्ट लाइब्रेरी के हिस्से के रूप में आपूर्ति की जाती है: www.boost.org (वर्तमान में, नवीनतम संस्करण 1.52 है, लेकिन यह सत्यापित और 1.44 तक सही है)।
दुर्भाग्य से, कुछ और के विपरीत, Boost.Python को संकलित करने की आवश्यकता है। यदि आपने पहले से ही इसे अन्य पुस्तकालयों के साथ नहीं बनाया है, तो आप केवल Boost.Python को निम्न Boost.Build कमांड (पुराने संस्करणों में bjam के माध्यम से) के साथ बना सकते हैं:
b2 --with-python --build-type=complete
यदि आपने x64 के लिए पायथन 3.x डाउनलोड किया है, तो आपको पता-मॉडल = 64 भी बताना होगा।
अधिक विवरण के लिए Boost.Build प्रलेखन देखें।
नतीजतन, {BoostDir} \ स्टेज \ lib \ में आपके पास बूस्ट-पाइथन * जैसे पुस्तकालयों का एक समूह होना चाहिए। हम उन्हें जरूरत के बारे में कर रहे हैं!

तो वास्तव में समस्या को पुन: पेश करते हैं। हम एक साधारण वर्ग लिखते हैं:

  class MY_EXPORT Search { public: static string That( const string& name ); }; 

इसकी एकमात्र विधि के कार्यान्वयन के साथ:

  string Search::That( const string& name ) { if( name == " !" ) return ""; else throw runtime_error( "   !" ); } 

वास्तव में, सब कुछ बहुत अधिक जटिल है: आपके पास सबसे अधिक संभावना है कि सिरिलिक में फ़ील्ड्स के साथ डेटाबेस से एक रिकॉर्ड है, और मूल्य स्वयं भी साइरिलिक हैं, और सब कुछ विंडोज -1251 में एन्कोडेड है। लेकिन हमारे लिए डिबग करने के लिए, यह परीक्षण मामला पर्याप्त है। सी ++ से आगे और पीछे और यहां तक ​​कि पायथन में अपवादों को बदलने का रूपांतरण है।

Boost.Python का उपयोग करके हम अपनी छोटी लाइब्रेरी को लपेटेंगे:

 BOOST_PYTHON_MODULE( my ) { class_<Search>( "Search" ) .def( "That", &Search::That ) .staticmethod( "That" ) ; } 

परियोजना सेटिंग्स में बूस्ट पर निर्भरता और स्रोत पुस्तकालय के बारे में मत भूलना!
परिणामी लाइब्रेरी का नाम my.pyd पर रखें (हां, बस एक्सटेंशन बदलें)।

हम पायथन से इसके साथ काम करने की कोशिश कर रहे हैं। आप सीधे कंसोल से ले सकते हैं, यदि ग्रहण + पीडदेव की तरह हाथ में कोई आईडीई नहीं है, हम बस इसे दो लाइनों में आयात और उपयोग करते हैं:

 import my my.Search.That( " !" ) 

यह मत भूलो कि यह अभी भी एक .dll है और इसे संभवतः खोज क्लास के साथ स्रोत लाइब्रेरी के .dll की आवश्यकता है, इसके अलावा, नए रैपर लाइब्रेरी की आवश्यकता होगी। {BoostDo} \ स्टेज \ lib \ से संबंधित विधानसभा के। Boll.Python , उदाहरण के लिए MS VS2012। और डिबग (मल्टी-थ्रेड डीएलएल) के निर्माण के लिए 1.52 बूस्ट बूस्ट -पीसथॉन- vc110-mt-gd-1_52.dll है ।
यदि यह स्पष्ट नहीं है कि आपका .dll गायब है, तो निर्भरता को उसी निर्भरता वॉकर का उपयोग करके देखें: www.d dependencywalker.com - बस खुला निर्भर करता है। एक रैपर लाइब्रेरी के साथ आपका.exe।
इसलिए आप my लाइब्रेरी को आयात करने और my.Search.That( " !" ) निष्पादित करने में कामयाब रहे my.Search.That( " !" )

यदि सब कुछ ठीक है, तो आपको खाली पाठ के साथ C ++ का एक अपवाद दिखाई देगा। यही है, न केवल अगर हम शाखा में वांछित में नहीं आए, लेकिन अपवाद पाठ को ट्रांसकोड नहीं किया गया था जिस तरह से हमने इसे भेजा था!

यदि आप MS Visual Studio से " अटैच टू प्रोसेस " के माध्यम से पायथन प्रक्रिया में शामिल होते हैं, तो आप देखेंगे कि Search::That( const string& name ) name UTF-8 में आता है। Boost.Python को यह पता नहीं है कि स्ट्रिंग को देने के लिए कौन सी एन्कोडिंग है, इसलिए यह UTF-8 में डिफ़ॉल्ट देता है।
बेशक, विजुअल स्टूडियो में हमारा कोड Windows-1251 के लिए पूरी तरह से उन्मुख है, इसलिए यह भी नहीं समझ सकता है कि "पीसी actually रु!" वास्तव में यह मेरे लिए है! '। हमें अंधे और बहरे के बीच बातचीत होती है। उसी कारण से, पायथन में C ++ से आया अपवाद पाठ दिखाई नहीं देता है।

खैर, हम इसे सही करेंगे।

पहली बात जो दिमाग में आती है: मूल वर्ग को दूसरे में लपेटने / लपेटने के लिए जो ट्रांसकोड कर सकता है।
हाँ, अब अन्य वर्गों को देखते हैं, अपनी बारी का इंतजार करते हुए अपने पैरों को अकेला करते हैं। क्या आप अपना आधा जीवन बिताने के लिए तैयार हैं? यहां तक ​​कि अगर ऐसा नहीं है, तो उत्पादकता के पहले माप से पता चलेगा कि वंशज होने पर आप कितने गलत हैं। खैर, अंत में आपको सी + ऑब्जेक्ट्स में लिपटे वर्गों को वापस लाने की कोशिश करते समय नारकीय समस्याएं होंगी। आप उनके पास होंगे, मेरा विश्वास करो! हम एक पुल का निर्माण कर रहे हैं, जिस पर हम दोनों दिशाओं में चलेंगे, और क्लास के रैपरों को सीधे वांछित वर्ग के तरीकों और गुणों का उल्लेख करना चाहिए। बढ़ावा देने से <t &> (obj) निकालने की ओर देखो :: C ++ की तरफ अजगर।

हम सब कुछ का विश्लेषण करते हैं जो Boost.Python में किया जाता है जब एक स्ट्रिंग C ++ और पायथन के बीच यात्रा करता है। हम कुछ अद्भुत स्थानों को देखते हैं जो PyUnicode_AsString और PyUnicode_FromString फ़ंक्शन का उपयोग करते हैं। शुद्ध सी के लिए मूल पायथन एपीआई को थोड़ा जानकर (यदि हम नहीं जानते हैं, तो दस्तावेज़ीकरण को पढ़ें), हम समझते हैं कि यह सभी बुराइयों की जड़ है। Boost.Python पूरी तरह से Python 2 और 3 संस्करणों के बीच अंतर करता है, लेकिन यह अपने आप नहीं समझ सकता है कि इसे एक यूनिकोड स्ट्रिंग को एक फ़ाइल सिस्टम कोड पेज द्वारा एन्कोड किए गए स्ट्रिंग में बदलने की आवश्यकता है, हालांकि, यह वैकल्पिक कार्य प्रदान करता है जो स्वतंत्र रूप से उपयोग किए जाने का प्रस्ताव है:

PyUnicode_DecodeFSDefault - फ़ाइल सिस्टम के एन्कोडिंग में एक स्ट्रिंग को एन्कोड करता है (हमारे मामले में, यह सिर्फ Windows-1251 है) और तैयार स्ट्रिंग ऑब्जेक्ट को लौटाता है, यह PyUnicode_FlString की बजाय {BoostDir} \ libs \ python \ src ”में बनाया गया है जो str.cpp और कनवर्टर में निर्मित है। .cpp

PyUnicode_DecodeFSDefaultAndSize - समान, लेकिन स्ट्रिंग के आकार के साथ। एक ही फ़ाइलों में एक समान PyUnicode_FromStringAndSize के प्रतिस्थापन के रूप में उपयुक्त है।

PyUnicode_EncodeFSDefault - इसके विपरीत, यह अजगर और ट्रांसकोड से एक स्ट्रिंग ऑब्जेक्ट लेता है, परिणाम को बाइट्स ( PyBytes ऑब्जेक्ट) की एक सरणी के रूप में देता है, उसके बाद, आप PyBytes_AsString फ़ंक्शन का उपयोग करके बाइट सरणी से एक साधारण स्ट्रिंग निकाल सकते हैं। यह PyUnicode_AsUTF8String फ़ंक्शन के बजाय उलटा रूपांतरण के लिए और जोड़े में आवश्यक है
PyBytes_AsString (PyUnicode_EncodeFSDefault (obj)) मैक्रो _PyUnicode_AsString (obj ) को वस्तुतः समान कार्य करते हुए प्रतिस्थापित करता है, लेकिन रूपांतरण के बिना।

इसलिए, हम दांतों से लैस हैं, हम चेहरे में दुश्मन को जानते हैं, यह केवल उसे खोजने और बेअसर करने के लिए बनी हुई है!

हमें {BoostDir} \ libs \ python \ src \ कोड में PyUnicode_ * फ़ाइलों का उपयोग करने की आवश्यकता है और {BoostDir} \ boost \ python \ के अंदर हेडर फाइलें, इसके अलावा, मैं तुरंत रहस्य प्रकट कर दूंगा, हमें error.cpp फ़ाइल में भी अपवादों को ठीक करना होगा।

सामान्य तौर पर, सूची इस प्रकार है:
बिल्टइन_कॉनवर्टर.कैप - पायथन से C ++ और इसके विपरीत स्ट्रिंग रूपांतरणों को संपादित करें
बिल्टइन_कॉनवर्टर.हप्प - आपको हेडर फ़ाइल में रूपांतरण मैक्रो को ठीक करने की आवश्यकता है
str.cpp - Python str वर्ग (C ++ में सामान्य अजगर स्ट्रिंग) पर C ++ में रैपर को संपादित करें।
त्रुटियों.सीपी - सी ++ से पायथन के अपवाद के सही गुजर पाठ

कुछ परिवर्तन हैं, उन्हें लक्षित किया गया है, वे सभी नीचे सूचीबद्ध हैं, लेख से जुड़े संग्रह में परिवर्तन पर पैच और रिपोर्ट शामिल हैं, एक नियम के रूप में, सभी परिवर्तन कोड की एक पंक्ति से अधिक नहीं होते हैं, अक्सर एक कॉल निर्देश से भी अधिक, कुल मिलाकर कुल 13 से 4 फाइलें हैं। आप अंधविश्वासी नहीं हैं, नहीं?

सभी संपादनों के बाद, हम केवल Boost.Python को पहले से ही उपर्युक्त कमांड के साथ जमा करते हैं:
b2 --with-python --build-type=complete
( address-model=64 को जोड़ना सुनिश्चित करें यदि असेंबली x64 के लिए है, अर्थात, आपकी परियोजना और आपके मशीन पर स्थापित पायथन 3.x दोनों 64-बिट एड्रेसिंग आर्किटेक्चर के लिए इकट्ठे हैं।)

Boost.Python के इकट्ठा होने के बाद, एक अद्यतन लाइब्रेरी के साथ अपने प्रोजेक्ट को फिर से इकट्ठा करें, न केवल .lib और .dll को अपडेट किया जाता है, लेकिन एक हेडर फ़ाइल भी।
पुराने और सुस्त .dll को नए सिरे से एकत्र करना न भूलें। आप शायद उन्हें कॉपी करना नहीं भूलेंगे, है ना?

सच्चाई का क्षण!

 import my res = my.Search.That( ' !' ) print( res ) 

सभी समान कोड अब वही है जो अपेक्षित था: स्ट्रिंग 'I'।
काफी एक वर्णमाला वर्णमाला, बहुत यूनिकोड, अगर पायथन 3 इस वस्तु को एक स्ट्रिंग मानता है!
अब देखते हैं कि हमारा अपवाद वहां कैसे आएगा:

 import my res = my.Search.That( ' !' ) print( res ) try: my.Search.That( ' - !' ) except RuntimeError as e: print( e ) 

हमारा अपवाद सही पाठ के साथ, रनटाइमइमर के रूप में, मानक पायथन अपवाद के रूप में शानदार है।
एक बोनस के रूप में, हमें C ++ की तरफ, बढ़ावा देने वाला :: python :: str ऑब्जेक्ट मिला, हमने तुरंत उन्हें यूनिकोड में बदल दिया, जो हमें C ++ की ओर जाने में मदद करेगा, जो पायथन ऑब्जेक्ट की कुछ विशेषता को Cillillic वर्णमाला कहते हैं:

 object my = import( "my" ); object func = my.attr( str("") ) int res = extract<int>( func( x * x ) ); 

अब MS Visual C ++ में ऐसे कोड की कोई समस्या नहीं होगी। सब कुछ पूरी तरह से उठाया जाएगा, बुलाया जाएगा और जो आवश्यक है वह सब कुछ वापस कर देगा।
खैर, चूंकि हम सी ++ से पायथन कोड को कॉल करने के बारे में बात कर रहे हैं, यह ध्यान देने योग्य है कि वहां से अपवादों को कैसे पकड़ा जाए।
C ++ स्तर पर पायथन से सभी अपवाद प्रकार error_already_set द्वारा पकड़े जाएंगे और सभी एक ही बढ़ावा से :: पायथन। पाठ को हथियाने के लिए, टाइप और अपवाद स्टैक जटिल नहीं लगता है और यहाँ पर विस्तार से वर्णन किया गया है: wiki.python.org/moin/boost.python/EmbeddingPython - सेक्शन पायथन एक्सेप्शन को निकालना। अधिकांश मामलों में, अपवाद के पाठ को लेने से ज्यादा कुछ नहीं होगा और इसकी आवश्यकता नहीं होगी, जब तक कि आप अपवादों के अपने विशिष्ट तर्क के साथ नहीं आए हैं। लेकिन इस मामले में, आप अपने अपवाद अनुवादक को बेहतर लिखते हैं, और यह पूरी तरह से अलग कहानी है ...

कुल मिलाकर

हमने छोटे Boost.Python पैच का उपयोग करके नियमित रूप से पायथन कोड के साथ मूल एमएस विज़ुअल सी ++ कोड के साथ दोस्त बनाए, वास्तव में कोड को बदलने के बिना, केवल कुछ स्थानों में पायथन एपीआई के कुछ कार्यों के कॉल को बदलकर, अतिरिक्त ccoding का प्रदर्शन किया। चूंकि सब कुछ पायथन एपीआई के माध्यम से ही किया जाता है, यह वस्तुओं के लिए आवंटित स्मृति का ध्यान रखेगा, कोई std :: string और अन्य भयावहता को अद्भुत म्यूटेक्स के माध्यम से एक्सेस करना जो कि Microsoft इतनी सावधानी से अपने मानक पुस्तकालय के नए तंत्र में डालता है। नहीं! कुछ भी नहीं! अजगर हमारे लिए सब कुछ करेगा, हमें बस उसकी थोड़ी मदद करने की जरूरत थी।
साधारण मॉर्टल अब भी एन्कोडिंग के बारे में सोचे बिना विजुअल स्टूडियो में कोड लिख सकते हैं। शायद उनके बारे में जाने बिना भी। सिद्धांत रूप में, समान परिवहन भाग (प्रोटोकॉल, डेटा पैकेट, आदि) के क्षेत्र में एक संकीर्ण विशेषज्ञ को इसकी जानकारी नहीं होनी चाहिए।
विशेष रूप से जिज्ञासु रूपांतरण के नुकसान को माप सकते हैं, वे निश्चित रूप से हैं। मेरे माप के अनुसार, वे इतने तुच्छ हैं कि एक बार C ++ से एक बहुत ही धीमी गति से वेब पेज पीढ़ी के कोड को फिर से लिखना + पाइथन में शामिल होने के + प्रारूप में लगभग 10% की तेजी आई। यह उपरोक्त परिवर्तनों के साथ ट्रांसकोडिंग को ध्यान में रख रहा है। तदनुसार, आप इस तरह के नुकसान की तुच्छता की कल्पना कर सकते हैं यदि सी ++ में कोड ने केवल एक पर्याप्त रूप से बड़ी स्ट्रिंग (यहां तक ​​कि प्रारंभिक रिजर्व के साथ) एकत्र की।
स्थिरता के संदर्भ में, अब कम से कम छह महीने के लिए, कम से कम इन परिवर्तनों पर निर्मित एक शेल कामकाजी साइटों पर सुरक्षित रूप से घूम रहा है (हालांकि बूस्ट संस्करण वर्तमान की तुलना में बहुत पुराना है)। आज तक, सब कुछ सख्ती से पुन: व्यवस्थित किया जाता है, शिकायतों का कारण नहीं बनता है, और इसका कारण नहीं था।

परिवर्तनों के साथ संग्रह का वादा किया

यहां Boost.Python लाइब्रेरी फ़ाइलों में परिवर्तन पर रिपोर्ट और पैच दिए गए हैं:
www.2shared.com/file/NFvkxMzL/habr_py3_cxx.html

एक परीक्षण परियोजना (x64 के तहत निर्मित) के साथ एक छोटा संग्रह भी शामिल है:
www.2shared.com/file/FRboyHQv/pywrap.html

उपयोगी लिंक

पायथन प्रलेखन से लिंक 3. फ़ाइल सिस्टम के कोड पृष्ठ से धारा सी-एपीआई रूपांतरण और इसके विपरीत:
docs.python.org/3/c-api/unicode.html?highlight=pyunicode#file-system-encoding

Boost.Python प्रलेखन से लिंक करें:
www.boost.org/doc/libs/1_52_0/libs/python/doc