एक बार फिर से मल्टीथ्रेडिंग और पायथन के बारे में

जैसा कि आप जानते हैं, पायथन का मुख्य कार्यान्वयन CPython ( python.org ) ग्लोबल इंटरप्रेटर लॉक (GIL) का उपयोग करता है। यह बात आपको एक समय में केवल एक पायथन स्ट्रीम चलाने की अनुमति देती है - बाकी को जीआईएल के लिए उन्हें स्विच करने के लिए इंतजार करना होगा।

कुलाब के एक सहकर्मी ने हाल ही में एक नए दृष्टिकोण का प्रस्ताव करते हुए, हबेरा पर एक तेजतर्रार लेख प्रकाशित किया: ऑपरेटिंग सिस्टम स्ट्रीम के लिए पायथन सबइंटरप्रेटर बनाएं, समानांतर में हमारे सभी उप-व्याख्याताओं को चलाने का अवसर प्राप्त करें। यानी जीआईएल, जैसा कि यह था, बिल्कुल भी हस्तक्षेप नहीं करता है।

विचार ताजा है, लेकिन एक महत्वपूर्ण दोष है - यह काम नहीं करता है ...

मुझे पहले जीआईएल को थोड़ा और विस्तार से जांचने दें, और फिर लेखक की त्रुटियों को समझने के लिए आगे बढ़ें।

जीआईएल

मैं संक्षेप में उन GIL विवरणों का वर्णन करूंगा जो पायथन 3.2+ कार्यान्वयन में विचार के लिए महत्वपूर्ण हैं (विषय की अधिक विस्तृत प्रस्तुति यहां पाई जा सकती है )।

संस्करण 3.2 को प्रस्तुति की मात्रा की विशिष्टता और कमी के लिए चुना गया है। 1.x और 2.x के लिए अंतर महत्वपूर्ण नहीं हैं।

• जीआईएल, जैसा कि नाम से पता चलता है, एक सिंक्रनाइज़ेशन ऑब्जेक्ट है। विभिन्न थ्रेड्स से पायथन की आंतरिक स्थिति तक एक साथ पहुंच को ब्लॉक करने के लिए डिज़ाइन किया गया।
• यह कुछ धारा द्वारा कब्जा किया जा सकता है या मुक्त रह सकता है (कब्जा नहीं किया गया है)।
• एक समय में केवल एक धागा जीआईएल पर कब्जा कर सकता है।
• जीआईएल पूरी प्रक्रिया में एकमात्र है जिसमें पायथन चल रहा है। मैं एक बार फिर जोर देता हूं: जीआईएल उपप्रकारक या अन्य जगहों पर छिपा नहीं है - यह सभी प्रक्रियाओं कोड के लिए सामान्य स्थिर चर के एक सेट के रूप में लागू किया गया है।
• जीआईएल के दृष्टिकोण से, पायथन सी एपीआई कॉल को निष्पादित करने वाले हर धागे में एक PyThreadState संरचना होनी चाहिए। GIL PyThreadState (चल रहा है) में से एक को इंगित करता है या किसी भी चीज़ को इंगित नहीं करता है (GIL जारी किया गया है, थ्रेड स्वतंत्र रूप से और समानांतर में काम करते हैं)।
• दुभाषिया शुरू करने के बाद, केवल जीआईएल द्वारा कब्जा नहीं किया गया पायथन सी एपीआई पर अनुमति दी गई कार्रवाई इसका कब्जा है। बाकी सब कुछ निषिद्ध है (Py_INCREF तकनीकी रूप से सुरक्षित भी है, Py_DECREF ऑब्जेक्ट को नष्ट करने का कारण बन सकता है, जो कि Pyon के बहुत ही आंतरिक स्थिति में अनियंत्रित, असुरक्षित एक साथ परिवर्तन का कारण बन सकता है, जो GIL को रोकने की कोशिश करता है)। DEBUG में, GIL के साथ गलत संचालन के लिए अधिक चेक हैं, RELEASE में, प्रदर्शन को बेहतर बनाने के लिए भाग अक्षम है।
• GIL टाइमर (डिफ़ॉल्ट 5 ms) या स्पष्ट कॉल द्वारा स्विच करता है (
  PyThreadState_Swap, PyEval_RestoreThread, PyEval_SaveThread, PyGILState_Ensure, PyGILState_Release, आदि)

जैसा कि आप देख सकते हैं, आप एक साथ समानांतर कोड निष्पादन चला सकते हैं, आप पायथन सी एपीआई कॉल नहीं कर सकते हैं (यह भी अजगर में लिखे कोड के निष्पादन की चिंता करता है)।

एक ही समय में, "असंभव" का अर्थ है (विशेष रूप से सभी द्वारा उपयोग की जाने वाली विधानसभा में) यह व्यवहार अस्थिर है। हो सकता है कि वह तुरंत टूट न जाए। यह इस कार्यक्रम पर ठीक काम कर सकता है, और निष्पादित पायथन कोड में एक छोटे से हानिरहित परिवर्तन के साथ, यह एक विभाजन दोष और दुष्प्रभावों का एक गुच्छा के साथ समाप्त होगा।

क्यों उप-व्याख्याकार मदद नहीं करते हैं

एक Qualab सहयोगी क्या करता है (आप उसके लेख में कोड के साथ संग्रह के लिए लिंक पा सकते हैं, मैंने gist.github.com/4680136 पर gist.github.com/4680136 पर स्रोत कोड दोहराया है)

मुख्य सूत्र में, GIL को तुरंत PyEval_SaveThread () के माध्यम से भेजा जाता है । मुख्य धागा अब अजगर के साथ काम नहीं करता है - यह कई श्रमिक धागे बनाता है और उनके पूरा होने का इंतजार करता है।

वर्कफ़्लो GIL पर कब्जा कर लेता है । कोड अजीब निकला, लेकिन अब यह मायने नहीं रखता। मुख्य बात - GIL हमारी मुट्ठी में बंद है।

और तुरंत, वर्कफ़्लो के समानांतर निष्पादन अनुक्रमिक में बदल जाता है। यह संभव नहीं था कि उप-व्याख्याताओं के साथ एक निर्माण न किया जाए - हमारे संदर्भ में उनकी भावना बिल्कुल शून्य है, जैसा कि अपेक्षित था।

मुझे नहीं पता कि लेख के प्रकाशन से पहले लेखक ने तुरंत इस पर ध्यान क्यों नहीं दिया। और फिर वह लंबे समय तक कायम रहे, काले गोरे को बुलाना पसंद करते थे।

समानांतर निष्पादन पर लौटना सरल है - आपको जीआईएल जारी करने की आवश्यकता है। लेकिन तब पायथन दुभाषिया के साथ काम करना संभव नहीं होगा।

यदि आप अभी भी प्रतिबंध के बारे में कोई ध्यान नहीं देते हैं और GIL के बिना पायथन सी एपीआई को कॉल करते हैं, तो प्रोग्राम टूट जाएगा, और यह आवश्यक नहीं है और बिना अप्रिय साइड इफेक्ट के। यदि आप अपने आप को पैर में विशेष रूप से परिष्कृत तरीके से शूट करना चाहते हैं - तो यह आपका मौका है।

मैं फिर से दोहराता हूं: जीआईएल पूरी प्रक्रिया के लिए एक है, दुभाषिया-उपप्रोसेसर के लिए नहीं। जीआईएल कैप्चर का मतलब है कि पायथन कोड को निष्पादित करने वाले सभी धागे निलंबित हैं।

निष्कर्ष

मुझे जीआईएल पसंद है या नहीं - यह पहले से ही है और मैं यह सीखने की सलाह देता हूं कि इसके साथ सही तरीके से कैसे काम किया जाए।

1. या जीआईएल को पकड़ो और पायथन सी एपीआई फ़ंक्शन को कॉल करें।
2. या उसे जाने दें और वही करें जो हम चाहते हैं, लेकिन आप इस विधा में पायथन को नहीं छू सकते।
3. मल्टीप्रोसेसिंग या किसी अन्य तरीके से कई प्रक्रियाओं के एक साथ लॉन्च द्वारा समानांतर संचालन सुनिश्चित किया जाता है। प्रक्रियाओं के साथ काम करने का विवरण इस लेख के दायरे से परे है।

नियम सरल हैं, कोई अपवाद और वर्कअराउंड नहीं हैं।