अंदर से बाहर अजगर। परिचय

1. परिचय
2. वस्तु। सिर
3. वस्तु। पूंछ
4. प्रक्रिया संरचनाएं

मानक पुस्तकालय का अध्ययन करने के अलावा, यह हमेशा दिलचस्प होता है, और कभी-कभी उपयोगी होता है, यह जानने के लिए कि भाषा को अंदर से कैसे व्यवस्थित किया जाता है। आंद्रे श्वेतलोव ( svetlov ), पायथन के डेवलपर्स में से एक, ने सभी को CPython डिवाइस के बारे में लेखों की एक श्रृंखला में रुचि रखने की सलाह दी । मैं आपके लिए पहले एपिसोड का अनुवाद प्रस्तुत करता हूं।

मेरे दोस्त ने एक बार मुझसे कहा था: "आप जानते हैं, कुछ लोगों के लिए, सी भाषा मैक्रोज़ का एक सेट है जो संयोजन के निर्देशों में प्रकट होता है।" यह एक लंबे समय से पहले था (पता-यह-सभी के लिए: हाँ, एलएलवीएम की उपस्थिति से पहले भी), लेकिन मुझे इन शब्दों को अच्छी तरह याद था। शायद जब केर्निगन और रिची सी कार्यक्रम को देखते हैं, तो वे वास्तव में कोडांतरक कोड देखते हैं? टिम बर्नर-ली के बारे में क्या? शायद वह इंटरनेट पर एक अलग तरह से सर्फ करता है, हमारी तरह नहीं? और क्या, अंत में, किन्नू रीव्स ने उस खौफनाक हरी गंदगी को देखा? नहीं, वास्तव में, उसने वहाँ क्या देखा! उम ... वापस कार्यक्रमों के लिए। जब वे पायथन कार्यक्रम पढ़ते हैं तो गुइडो वैन रोसुम क्या देखता है?

पायथन इंटर्नल्स पर लेखों की एक श्रृंखला में यह पोस्ट पहला है। मेरा मानना ​​है कि इस विषय को दूसरे लोगों को समझाना ही इसे समझने का सबसे अच्छा तरीका है। और मैं वास्तव में अजगर कोड के पीछे "खौफनाक हरी गंदगी" देखना और समझना चाहता था। मैं मुख्य रूप से CPython के तीसरे संस्करण के बारे में लिखूंगा, bytecode के बारे में (मैं संकलन चरण का प्रशंसक नहीं हूं), लेकिन शायद मैं बहुत अधिक उपेक्षा नहीं करूंगा, जो कि किसी भी प्रकार के पायथन कोड ( Unladen Swallow, Jython) के निष्पादन से जुड़ा हुआ है , साइथन , आदि)। संक्षिप्तता के लिए, मैं पायथन लिखता हूं, सीपीथॉन को लागू करता हूं, जब तक कि अन्यथा नहीं कहा जाता है। मेरा मतलब है कि POSIX- संगत ओएस या, यदि महत्वपूर्ण हो, लिनक्स, जब तक कि अन्यथा न कहा जाए। यदि आप रुचि रखते हैं कि पायथन कैसे काम करता है, तो मैं आपको इस पोस्ट को अंत तक पढ़ने की सलाह देता हूं। यदि आप सीपीथॉन में योगदान करना चाहते हैं तो आपको यह सब करना चाहिए। या आप यह कर सकते हैं कि मैंने जो गलतियाँ कीं, उन पर मुझे हँसने के लिए और शातिर टिप्पणियों को छोड़ने के लिए अगर यह आपकी भावनाओं और भावनाओं को व्यक्त करने का एकमात्र तरीका है।

लगभग सब कुछ जो मैं लिखूंगा वह पायथन स्रोत कोड या कुछ अन्य अच्छे स्रोतों (प्रलेखन, विशेष रूप से इस और इस पृष्ठ पर, PyCon के साथ अलग-अलग व्याख्यान, अजगर-देव में खोज , आदि) में पाया जा सकता है। आप सब कुछ पा सकते हैं, लेकिन मुझे आशा है कि सभी सामग्रियों को एक में मिलाने के मेरे प्रयास, जिन्हें आप आरएसएस के माध्यम से सदस्यता ले सकते हैं, आपके कारनामों को सुविधाजनक बनाएंगे। मुझे लगता है कि पाठक सी भाषा से थोड़ा परिचित है; ऑपरेटिंग सिस्टम के सिद्धांत के साथ; किसी भी वास्तुकला के कोडांतरक के साथ थोड़ा; पायथन के साथ बुरा नहीं है और यह UNIX पर सहज महसूस करता है (उदाहरण के लिए, यह आसानी से एक स्रोत कोड स्थापित करता है)। चिंता न करें यदि आपके पास इस सब में पर्याप्त अनुभव नहीं है, लेकिन मैं आसान तैराकी का वादा नहीं कर सकता। यदि आपके पास अजगर विकसित करने के लिए एक अनुकूलित वातावरण नहीं है, तो मेरा सुझाव है कि आप यहां जाएं और आवश्यक चरणों का पालन करें।

चलिए शुरू करते हैं जो आप शायद पहले से जानते हैं। तंत्र का एक रूपक मेरे लिए यह समझने में सुविधाजनक लगता है कि क्या हो रहा है। पायथन के मामले में, यह आसान है क्योंकि पायथन एक आभासी मशीन पर निर्भर करता है कि वह क्या करता है (जैसे सबसे अधिक व्याख्या करने वाली भाषाएं)। यहां " वर्चुअल मशीन " शब्द को सही ढंग से समझना महत्वपूर्ण है: आपको वर्चुअलबॉक्स की तुलना में जेवीएम के बारे में अधिक सोचना चाहिए (तकनीकी रूप से, वे अनिवार्य रूप से समान हैं, लेकिन वास्तविक दुनिया में वे आमतौर पर साझा किए जाते हैं)। इस शब्द को शाब्दिक रूप से समझना आसान लगता है - यह कार्यक्रमों से बना एक तंत्र है। आपका प्रोसेसर सिर्फ एक जटिल इलेक्ट्रॉनिक मशीन है जो मशीन कोड और डेटा को इनपुट के रूप में प्राप्त करता है, एक राज्य (रजिस्टर) होता है, और इनपुट डेटा और वर्तमान स्थिति के आधार पर, यह मेमोरी या बस में नई जानकारी प्रदर्शित करता है। मैं देख रहा हूँ, है ना? और सीपीथॉन एक घटक है जो सॉफ्टवेयर घटकों से इकट्ठा किया गया है जिसमें राज्य और प्रक्रिया निर्देश हैं (विभिन्न कार्यान्वयन अलग-अलग निर्देशों का उपयोग कर सकते हैं)। यह तंत्र उस प्रक्रिया में काम करता है जहां पायथन दुभाषिया स्थित है। मुझे " तंत्र " के साथ यह रूपक पसंद है, और मैंने पहले ही इसे बड़े विस्तार से वर्णित किया है।

उपरोक्त को देखते हुए, आइए एक पक्षी की आंख से मूल्यांकन करें कि जब हम इस कमांड को चलाते हैं तो क्या होता है:

$ python -c 'print("Hello, world!")' 

पायथन बाइनरी शुरू होता है, मानक सी लाइब्रेरी को इनिशियलाइज़ किया जाता है (यह तब होता है जब लगभग कोई भी प्रक्रिया शुरू होती है), मुख्य फ़ंक्शन को कहा जाता है (स्रोतों को देखें ./Modules/python.c : main , जहाँ से ./Modules/main.c : Py_Main )। कुछ प्रारंभिक चरणों के बाद (तर्क-वितर्क को ध्यान में रखते हुए, पर्यावरण चर को ध्यान में रखते हुए, मानक थ्रेड्स आदि के साथ स्थिति का मूल्यांकन करते हुए), / ./Python/pythonrun.c / ./Python/pythonrun.c : Py_Initialize । द्वारा और बड़े, यह फ़ंक्शन "बनाता है" और CPython मशीन को शुरू करने के लिए आवश्यक भागों को इकट्ठा करता है, और बस "प्रक्रिया" अंदर "पायथन दुभाषिया के साथ एक प्रक्रिया" में बदल जाती है। इसके अलावा, दो बहुत ही महत्वपूर्ण संरचनाएं बनाई गई हैं: दुभाषिया राज्य और स्ट्रीम राज्य । यह अंतर्निहित मॉड्यूल और मॉड्यूल को भी आरंभ करता है, जिसमें सभी अंतर्निहित फ़ंक्शन और चर शामिल होते हैं। निम्नलिखित कड़ियों में, इन चरणों का विस्तार से वर्णन किया जाएगा।

यह सब होने के बाद, पायथन कई तरीकों में से एक में क्रॉल करता है, जो उसे खिलाया गया था उसके आधार पर: एक लाइन निष्पादित की जाएगी (विकल्प -c ), एक मॉड्यूल निष्पादित किया जाएगा (विकल्प -m ), एक फ़ाइल निष्पादित की जाएगी (स्पष्ट रूप से कमांड लाइन पर पारित या कर्नेल द्वारा पारित, अगर पायथन का उपयोग किया जाता है एक स्क्रिप्ट दुभाषिया के रूप में) या आरईपीएल शुरू होगा (यह एक फ़ाइल को निष्पादित करने का एक विशेष मामला है जो एक इंटरैक्टिव डिवाइस है)। हमारे मामले में, लाइन निष्पादित की जाएगी, क्योंकि हमने -c विकल्प पारित किया। इस लाइन को निष्पादित करने के लिए ./Python/pythonrun.c : PyRun_SimpleStringFlags । यह फ़ंक्शन __main__ नामस्थान बनाता है जिसमें हमारी कोड ऑफ़ लाइन निष्पादित की जाएगी (जहाँ $ python -c 'a=1; print(a)' ? $ python -c 'a=1; print(a)' __main__ $ python -c 'a=1; print(a)' का संग्रह किया जाएगा? यह सही है, इस स्पेस में)। अंतरिक्ष बनाने के बाद, स्ट्रिंग को इसमें निष्पादित किया जाता है (अधिक सटीक रूप से, इसकी व्याख्या की जाती है)। ऐसा होने के लिए, पहले आपको स्ट्रिंग को मशीन के लिए समझने योग्य चीज़ में बदलना होगा।

जैसा कि मैंने कहा, मैं पार्सर और कंपाइलर पायथन पर ध्यान केंद्रित नहीं करूंगा। मैं इन क्षेत्रों में विशेषज्ञ नहीं हूं, मुझे इसमें बहुत दिलचस्पी नहीं है, और जहां तक ​​मुझे पता है, पायथन कंपाइलर के पास कोई विशेष जादू नहीं है जो संकलक पर विश्वविद्यालय के पाठ्यक्रम से परे है। हम बस इन विषयों के सबसे ऊपर से गुजरते हैं और शायद कुछ समय बाद सीपीथॉन व्यवहार की कुछ विशेषताओं पर विचार करने के लिए वापस आते हैं (उदाहरण के लिए, वैश्विक ऑपरेटर, जो पार्सर को प्रभावित करता है)। सामान्य तौर पर, PyRun_SimpleStringFlags में पार्सिंग / संकलन चरण निम्नानुसार हैं: एक पार्स ट्री का शाब्दिक विश्लेषण और निर्माण, एक सार सिंटैक्स ट्री (एएसटी) में इसका परिवर्तन, एएसटी का संकलन एक कोड ऑब्जेक्ट का उपयोग करके ./Python/ast.c / PyAST_FromNode : PyAST_FromNode । अब आप कोड ऑब्जेक्ट को एक बाइनरी स्ट्रिंग के रूप में सोच सकते हैं जिसके साथ पायथन वर्चुअल मशीन के तंत्र काम कर सकते हैं - अब हम व्याख्या के लिए तैयार हैं।

हमारे पास लगभग खाली __main__ , हमारे पास एक कोड ऑब्जेक्ट है, और हम इसे निष्पादित करना चाहते हैं। आगे क्या है? से लाइन ./Python/pythonrun.c : run_mod :

 v = PyEval_EvalCode((PyObject*)co, globals, locals); 

फ़ंक्शन कोड ऑब्जेक्ट और नेमस्पेस globals और locals स्वीकार करता है (हमारे मामले में, वे नए बनाए गए नामस्थान __main__ ), फ्रेम ऑब्जेक्ट बनाता है और इसे निष्पादित करता है। वापस Py_Initialize , जो स्ट्रीम की स्थिति निर्धारित करता है। प्रत्येक फ़ीड स्ट्रीम को एक अलग राज्य संरचना द्वारा दर्शाया जाता है, जो (अन्य चीजों के बीच) वर्तमान में निष्पादित तख्ते के ढेर को इंगित करता है। फ़्रेम ऑब्जेक्ट बनाए जाने और स्ट्रीम स्थिति स्टैक के शीर्ष पर रखने के बाद, यह (अधिक सटीक रूप से, यह इंगित करता है कि बाइटकोड) निष्पादित किया जाता है, ऑपरेशन द्वारा ऑपरेशन किया जाता है, बल्कि लंबे फ़ंक्शन के ./Python/ceval.c : PyEval_EvalFrameEx ।

PyEval_EvalFrameEx एक फ्रेम प्राप्त करता है, ऑपरेशन कोड (और ऑपरेंड, यदि कोई हो; हम PyEval_EvalFrameEx में इस बारे में बात करेंगे) और ऑपरेशन कोड के अनुरूप सी कोड के टुकड़े निष्पादित करता है। आइए पायथन कोड के एक टुकड़े को अलग करें और देखें कि ये "ऑपरेशन कोड" क्या हैं:

 >>> from dis import dis # !    ! >>> co = compile("spam = eggs - 1", "<string>", "exec") >>> dis(co) 1 0 LOAD_NAME 0 (eggs) 3 LOAD_CONST 0 (1) 6 BINARY_SUBTRACT 7 STORE_NAME 1 (spam) 10 LOAD_CONST 1 (None) 13 RETURN_VALUE >>> 

... बहुत ज्ञान के बिना भी, बायोटेक पर्याप्त रूप से पठनीय है। हम नाम eggs साथ कुछ "लोड" करते eggs (हम इसे कहां लोड करते हैं? हम इसे कहां से लोड करते हैं?) और निरंतर मूल्य (1) को लोड करते हैं, फिर "बाइनरी घटाव" किया जाता है (यहां "बाइनरी" शब्द का क्या अर्थ है? क्या ऑपरेंड हैं?), और इतने पर।

जैसा कि आपने अनुमान लगाया होगा, वैरिएबल को वैश्विक और स्थानीय नामस्थानों से "लोड" किया जाता है, जिसे हमने पहले ऑपरेंड स्टैक पर देखा था (निष्पादन योग्य फ़्रेम के ढेर के साथ भ्रमित न करें), बिल्कुल जहां बाइनरी घटाव उन्हें बाहर खींचेगा, एक को दूसरे से घटाएगा और परिणाम डाल देगा। वापस ढेर पर। "बाइनरी सबट्रैक्शन" एक ऑपरेंड का दूसरे से घटाव होता है (इसलिए "बाइनरी", यानी बाइनरी के साथ कोई संबंध नहीं है)।

आप ./Python/ceval.c PyEval_EvalFrameEx फ़ाइल में PyEval_EvalFrameEx फ़ंक्शन की जांच कर सकते हैं। यह काफी बड़ा है, और स्पष्ट कारणों के लिए मैं यहाँ इसकी संपूर्णता का वर्णन नहीं करूंगा, लेकिन मैं BINARY_SUBTRACT ऑपरेशन को संसाधित करते समय निष्पादित कोड को BINARY_SUBTRACT :

 TARGET(BINARY_SUBTRACT) { PyObject *right = POP(); PyObject *left = TOP(); PyObject *diff = PyNumber_Subtract(left, right); Py_DECREF(right); Py_DECREF(left); SET_TOP(diff); if (diff == NULL) goto error; DISPATCH(); } 

... पहले ऑपरेंड को पॉप करें, स्टैक से दूसरा ऑपरेंड लें, PyNumber_Subtract C फंक्शन के दोनों ऑपरेंड पास करें, PyNumber_Subtract को दोनों PyNumber_Subtract समझ से बाहर कर Py_DECREF (फिर हम इसे Py_DECREF ), PyNumber_Subtract के परिणाम के साथ स्टैक के शीर्ष मान को ओवरराइट करें और कुछ DISPATCH नहीं NULL । So. हालाँकि हम अभी भी कुछ चीजों को नहीं समझ रहे हैं, लेकिन मुझे लगता है कि पायथन में सबसे कम स्तर पर दो संख्याओं को घटाना आमतौर पर समझ में आता है। लेकिन इस मुकाम तक पहुँचने में हमें लगभग डेढ़ हज़ार शब्द लगे!

फ़्रेम पूरा हो जाने के बाद, PyRun_SimpleStringFlags पूरा कोड लौटाता है, मुख्य कार्य सफाई करता है (हम Py_Finalize विशेष ध्यान Py_Finalize ), libc ( Py_Finalize , आदि) Py_Finalize है और प्रक्रिया समाप्त होती है।

मुझे उम्मीद है कि यह पोस्ट काफी जानकारीपूर्ण हो गई है, और भविष्य में हम पायथन के विभिन्न हिस्सों की चर्चा करते समय इसे एक नींव के रूप में उपयोग करेंगे। हमारे पास अभी भी लौटने के लिए कई शब्द हैं: दुभाषिया, स्ट्रीम की स्थिति, नेमस्पेस, मॉड्यूल, बिल्ट-इन फ़ंक्शन और चर, कोड और फ़्रेम ऑब्जेक्ट, और उन अस्पष्ट शब्दों DECREF और DISPATCH से BINARY_SUBTRACT हैंडलर। हमारे पास एक महत्वपूर्ण "प्रेत" शब्द भी है जिसके चारों ओर हम इस लेख में घूमते हैं, लेकिन जिसे नाम नहीं दिया गया - एक वस्तु । CPython ऑब्जेक्ट सिस्टम यह समझने के लिए महत्वपूर्ण है कि यह सब कैसे काम करता है, और मुझे उम्मीद है कि हम अगले पोस्ट में इसके बारे में विस्तार से चर्चा करेंगे।

संपर्क में रहें।

अनुवाद के दौरान किसी को चोट लगी थी: अर्थ, शब्द, सरीसृप। चलो दुनिया को एक साथ एक बेहतर जगह बनाते हैं, टिप्पणियों में त्रुटियों के बारे में लिखते हैं, यह अधिक विश्वसनीय है।

हमसे जुड़ें , बुर्का में आओ! हम एक साथ आधुनिक उपकरणों का ज्ञान सीखेंगे और शांत उत्पादों का निर्माण करेंगे।