मेमोरी प्रबंधन मूल बातें vSphere 4.1 में

ट्रांसपेरेंट पेज शेयरिंग पर लेख से पहले तर्क पर यह लेख पहले प्रकट होना चाहिए था, क्योंकि यह वह आधार है जहां से मेमोरी रिसोर्स मैनेजमेंट में विसर्जन 4.1 से शुरू होना चाहिए।

मेरे अंग्रेजी भाषा के ब्लॉग में , जब मैं इस विषय का अध्ययन करना शुरू कर रहा था, मैंने इसे दो भागों में तोड़ दिया - मेरे लिए जानकारी को पूरी तरह से नया मानना ​​आसान था। लेकिन चूंकि हब पर दर्शक गंभीर और अनुभवी हैं, इसलिए मैंने एक लेख में सामग्री को संयोजित करने का फैसला किया।

हम सबसे बुनियादी तत्व से शुरू करते हैं जिसे मेमोरी पेज कहा जाता है। उसे निम्नलिखित परिभाषा दी गई है - स्मृति को आवंटित करने के लिए उपयोग किए जाने वाले निश्चित आकार के डेटा का एक निरंतर ब्लॉक। आमतौर पर, पृष्ठ का आकार 4 Kbytes (छोटा पृष्ठ) या 2 MB (बड़ा पृष्ठ) हो सकता है। प्रत्येक एप्लिकेशन के लिए, OS 2 जीबी वर्चुअल मेमोरी आवंटित करता है, जो केवल इस एप्लिकेशन के अंतर्गत आता है। ताकि OS यह जान सके कि भौतिक मेमोरी के कौन से पृष्ठ (Physical Address - PA) वर्चुअल मेमोरी (वर्चुअल एड्रेस - VA) के किसी विशेष पेज से मेल खाते हैं, OS पेज टेबल का उपयोग करके मेमोरी के सभी पेज रिकॉर्ड करता है। यह वह जगह है जहाँ VA और PA के बीच सभी पत्राचार संग्रहीत हैं।

अगला, हमें कुछ टूल की आवश्यकता है, जो मेमोरी एप्लिकेशन के अनुरोध पर, पृष्ठ तालिका में आवश्यक VA - PA जोड़ी को खोज सकते हैं। इस तरह के टूल को मेमोरी मैनेजमेंट यूनिट (MMU) कहा जाता है। VA-PA जोड़ी ढूंढना हमेशा तेज़ नहीं हो सकता है, यह देखते हुए कि 2 जीबी आभासी पता स्थान में 4 केबी के आकार में 524,288 पृष्ठ हो सकते हैं। इस तरह की खोज को तेज करने के लिए, MMU सक्रिय रूप से ट्रांसलेशन लुकसाइड बफर (TLB) का उपयोग करता है, जो हाल ही में उपयोग किए गए VA-PA जोड़े को संग्रहीत करता है। हर बार जब एप्लिकेशन मेमोरी अनुरोध करता है, तो MMU पहले VA-PA जोड़ी की उपस्थिति के लिए TLB की जांच करता है। यदि यह वहाँ है - महान, पीए प्रोसेसर को दिया जाता है - इसे टीएलबी हिट कहा जाता है। यदि टीएलबी (टीएलबी मिस) में कुछ भी नहीं मिला है, तो एमएमयू को पूरे पृष्ठ तालिका को "ऊन" करना होगा और जैसे ही आवश्यक जोड़ी जाए, उसे टीएलबी में डाल दें और एप्लिकेशन को बताएं कि आप फिर से अनुरोध भेज सकते हैं।
यदि वांछित पृष्ठ स्वैप में है, तो पहले पृष्ठ को वापस स्वैप से मेमोरी में भेजा जाता है, फिर VA-PA जोड़ी TLB को लिखा जाता है, और उसके बाद ही एप्लिकेशन मेमोरी तक पहुँच प्राप्त करता है। नेत्रहीन यह इस तरह दिखता है


TLB आकार में काफी सीमित है। नेहेलम प्रोसेसर में, पहले स्तर के टीएलबी में 4 केबी पेज के 64 रिकॉर्ड या 2 एमबी पेज के 32 रिकॉर्ड होते हैं, दूसरे स्तर के टीएलबी केवल छोटे पृष्ठों के साथ काम कर सकते हैं और इसमें 512 रिकॉर्ड होते हैं। इसके आधार पर, यह माना जा सकता है कि बड़े पृष्ठों के उपयोग से TLB मिस की काफी कम संख्या हो जाएगी - (64x4 = 256) + (512x4 = 2048) = 2304 Kbytes बनाम 32x2 = 64 MB।

मैं विकिपीडिया से टीएलबी मिस की लागत की गणना करने से बच नहीं सकता, जहां एक निश्चित औसत टीएलबी माना जाता है।
आकार: 8 - 4,096 प्रविष्टियाँ
हिट समय: 0.5 - 1 घड़ी चक्र
मिस पेनल्टी: 10 - 100 घड़ी साइकिल
मिस दर: 0.01 - 1%
यदि टीएलबी हिट को एक सीपीयू चक्र में निष्पादित किया जाता है, तो टीएलबी मिस को 30 चक्र लगते हैं, और यदि औसत टीएलबी मिस आवृत्ति 1% है, तो प्रति मेमोरी चक्रों की औसत संख्या 1.30 है।

ये सभी विचार और गणना उन स्थितियों के लिए मान्य हैं जब हमारा ओएस एक भौतिक सर्वर पर चलता है। लेकिन उस स्थिति में जब ओएस एक वर्चुअल मशीन पर चलता है, हमारे पास मेमोरी ट्रांसलेशन का एक और स्तर है। जब वर्चुअल मशीन में कोई एप्लिकेशन मेमोरी अनुरोध करता है, तो यह एक वर्चुअल एड्रेस (VA) का उपयोग करता है, जिसे वर्चुअल मशीन (PA) के भौतिक पते में अनुवादित किया जाना चाहिए, जिसे बदले में होस्ट ESXi मेमोरी (HA) के भौतिक पते में अनुवाद करना होगा। यही है, हमें पहले से ही दो पेज टेबल चाहिए: एक VA-PA जोड़े के लिए, दूसरा PA-HA प्रसारण के लिए

यदि हम इस चित्र को प्रदर्शित करने की कोशिश करते हैं, तो हमें लगभग ऐसी तस्वीर मिलती है।



मैं ESX की सुबह मेमोरी वर्चुअलाइजेशन तकनीकों के गहरे ऐतिहासिक जंगल में नहीं जाना चाहता, इसलिए हम पिछले दो पर गौर करेंगे - सॉफ्टवेयर मेमोरी वर्चुअलाइजेशन और हार्डवेयर असिस्टेड मेमोरी वर्चुअलाइजेशन। यहाँ मुझे हमारी कहानी में एक और वर्चुअल मशीन मॉनीटर (VMM) तत्व का परिचय देना है। वीएमएम उन सभी निर्देशों के निष्पादन में शामिल है जो वर्चुअल मशीन प्रोसेसर और मेमोरी को देता है। प्रत्येक वर्चुअल मशीन के लिए एक अलग VMM प्रक्रिया है।

अब जब हमने मूल बातें ताज़ा कर ली हैं, तो हम कुछ विवरणों पर आगे बढ़ सकते हैं।

सॉफ्टवेयर मेमोरी वर्चुअलाइजेशन

इसलिए, जैसा कि नाम से ही स्पष्ट है, यहां हमारे पास मेमोरी वर्चुअलाइजेशन का एक सॉफ्टवेयर कार्यान्वयन है। इस स्थिति में, VMM एक शैडो पेज टेबल बनाता है, जिसमें निम्नलिखित अनुवाद कॉपी किए गए हैं:
1. वीए - पीए, इन एड्रेस जोड़े को सीधे वर्चुअल मशीन के पेज टेबल से कॉपी किया जाता है, जिसके लिए अतिथि ओएस जिम्मेदार है।
2. पीए - हा, वीएमएम खुद इन एड्रेस जोड़े के लिए जिम्मेदार है
यही है, यह एक प्रकार का दोहरा अनुवाद है। हर बार एक वर्चुअल मशीन में एक एप्लिकेशन मेमोरी (VA) तक पहुंच जाता है, MMU को शैडो पेज टेबल में देखना चाहिए और संबंधित VA - HA जोड़ी को ढूंढना चाहिए ताकि भौतिक प्रोसेसर होस्ट मेमोरी (HA) के वास्तविक भौतिक पते के साथ काम कर सके। इस मामले में, वर्चुअल मशीन से MMU को अलग किया जाता है ताकि एक वर्चुअल मशीन दूसरे वर्चुअल मशीन की मेमोरी तक पहुंच हासिल न कर सके।
VMware प्रलेखन के अनुसार, नियमित शारीरिक सर्वर पर अनुवाद को संबोधित करने की गति में इस प्रकार का पता अनुवाद बहुत तुलनीय है।
सवाल यह है कि फिर बगीचे में बाड़ और नई तकनीकों का आविष्कार क्यों? यह पता चला है कि कुछ है - एक आभासी मशीन से सभी प्रकार के मेमोरी अनुरोधों को एक भौतिक सर्वर पर उसी गति से निष्पादित नहीं किया जा सकता है। उदाहरण के लिए, हर बार वर्चुअल मशीन ओएस (यानी, वीए - पीए जोड़ी में बदलाव) में पेज टेबल में बदलाव होता है, वीएमएम को इस अनुरोध को रोकना चाहिए और शैडो पेज टेबल के संबंधित अनुभाग (यानी, परिणामी VA - हा जोड़ी) को अपडेट करना चाहिए। एक और अच्छा उदाहरण है जब कोई एप्लिकेशन मेमोरी के विशिष्ट टुकड़े के लिए पहला अनुरोध करता है। चूंकि वीएमएम ने अभी भी इस वीए के बारे में कुछ भी नहीं सुना है, अर्थात, आपको शैडो पेज टेबल में एक नई प्रविष्टि बनाने की आवश्यकता है, इस प्रकार फिर से मेमोरी तक पहुंचने में देरी का परिचय देना होगा। और अंत में, हालांकि यह महत्वपूर्ण नहीं है, यह ध्यान दिया जा सकता है कि शैडो पेज टेबल स्वयं भी मेमोरी का उपभोग करता है। यह तकनीक उन प्रोसेसर पर चलने वाले vSphere पर लागू होती है, जो नेहेल्म / बार्सिलोना परिवारों के बाजार में आने से पहले जारी किए गए थे।

हार्डवेयर असिस्टेड मेमोरी वर्चुअलाइजेशन
फिलहाल, बाजार पर दो मुख्य MMU वर्चुअलाइजेशन तकनीकें हैं। पहले नेहल प्रोसेसर परिवार में इंटेल द्वारा पेश किया गया था और इसे इस नई सुविधा - विस्तारित पेज टेबल्स (EPT) कहा जाता है। दूसरा रैपिड वर्चुअलाइजेशन इंडेक्सिंग (आरवीआई) नामक प्रोसेसर के बार्सिलोना परिवार में एएमडी द्वारा पेश किया गया था। सिद्धांत रूप में, दोनों प्रौद्योगिकियां एक ही कार्यक्षमता का प्रदर्शन करती हैं, और केवल बहुत ही गहरे तकनीकी विवरणों में भिन्न होती हैं, जिनमें से मेरे काम के लिए उनके महत्व के कारण मैंने अध्ययन की उपेक्षा की।
तो, दोनों प्रौद्योगिकियों का मुख्य लाभ यह है कि अब नया एमएमयू एक साथ पेज टेबल्स में पते खोजने के लिए दो प्रक्रियाएं शुरू कर सकता है। पहली प्रक्रिया आपके वर्चुअल मशीन के पेज टेबल में VA - PA जोड़ी के लिए दिखती है, दूसरी प्रक्रिया पृष्ठ तालिका में एक PA - HA जोड़ी के लिए दिखती है जिसे VMM नियंत्रित करता है। दूसरी पेज टेबल को एक्सटेंडेड (कभी-कभी नेस्टेड) ​​पेज टेबल कहा जाता है। एक बार दोनों जोड़े मिल जाने के बाद, MMU TL को परिणामस्वरूप VA - PA जोड़ी लिखते हैं। चूंकि दोनों टेबल अब MMU द्वारा सुलभ हैं, इसलिए शैडो पेज टेबल की सामग्री की आवश्यकता नहीं है। एक अन्य महत्वपूर्ण बिंदु यह है कि अब जब दोनों टेबल एक-दूसरे से अलग हो जाती हैं, तो वर्चुअल मशीन को वीएमएम पर नियंत्रण के बिना आसानी से अपने पेज टेबल से नियंत्रित किया जा सकता है।

खैर, नेहलम वास्तुकला के बीच एक और महत्वपूर्ण अंतर यह है कि अब एक नया वर्चुअल प्रोसेसर आईडी फ़ील्ड TLB में पेश किया गया है। पुराने प्रोसेसर में, यह फ़ील्ड मौजूद नहीं था, और जब प्रोसेसर एक वर्चुअल मशीन के संदर्भ से दूसरे वर्चुअल मशीन के संदर्भ में स्विच हो जाता है, तो सुरक्षा कारणों से सभी TLB सामग्री हटा दी गई थीं। अब, VPID की मदद से इससे बचा जा सकता है और तदनुसार फिर से TLB मिस के मामलों की संख्या कम हो गई है।

इस समाधान के साथ नोट की गई एकमात्र समस्या टीएलबी की एक उच्च लागत है, एक साधारण कारण के लिए - हर बार जब एमएमयू को टीएलबी में पते की आवश्यक जोड़ी नहीं मिलती है, तो एमएमयू को दो तालिकाओं में फिर से खोजना पड़ता है। यही कारण है कि जब vSphere को पता चलता है कि यह एक नेहेलम प्रोसेसर पर चलता है, तो यह आवश्यक रूप से बड़े पृष्ठों का उपयोग करता है। अगले सप्ताह मैं अपने सभी ईएसएक्सआई मेजबानों पर बड़े पृष्ठ समर्थन के वियोग को समाप्त करने और प्रदर्शन के परिणामों को पोस्ट करने की कोशिश करूंगा - अपने पहले लेख में मैंने उत्पादन सर्वरों में से एक पर बड़े पृष्ठों को अक्षम करने के परिणामों का उल्लेख किया।

कई कारणों से, आलस्य से और अपनी अज्ञानता के लिए सामग्री को अधिक सुलभ बनाने की कोशिश करने से, मैंने बहुत सारी अलग-अलग बारीकियों और विवरणों को छोड़ दिया। उदाहरण के लिए, जैसे विभिन्न प्रकार के टीएलबी और प्रोसेसर, लीनियर एड्रेस से वर्चुअल एड्रेस तक मेमोरी का एक अतिरिक्त स्तर, विभिन्न ऑपरेटिंग सिस्टम में मेमोरी के साथ काम करने में अंतर आदि। सामग्री की गुणवत्ता के लिए आलोचना, तकनीकी अशुद्धियाँ, मुश्किल सवाल, और वास्तव में किसी भी जीवंत रुचि का स्वागत है, क्योंकि वे हम सभी को हमारे ज्ञान अंतराल को भरने में मदद करेंगे।

मेरी प्रेरणा और जानकारी के मुख्य स्रोत विकिपीडिया और यह दस्तावेज थे , जिनके लिए मैं उनके कई लेखकों को धन्यवाद देना चाहूंगा।