🚣🏾 🛫 👩‍🎤 Node.js में मेमोरी लीक्स के लिए शिकार (12 मोज़िला पहचान टीम में से 1 Node.js लेख) 👨🏿‍🤝‍👨🏼 🤞🏽 🌸

अनुवादक से: यह मोज़िला आइडेंटिटी टीम की Node.js श्रृंखला का पहला लेख है जो पर्सनॉलिटी प्रोजेक्ट में शामिल है। पर्सोना के क्लाइंट और सर्वर दोनों पक्ष जावास्क्रिप्ट में लिखे गए हैं। काम के दौरान, परियोजना टीम ने सभी अवसरों के लिए कई उपकरण बनाए - स्थानीयकरण से लेकर डिबगिंग, निर्भरता प्रबंधन और बहुत कुछ। लेखों की इस श्रृंखला में, मोज़िला डेवलपर्स समुदाय और इन उपकरणों के साथ अपने अनुभव को साझा करते हैं जो किसी के लिए उपयोगी होते हैं जो Node.js. पर अत्यधिक भरी हुई सेवा लिखते हैं।

श्रृंखला का पहला लेख एक सामान्य Node.js समस्या के लिए समर्पित है - मेमोरी लीक, उच्च-लोड परियोजनाओं में रिसाव सुविधाएँ और नोड-मेमॉच लाइब्रेरी, जो नोड में ऐसे लीक को खोजने और ठीक करने में मदद करता है।

श्रृंखला के सभी लेख:

क्यों परेशान?

आप पूछ सकते हैं, स्मृति रिसाव की निगरानी क्यों करें? क्या वास्तव में अधिक महत्वपूर्ण मामले हैं? क्यों न समय-समय पर प्रक्रिया को फिर से शुरू करें, या बस सर्वर में मेमोरी जोड़ें? लीक को खत्म करने के तीन कारण हैं:

आप मेमोरी लीक के बारे में बहुत चिंतित नहीं हो सकते हैं, लेकिन वी 8 (जावास्क्रिप्ट इंजन जो नोड चलता है) के लिए यह नहीं कहा जा सकता है। जितनी अधिक मेमोरी का उपयोग किया जाता है, उतना अधिक सक्रिय कचरा कलेक्टर काम करता है, आपके आवेदन को धीमा कर देता है। तो नोड में, सीधे प्रदर्शन को नुकसान पहुंचाता है।
लीक से अन्य समस्याएं हो सकती हैं। लीक कोड सीमित संसाधनों को अवरुद्ध कर सकता है। आप फ़ाइल डिस्क्रिप्टर से बाहर भाग सकते हैं या आप डेटाबेस से दूसरा कनेक्शन नहीं खोल सकते हैं। मेमोरी के रन आउट होने से बहुत पहले ऐसी समस्याएं हो सकती हैं, लेकिन आपका एप्लिकेशन खराब हो जाएगा।
जल्दी या बाद में आपका एप्लिकेशन क्रैश हो जाएगा। और यह आगंतुकों की आमद के दौरान होने की संभावना है। हर कोई आप पर हँसेगा और वे हैकर न्यूज़ पर आपके बारे में गलत बातें लिखेंगे।

गिरने की आवाज़ कहाँ से आती है?

एक जटिल अनुप्रयोग में कई स्थान हैं जहां लीक हो सकता है। संभवत: सबसे प्रसिद्ध और पीड़ादायक स्थान - क्लोजर। चूंकि क्लोजर अपने दायरे से चर संदर्भों को लंबे समय तक स्टोर कर सकते हैं, इसलिए वे सबसे अधिक बार रिसाव बिंदु बन जाते हैं।

कुछ लीक को जल्दी या बाद में पता लगाया जा सकता है, बस उन्हें कोड में ढूंढ कर, लेकिन नोड की अतुल्यकालिक दुनिया में, हम लगातार कॉलबैक के रूप में कई क्लोजर बनाते हैं। और अगर वे बनाए जाने की तुलना में अधिक धीमी गति से काम करते हैं, तो प्रत्येक कॉलबैक की मेमोरी टुकड़े को ढेर कर दिया जाता है ताकि कोड जो वर्तमान में बिल्कुल नहीं दिखता है वह वर्तमान की तरह व्यवहार करता है। इस तरह के लीक को ट्रैक करना ज्यादा मुश्किल है।

किसी अन्य व्यक्ति के कोड में एक त्रुटि के कारण एक आवेदन भी लीक हो सकता है जिस पर वह निर्भर करता है। कभी-कभी आप अपने कार्यक्रम में एक जगह पा सकते हैं जो रिसाव का कारण बनता है, लेकिन ऐसा होता है कि आपको बस अपने पूरी तरह से डिबग किए गए कोड को देखना होगा, आश्चर्यचकित होना चाहिए, यह सोचकर कि यह बिल्कुल कैसे लीक हो सकता है?

यह इन लीक हैं जो ट्रैक करना मुश्किल हैं जो नोड-मेमोचैट की आवश्यकता पैदा करते हैं। किंवदंती है कि बहुत समय पहले, कुछ महीने पहले, हमारे प्रोग्रामर लॉयड हिलयेल ने खुद को दो दिनों के लिए एक कोठरी में बंद कर दिया था, एक रिसाव को ट्रैक करने की कोशिश कर रहा था जो केवल बहुत भारी भार के तहत दिखाई दिया (वैसे, वह इस श्रृंखला के अगले लेख के लेखक हैं जो सिर्फ लोड परीक्षण के लिए समर्पित हैं )।

दो दिनों की खोज के बाद, उन्होंने पाया कि वांछित त्रुटि नोड कर्नेल में थी: http.ClientRequest में ईवेंट हैंडलर्स ने मेमोरी को ठीक से मुक्त नहीं किया था (इस त्रुटि को ठीक करने के लिए पैच में केवल दो छोटे, लेकिन बहुत महत्वपूर्ण वर्ण नोड कोड के लिए जोड़े गए थे)। पीड़ा ने लॉयड को एक उपकरण लिखने के लिए मजबूर किया, जो ऐसे लीक की खोज करने में मदद करेगा।

रिसाव का पता लगाने वाले उपकरण

Node.js अनुप्रयोगों में लीक खोजने के लिए पहले से ही उपकरणों का एक अच्छा और निरंतर चयन है। यहाँ उनमें से कुछ हैं:

नोड- mtrace Jimb Esser, जो प्रोफ़ाइल हीप उपयोग के लिए GCC mtrace उपयोगिता का उपयोग करता है;
डेव पाचेको का नोड-हीप-डंप , जो V8 हीप का स्नैपशॉट लेता है और इसे एक विशाल JSON फ़ाइल में लिखता है। जावास्क्रिप्ट का उपयोग करके इस स्नैपशॉट पर शोध और पार्स करने के लिए उपकरण शामिल हैं;
डैनी कोट्स का वी 8-प्रोफाइलर और नोड-इंस्पेक्टर , वी 8 प्रोफाइलर और वेबिट वेब इंस्पेक्टर ट्रेनर पर आधारित है;
फेलिक्स गीसेन्डॉफ़र की नोड मेमोरी लीक गाइड , जो संक्षेप में और स्पष्ट रूप से v8-प्रोफाइलर और नोड-इंस्पेक्टर के साथ काम करने की मूल बातें के बारे में बात करती है;
जॉयंट स्मार्टओएस प्लेटफॉर्म, जो Node.js. में लीक की समस्या निवारण के लिए उपकरणों का एक पूरा शस्त्रागार प्रदान करता है।

हमें ये और कई अन्य उपकरण पसंद हैं, लेकिन इनमें से कोई भी हमारे पर्यावरण के लिए आदर्श रूप से अनुकूल नहीं था। वेब इंस्पेक्टर विकास में अनुप्रयोगों के लिए बहुत अच्छा है, लेकिन एक मुकाबला, रनिंग एप्लिकेशन पर उपयोग करना मुश्किल है, खासकर जब कई सर्वर और प्रक्रियाओं का उपयोग किया जाता है। इसलिए, इसकी मदद से उन त्रुटियों को पकड़ना मुश्किल है जो तुरंत और केवल भारी भार के तहत दिखाई नहीं देते हैं। Dtrace या libumem जैसे उपकरण बहुत अच्छे हैं, लेकिन वे सभी ऑपरेटिंग सिस्टम पर काम नहीं करते हैं।

मिलते हैं: नोड-मेमवॉच

हमें एक क्रॉस-प्लेटफ़ॉर्म डीबगिंग लाइब्रेरी की आवश्यकता थी जिसमें किसी भी अतिरिक्त टूल की आवश्यकता नहीं थी, जिसके साथ हम मेमोरी लीक के स्थानों और कारणों का पता लगा सकते थे। और इसलिए हमने नोड-मेमवॉच लिखा।

यह तीन चीजें प्रदान करता है:

लीक घटना

 memwatch.on('leak', function(info) { //   info,  ,    });

घटना 'stats'

 var memwatch = require('memwatch'); memwatch.on('stats', function(stats) { //        });

वर्ग ट्रैकिंग हीप भिन्न:

 var hd = new memwatch.HeapDiff(); //   ... var diff = hd.end();

इसके अलावा, कचरा संग्रहकर्ता को कॉल करने के लिए बाध्य करने के लिए एक फ़ंक्शन है, जो परीक्षण में उपयोगी हो सकता है। यानी आखिरकार, चार चीजें, तीन नहीं।

 var stats = memwatch.gc();

memwatch.on ('आँकड़े', ...): कचरा संग्रह के बाद आँकड़े

नोड-मेमवॉच कूड़े के कलेक्टर के काम खत्म होने के तुरंत बाद हीप उपयोग के आंकड़ों को प्रदर्शित कर सकता है, इससे पहले कि किसी भी नई वस्तुओं को मेमोरी आवंटित की जाए। ऐसा करने के लिए, V8::AddGCEpilogueCallback उपयोग करें।

आंकड़ों में फ़ील्ड शामिल हैं:

usage_trend
current_base
estimated_base
num_full_gc
num_inc_gc
heap_compactions
मिनट
अधिकतम

यहां एक उदाहरण है जो दिखाता है कि लीक एप्लिकेशन के मेमोरी उपयोग के आंकड़े कैसे दिखते हैं। ज़िगज़ैग ग्रीन लाइन process.memoryUsage() .emoryUsage process.memoryUsage() अनुसार मेमोरी के उपयोग को दिखाती है, और लाल वाला नोड-मेमोचैट आँकड़ों से वर्तमान_बेस मान दिखाता है। निचले बाएँ अतिरिक्त डेटा हैं।

ध्यान दें कि कितनी बार वृद्धिशील कचरा संग्रह होता है। यह एक खतरनाक संकेत है जो यह दर्शाता है कि स्मृति को साफ़ करते समय V8 को पसीना आना है।

memwatch.on ('लीक', ...): मेमोरी यूसेज डायनामिक्स

हम एक संभावित रिसाव की चेतावनी देने के लिए सरल अनुमानों का उपयोग करते हैं। यदि लगातार पांच कचरा संग्रहण के बाद मेमोरी का उपयोग बढ़ता है, तो 'रिसाव' घटना शुरू हो जाती है। एक संभावित रिसाव के बारे में जानकारी एक सुविधाजनक पठनीय रूप में प्रदर्शित होती है:

 { start: Fri, 29 Jun 2012 14:12:13 GMT, end: Fri, 29 Jun 2012 14:12:33 GMT, growth: 67984, reason: 'heap growth over 5 consecutive GCs (20s) - 11.67 mb/hr' }

memwatch.HeapDiff (): लीक खोजें

अंत में, नोड-मेमवॉच हीप स्नैपशॉट की तुलना कर सकता है, जिसमें मेमोरी लेने वाली वस्तुओं की संख्या के नाम भी शामिल हैं। डिफ घुसपैठियों को खोजने में मदद करता है।

 var hd = new memwatch.HeapDiff(); //   ... var diff = hd.end();

diff ऑब्जेक्ट की सामग्री इस तरह दिखती है:

 { "before": { "nodes": 11625, "size_bytes": 1869904, "size": "1.78 mb" }, "after": { "nodes": 21435, "size_bytes": 2119136, "size": "2.02 mb" }, "change": { "size_bytes": 249232, "size": "243.39 kb", "freed_nodes": 197, "allocated_nodes": 10007, "details": [ { "what": "Array", "size_bytes": 66688, "size": "65.13 kb", "+": 4, "-": 78 }, { "what": "Code", "size_bytes": -55296, "size": "-54 kb", "+": 1, "-": 57 }, { "what": "LeakingClass", "size_bytes": 239952, "size": "234.33 kb", "+": 9998, "-": 0 }, { "what": "String", "size_bytes": -2120, "size": "-2.07 kb", "+": 3, "-": 62 } ] } }

HeapDiff आंकड़े इकट्ठा करने से पहले कचरा संग्रहकर्ता को कॉल करता है ताकि डेटा में बहुत अधिक अनावश्यक बकवास न हो। 'stats' घटना घटित नहीं होती है, इसलिए आप 'stats' हैंडलर के अंदर सुरक्षित रूप से HeapDiff कह सकते हैं।

यहां आंकड़ों का एक उदाहरण है जिसमें हमने उन वस्तुओं की एक सूची जोड़ी है जो ढेर पर सबसे अधिक जगह घेरते हैं

आगे क्या है?

नोड-मेमॉच की विशेषताएं:

स्मृति उपयोग की सटीक ट्रैकिंग;
संभावित लीक की सूचनाएं;
अलग ढेर होने के लिए उपकरण;
पार मंच;
अन्य साधनों पर निर्भरता की कमी।

हम और चाहते हैं। विशेष रूप से, हम चाहते हैं कि नोड-मेमॉच बहने वाली वस्तुओं का विशिष्ट डेटा प्रदान करने में सक्षम हो - चर के नाम, सरणी सूचकांकों, क्लोजर कोड के टुकड़े।

हम आशा करते हैं कि नोड-मेमॉच आपके लिए उपयोगी होगा जब Node.js एप्लिकेशन को लीक करने के लिए डीबग करना, आप इसे कांटे और इसे सुधारने में भाग लें।