मैलोक मेमोरी कैसे खाती है

नहीं, श्रृंखला से कुछ भी नहीं होगा "आह, मैंने मॉलॉक (नया) किया, और मुफ्त (डिलीट) करना भूल गया!"
यहां कुछ परिष्कृत होगा: हम स्मृति के टुकड़ों को थोड़ा काट देंगे, उन्हें एकांत स्थान पर छिपा देंगे ... और जब ऑपरेटिंग सिस्टम फिरौती का भुगतान करता है तो यह कहता है "पर्याप्त!", हम सब कुछ वापस करने की कोशिश करेंगे। ऐसा प्रतीत होता है कि स्मृति को आवंटित करने और मुक्त करने का सबसे सरल ऑपरेशन - कुछ भी परेशानी नहीं दिखाता है।
जो लोग स्मृति को नष्ट करने में रुचि रखते हैं - मैं हैब्रकैट के लिए पूछता हूं

थोड़ी पृष्ठभूमि

ड्यूटी पर, आपको बड़े मेमोरी बफ़र्स (5000x40000 पिक्सेल की छवि की कल्पना) के साथ बहुत काम करना होगा। कभी-कभी (विखंडन के कारण) सब कुछ के लिए स्मृति का एक निरंतर टुकड़ा आवंटित करना संभव नहीं है। इसलिए, एक निश्चित मेमोरी मैनेजर लिखा गया था, जो आवंटित किया गया है कि कितना है, संभवतः कई टुकड़ों में। स्वाभाविक रूप से, मेमोरी मैनेजर को आवंटित और हटाना दोनों होना चाहिए। फिर निम्नलिखित दिलचस्प बात का पता चला: रिलीज के बाद टास्क मैनेजर ब्लॉक आवंटन से पहले स्मृति उपयोग के स्तर को दिखाता है। हालाँकि, प्रोग्राम में कोई नया मेमोरी ब्लॉक आवंटित नहीं किया जा सकता है। वर्चुअल मेमोरी एनालिसिस टूल्स (मार्क रुसिनोविच से वीएम मैप) का उपयोग यह दर्शाता है कि मेमोरी कोड में मुक्त होने और टीएम रीडिंग के बावजूद व्यस्त रहती है।

के विश्लेषण

आइए जल्दी से कुछ प्रोग्राम लिखें जो मेमोरी को आवंटित और मुक्त करता है। कुछ इस तरह, "हैलो, वर्ल्ड!"

int main(void) { const int blockCount = 1024; const int blockSize = 1024*1024; char **buf; printf("Hit something...\n"); getchar(); buf = (char**)malloc(blockCount*sizeof(char*)); for (int i=0; i<blockCount; i++) { buf[i] = (char*)malloc(blockSize*sizeof(char)); } printf("Memory allocated\n"); printf("Hit something...\n"); getchar(); for (int i=0; i<blockCount; i++) { free(buf[i]); } free(buf); printf("Hit something...\n"); printf("Memory freed\n"); getchar(); return 0; } 

सरल गणना के साथ, आप यह सुनिश्चित कर सकते हैं कि कार्यक्रम को 1 जीबी मेमोरी आवंटित करनी चाहिए, और फिर सब कुछ मुफ्त करना चाहिए। शुरू करने और जाँच करने के बाद, सभी मेमोरी को मुक्त कर दिया जाता है। हम्म, सिस्टम ब्लैकमेलिंग लगता है। हालांकि, हमने बड़े टुकड़े काट दिए।

अब स्रोत कोड को लें और थोड़ा ठीक करें:

 const int blockSize = 520133 // ...; 

इस मामले में, हमें यह याद दिलाया जाता है कि मेमोरी आवंटित की गई थी, लेकिन मुक्त नहीं की गई:
"मेमोरी फ़्री" से पहले:

"मेमोरी फ़्री" होने के बाद:


प्रोग्रामर का जिज्ञासु मन वहाँ नहीं रुका! मैंने एक ऐसी सीमा की तलाश शुरू कर दी थी, जिस पर ऐसा प्रभाव पड़ता हो। एक छोटे द्विआधारी चयन के बाद, यह निकला कि एक समान आकार के साथ

• 520168 बाइट्स और इसके बाद की रिलीज़ ठीक है
• 520167 बाइट्स और नीचे - हमारे पास वर्णित समस्या है

आगे देखते हुए, मैं कहता हूं कि मैं इस सीमा मूल्य को किसी भी तरह से समझा नहीं सकता। यह 1024 तक भी विभाज्य नहीं है!

संभव व्याख्या

Google पर लंबे समय तक सतर्क रहने और मंचों का अध्ययन करने के बाद, मैं निम्नलिखित निष्कर्ष पर आया।
यह पता चला है कि इस घटना में मॉलॉक / नए कार्यों का उपयोग करके मेमोरी आवंटित करने के बाद कि एक छोटा सा हिस्सा आवंटित किया जाता है, मेमोरी को फ्री / डिलीट फ़ंक्शंस द्वारा मुक्त नहीं किया जाता है, लेकिन प्रतिबद्ध बिट से आरक्षित बिट तक गुजरता है। और अगर हम इस मेमोरी को डिलीट करने के तुरंत बाद (जाहिरा तौर पर एक ढेर के ढांचे के भीतर) एक्सेस करते हैं, तो इसे फिर से आवंटित किया जा सकता है। हालाँकि, जब हम मेमोरी को दूसरे वर्ग (या स्टैटिक फंक्शन) से आवंटित करने का प्रयास करते हैं, तो हमें एक अपवाद मिलता है - पर्याप्त मेमोरी नहीं। स्पष्ट रूप से, जब स्टैटिक फ़ंक्शन से मेमोरी को आवंटित किया जाता है, तो मेमोरी को उसी ढेर में आवंटित नहीं किया जाता है जैसे कि एप्लिकेशन क्लास के भीतर से सामान्य आवंटन के साथ।
नतीजतन, मेमोरी का एक बड़ा ब्लॉक (छोटे टुकड़ों से) बनाने के बाद, हम मेमोरी से बाहर निकल जाते हैं और अपने आप को थोड़ा अधिक, यहां तक ​​कि थोड़ा सा आवंटित नहीं कर सकते हैं ! स्मृति।

गलत निर्णय

VirtualAlloc / VirtualFree ( MSDN ) फ़ंक्शन का उपयोग करने से इस समस्या का समाधान हो जाता है, मेमोरी पूरी तरह से उपयोग के बाद प्रक्रिया में वापस आ जाती है (MEM_RELEASE कुंजी), हालाँकि, जब VirtualAlloc का उपयोग किया जाता है, तो मेमोरी का एक मजबूत विखंडन होता है, और कहीं-कहीं तो लगभग 800 एमबी मेमोरी उपयोग के लिए उपलब्ध नहीं है, क्योंकि अधिकतम मुक्त ब्लॉक का आकार 28Kb है। क्लासिक मॉलोक इस संबंध में बेहतर काम करता है, जैसा कि कुछ डिफ्रैगमेंटर है।

अंतिम निर्णय

मुझे मालकॉक और फ्री का थर्ड-पार्टी इम्प्लीमेंटेशन मिला (जो, जैसा कि यह पता चला है, व्यापक रूप से संकीर्ण सर्कल में जाना जाता है), जिसमें डीफ़्रैग्मेंटिंग मेमोरी का क्लासिक दोष है, लेकिन उपयोग के बाद पूरी तरह से मेमोरी को मुक्त करना। साथ ही यह बहुत तेजी से काम करता है।
जिज्ञासु और प्यासे के लिए एक कड़ी है

टिप्पणी

OS * NIX (Ubuntu, Debian, CentOS) के तहत, समस्या को दोहराया नहीं जा सका)
Windows के तहत, समस्या Windows Server 2003 x64, Windows 7 x64, Windows XP x32 पर पुन: प्रस्तुत की गई थी।
सीधे लंबे समय से परीक्षण किए गए कार्यों पर विश्वास न करें, वे एक कैच पकड़ सकते हैं।

UPD: MS VS 2010 का उपयोग विंडोज पर संकलन करने के लिए किया जाता है