रूबी में कचरा कलेक्टर का विकास। RGenGC

कोच्चि: रूबी का कचरा संग्रहकर्ता प्रतिक्रिया दहलीज 8 एमबी है। इतने कम मूल्य का उपयोग क्यों किया जाता है?
Matz: क्योंकि 20 साल पहले मैं 10 एमबी मेमोरी वाली मशीन पर काम कर रहा था।

रूबी समुदाय में प्रदर्शन का मुद्दा हमेशा सबसे अधिक चर्चित और प्रासंगिक रहा है। चाहे वह अत्यधिक भरी हुई वेबसाइट हो या बैकअप डेटा के लिए एक सरल स्क्रिप्ट - काम की गति उनकी सबसे महत्वपूर्ण विशेषता है। इसी समय, विकास भाषा की क्षमताओं और सीमाओं का ज्ञान अक्सर अनुकूलन के लिए विचारों के एक महत्वपूर्ण स्रोत के रूप में कार्य करता है और आपको सिस्टम से अधिकतम "निचोड़ने" की अनुमति देता है।

लेख में रूबी भाषा के सबसे प्रभावशाली हिस्सों में से एक पर चर्चा की जाएगी, कचरा कलेक्टर, इसके एल्गोरिदम और भाषा के नवीनतम संस्करणों में इसके काम के लिए किए गए सुधार। हम सबसे आम, "विहित" रूबी कार्यान्वयन के बारे में बात कर रहे हैं - तथाकथित एमआरआई या क्रुबी।

मूल बातें

प्रोग्रामिंग भाषाओं में कचरा संग्रह (जीसी) - एक तंत्र जो प्रोग्रामर के हस्तक्षेप के बिना स्वचालित मेमोरी प्रबंधन प्रदान करता है। जीसी रूबी की एक विशिष्ट विशेषता नहीं है - आधुनिक विकास भाषाओं के एक बड़े हिस्से में एक समान तंत्र का उपयोग किया जाता है: जावा, पायथन, सी # और अन्य। एमआरआई 1960 में वापस विकसित क्लासिक मार्क-एंड-स्वीप कचरा संग्रह एल्गोरिदम का उपयोग करता है।

रूबी नई वस्तुओं के लिए स्मृति आवंटित करने के लिए एक ढेर का उपयोग करता है। दो स्थितियों में से एक होने पर ऑब्जेक्ट्स बनाने की प्रक्रिया बाधित malloc_limit : प्रोग्राम मेमोरी समाप्त हो गई है या एक निश्चित मेमोरी एलोकेशन malloc_limit गया है - तथाकथित malloc_limit । इस बिंदु पर, एमआरआई कचरा संग्रह शुरू करता है, या इसके पहले, "निशान" चरण।

कचरा कलेक्टर कार्यक्रम मेमोरी में वस्तुओं के पेड़ से गुजरता है, "जड़" वस्तुओं से शुरू होता है - ये वैश्विक चर या आंतरिक भाषा संरचनाएं हैं। वस्तुओं के लिंक एक दूसरे के माध्यम से जाने पर, कचरा संग्रहकर्ता वस्तुओं को उपयोग के रूप में चिह्नित करता है। मार्क चरण में उपयोग किए गए सभी डेटा "कचरा" नहीं है और वे जिस मेमोरी पर कब्जा करते हैं उसे मुक्त किया जा सकता है। मेमोरी को जीसी के दूसरे, स्वीप चरण में कचरे से मुक्त किया जाता है।

कचरा बीनने वाले का अनुकूलन। रूबी 1.9.3 और 2.0

क्लासिक मार्क-एंड-स्वीप एल्गोरिथ्म में कई कमियां हैं। सबसे पहले, ये कार्यक्रम के काम में महत्वपूर्ण ठहराव हैं, जिसके दौरान उपयोगी उपयोगकर्ता कोड का निष्पादन समाप्त हो जाता है, और कचरा संग्रहकर्ता काम करता है। इस तरह के "स्टॉप-द-वर्ल्ड" को रोक दिया जाता है, धीमे कार्यक्रम को अंतिम उपयोगकर्ता के दृष्टिकोण से चलाता है। कचरा संग्रहण पर खर्च किए गए ठहराव की लंबाई को कम करने के लिए, रूबी 1.9.3 में आलसी स्वीप एल्गोरिथ्म लागू किया गया था। एमआरआई के इस संस्करण के साथ शुरू करना, कचरा संग्रह का स्वीप चरण अनावश्यक वस्तुओं से स्मृति की पूरी रिलीज के साथ समाप्त नहीं होता है, लेकिन केवल स्मृति की मात्रा को मुक्त करता है जो कार्यक्रम को जारी रखने के लिए आवश्यक है - एक नई वस्तु बनाने के लिए। अगली वस्तु बनाते समय, कुछ मेमोरी को फिर से मुक्त किया जाता है।

रूबी 2.0 में, कचरा कलेक्टर में एक और वृद्धि एकीकृत की गई - बिटमैप मार्किंग जीसी। यह एल्गोरिथ्म यूनिक्स प्रणालियों के उद्देश्य से है, जो fork का उपयोग करके बच्चे की प्रक्रिया बनाते समय कॉपी-ऑन-राइट तंत्र का उपयोग करते हैं। एक स्पान्ड प्रक्रिया जल्दी से बनाई जाती है, क्योंकि इसकी मेमोरी केवल संबंधित पेरेंट प्रक्रिया की मेमोरी का "प्रतिबिंब" होती है। माता-पिता और बच्चे की प्रक्रियाओं की स्मृति का वास्तविक अलगाव साझा मेमोरी क्षेत्र में कोई भी डेटा लिखने के बाद होता है। कई लोकप्रिय रूबी पुस्तकालय fork उपयोग करते हैं, उदाहरण के लिए लोकप्रिय यूनिकॉर्न एप्लिकेशन सर्वर और रेस बैक पृष्ठभूमि पुस्तकालय। हालांकि, एमआरआई में क्लासिक कचरा कलेक्टर fork के शब्दार्थ के साथ अच्छी तरह से फिट नहीं था, क्योंकि निशान चरण के दौरान यह प्रत्येक वस्तु के लिए "प्रयोज्य" ध्वज सेट करता है, जिससे ढेर का एक महत्वपूर्ण हिस्सा संशोधित होता है, जिससे रूबी के लिए कॉपी-ऑन-राइट तंत्र के लाभों को प्रभावी ढंग से ऑफसेट किया जाता है। प्रक्रियाओं। रूबी 2.0 में, झंडे, वस्तुओं का उपयोग किया जाता है या नहीं, एक अलग संरचना में निकाला गया था - थोड़ा सा मुखौटा, वस्तुओं के स्वतंत्र रूप से संग्रहीत। इससे fork दौरान प्रक्रियाओं द्वारा साझा की गई स्मृति की मात्रा में काफी वृद्धि करना संभव हो गया fork और कॉपी-ऑन-राइट सेमेंटिक्स का लाभ उठाना बेहतर था।

malloc_limit। समस्या 8 एमबी है।

कचरा संग्राहक की सबसे महत्वपूर्ण विशेषता malloc_limit पैरामीटर है - मेमोरी आवंटन थ्रेशोल्ड, जिसके बाद जीसी शुरू होता है। हालाँकि, इस सुविधा का डिफ़ॉल्ट मान बेहद छोटा था - 8 एमबी। आधुनिक प्रणालियों में, वेबसाइट पर अनुरोध संसाधित करने से डेटाबेस से दसियों मेगाबाइट डेटा का चयन हो सकता है या बड़ी फ़ाइलों को पढ़ा जा सकता है। इसी समय, कचरा संग्रह बहुत बार किया जाता है, जिससे कार्यक्रम की गति कम हो जाती है।

भाग में, इस समस्या को हल करने के लिए, एप्लिकेशन सर्वर डेवलपर्स ने कचरा कलेक्टर व्यवहार को अधिक अनुमानित बनाने और HTTP अनुरोधों को संसाधित करने की गति पर जीसी के प्रभाव को कम करने के प्रयास किए। इसके कारण यूनिकॉर्न OobGC और पैसेंजर आउट-ऑफ-बैंड वर्क जैसी तकनीकें आईं । दोनों समाधान अनुरोध के प्रसंस्करण के दौरान कचरा संग्रह को अक्षम करते हैं और सर्वर द्वारा अनुरोध को संसाधित करने के बाद इसे बाध्य करते हैं। इस तरह का एक तंत्र भी कमियों के बिना नहीं है: यदि अनुरोध "हल्के" या, इसके विपरीत, जीसी आवश्यकता से अधिक बार चल सकता है, इसके अलावा, प्रक्रिया बहुत अधिक मेमोरी "खा" सकती है।

रूबी 2.1 में malloc_limit कार्यक्षमता को संशोधित किया गया - जीसी प्रतिक्रिया थ्रेशोल्ड अनुप्रयोग के व्यवहार के अनुकूल होना शुरू हुआ, और डिफ़ॉल्ट मूल्य 16 एमबी तक बढ़ा दिया गया। अब malloc_limit स्वचालित रूप से स्मृति के बड़े पैमाने पर आवंटन के साथ बदल जाता है, जिसके परिणामस्वरूप कचरा कलेक्टर को बहुत कम बार लॉन्च किया जाता है।

रूबी 2.1। वस्तुओं की उत्पत्ति

रूबी 2.1 की रिहाई जीसी एल्गोरिदम में महत्वपूर्ण बदलावों द्वारा चिह्नित की गई थी। जनरेशन आधारित कचरा संग्रहकर्ता को भाषा में एकीकृत किया गया है। उनका काम इस परिकल्पना पर आधारित है कि कार्यक्रम में बनाई गई अधिकांश वस्तुएं "युवा मर जाती हैं।" इस प्रकार, कचरा कलेक्टर की मुख्य गतिविधि उन वस्तुओं से जुड़ी होती है जिनका जीवन चक्र छोटा होता है।

रूबी में, मेमोरी को वस्तुओं की 2 पीढ़ियों में विभाजित किया जाता है - युवा वस्तुओं की पीढ़ी और पुरानी पीढ़ी, जिसमें ऐसी वस्तुएँ शामिल हैं जो कम से कम एक कचरा संग्रह में बच गईं। ज्यादातर मामलों में, कचरा संग्रह केवल युवा पीढ़ी के भीतर किया जाता है। केवल उस समय जब स्मृति बाहर निकलती है, दोनों पीढ़ियों की भागीदारी के साथ किया गया एक पूरा कचरा संग्रह है।

इस दृष्टिकोण के साथ एक महत्वपूर्ण समस्या पुरानी पीढ़ी की वस्तुओं से लेकर युवा पीढ़ी की वस्तुओं तक बैकलिंक्स है।

यदि आप इस तरह के लिंक की संभावना को ध्यान में नहीं रखते हैं, तो छोटी पीढ़ी के अंदर नाबालिग जीसी - कचरा संग्रह वास्तव में आवश्यक वस्तुओं का उपयोग कर सकता है, कचरे के रूप में। इस समस्या को हल करने के लिए, एक विशेष संरचना का उपयोग किया जाता है - याद रखें सेट, जिसमें समस्याग्रस्त लिंक याद किए जाते हैं। ऐसे लिंक की घटना को निर्धारित करने के लिए, रूबी-दुभाषिया में पढ़ने के लिए एक बाधा का उपयोग किया जाता है। "वयस्क" वस्तुएं जिसमें से युवा पीढ़ी की वस्तुओं के संदर्भ हैं, उन्हें मामूली-कचरा संग्रह में मूल वस्तुओं के रूप में उपयोग किया जाता है।

एमआरआई में कचरा संग्रह की एक महत्वपूर्ण सीमा भाषा के लिए विकसित कई सी एक्सटेंशन के सभी के साथ पिछड़े संगतता बनाए रखने की आवश्यकता है। इसीलिए रूबी में GC एल्गोरिदम को RGenGC - रेस्ट्रिक्टेड जेनरेशन GC कहा जाता है। कचरा संग्रह की "सीमा" यह है कि सभी वस्तुओं को 2 प्रकारों में विभाजित किया गया है: छायादार वस्तुएं ऐसी वस्तुएं हैं जिनका उपयोग किया जाता है या संभवतः सी-एक्सटेंशन में उपयोग किया जा सकता है। तदनुसार, कचरा संग्रहकर्ता सुरक्षित रूप से उन्हें पीढ़ियों के बीच स्थानांतरित नहीं कर सकता है। यदि ऐसी कोई वस्तु पुरानी पीढ़ी में आती है, तो इसे एक रीडिंग बैरियर द्वारा संरक्षित नहीं किया जाएगा, क्योंकि भाषा के पिछले शब्दार्थ को इस तरह के अवरोधों का उपयोग करने के लिए सी-एक्सटेंशन की आवश्यकता नहीं थी। परिणामस्वरूप, ऊपर वर्णित "समस्याग्रस्त" लिंक हो सकते हैं।

छायादार वस्तुएं कचरा संग्रह की पीढ़ियों में भाग नहीं लेती हैं, केवल सामान्य वस्तुएं ही पीढ़ियों के बीच पलायन करती हैं। इस समाधान ने हमें मौजूदा सी-लाइब्रेरी के साथ संगतता बनाए रखने की अनुमति दी और कचरा कलेक्टर के विकास को सरल बनाया। हालांकि, बदले में, यह नए कचरा कलेक्टर के काम से महत्वपूर्ण संख्या में वस्तुओं को बाहर करता है। फिर भी, RGenGC डेवलपर्स की माप के अनुसार, नए कचरा कलेक्टर का उपयोग करते समय आवेदन त्वरण लगभग 10% है।

भविष्य की योजना

कचरा संग्रहकर्ता भाषा के सबसे तेजी से बढ़ते भागों में से एक है। निकट भविष्य में - भाषा की पीढ़ियों की संख्या को तीन तक लाना। अधिक वैश्विक चीजों से, यह कचरा संग्रह के निशान और स्वीप चरणों में समानता लाने की योजना है, जिससे आधुनिक मल्टीकोर प्रोसेसर की क्षमताओं का बेहतर उपयोग करना संभव हो जाएगा।

जानकारी के अतिरिक्त स्रोत

रूबीकोनफ 2013 में कूची सासदा प्रस्तुति
रूबी अंडर माईक्रोस्कोप (2013)