परीक्षण "तेज MongoDB" - वास्तविक जीवन की स्थितियों के पास में TokuMX

रेडियो-टी के नवीनतम अंक में , हमने TokuMX - उच्च-प्रदर्शन MongoDB वितरण का उल्लेख किया। यह उत्पाद दिलचस्प लगता है - गति और लेनदेन समर्थन में 20 गुना वृद्धि के साथ 9-गुना डेटा संपीड़न पूरा होता है। एक ही समय में, मैंगो से टोकमक्स के लिए संक्रमण बहुत सरल है और, बाहरी पर्यवेक्षक के दृष्टिकोण से, पूरी तरह से पारदर्शी है। ऐसा जादू मुझे आकर्षक से अधिक लग रहा था और मैंने यह जांचने का फैसला किया कि व्यवहार में सब कुछ कितना अच्छा है।

अब मैं AWS और निजी डेटा केंद्रों दोनों में विभिन्न आकारों के कई मोंगोडब सिस्टम का उपयोग करता हूं। मेरा उपयोग पैटर्न मुख्य रूप से एक दुर्लभ लेकिन बड़े पैमाने पर डेटा रिकॉर्डिंग (दिन में एक बार) पर केंद्रित है, कुछ हद तक लगातार बड़े पैमाने पर रीड ऑपरेशंस (विभिन्न विश्लेषणों का एक सेट) और फ्रंट-एंड डेटा आपूर्ति मोड में निरंतर रीडिंग। मुझे मोंगा के साथ कोई विशेष समस्या नहीं है, आगामी (6 महीने के बाद गणना) डिस्क समस्या के अपवाद के साथ। हमारे सिस्टम से डेटा कभी डिलीट नहीं किया जाता है और अंत में डिस्क पर फिट नहीं होगा। AWS में, मोंगा गारंटीकृत IOPS के साथ अपेक्षाकृत महंगे EBS संस्करणों पर चलता है। मैंने पहले से ही डिस्क स्पेस की कमी (सस्ते कॉन्फ़िगरेशन में पुराने डेटा को एक अलग मूंग में स्थानांतरित करने) की समस्या के लिए एक पारंपरिक समाधान की योजना बनाई, लेकिन TokuMX ने 9 बार कम्प्रेशन के वादे के साथ मेरी नज़र को पकड़ा, जो अगले 4 वर्षों के लिए मेरी समस्या को स्थगित कर देगा। इसके अलावा, मोंग में रिकॉर्डिंग का रोलबैक केवल क्लाइंट द्वारा किया जाता है, और इसके बिना करना अच्छा होगा, लेकिन इसे सर्वर स्तर पर स्थानांतरित करें।

यदि आप रुचि रखते हैं कि टोकुएमएक्स का जादू कैसे काम करता है, तो उनकी साइट पर आपका स्वागत है । यहां मैं इस बारे में बात नहीं करूंगा कि यह क्या है और इसे कैसे कॉन्फ़िगर किया जाए, लेकिन मैं सतह परीक्षण के परिणामों को साझा करूंगा। मेरे परीक्षण वैज्ञानिक सटीकता का ढोंग नहीं करते हैं और उनका मुख्य लक्ष्य यह दिखाना है कि मेरी वास्तविक प्रणालियों में क्या होगा यदि हम मोंगा से वर्तमान में स्विच करते हैं।

संक्रमण पारदर्शिता:

इससे सबकुछ ठीक है। मोंगा (लगभग 200) के साथ काम करने वाले मेरे किसी भी परीक्षण में कोई समस्या नहीं थी। मोंगा के साथ काम करने वाली हर चीज करंट के साथ भी काम करती है। एकीकरण परीक्षणों ने भी कोई समस्या नहीं बताई, अर्थात्। मेरे मामले में, आप क्लाइंट सिस्टम को TokuMX पते पर पुनर्निर्देशित कर सकते हैं और वे प्रतिस्थापन को सूचित किए बिना काम करना जारी रखेंगे। मैंने एक प्रतिकृति सेट में करंट के साथ मोंगा के हाइब्रिड ऑपरेशन के मोड का परीक्षण नहीं किया, लेकिन मुझे संदेह है कि यह काम करेगा।

रिकॉर्डिंग परीक्षण:

टेस्ट 2 समान वर्चुअल मशीनों पर किए गए थे, जिनमें से प्रत्येक के लिए 2 प्रोसेसर थे, एक 20G ड्राइव और 1G रैम। मेजबान कंप्यूटर - एमबीपीआर आई 7, एसएसडी, 16 जी रैम। एक दिन में प्रविष्टियाँ (व्यापार मोमबत्तियाँ) डालें, सिर्फ 1.4M मोमबत्तियाँ। औसत रिकॉर्डिंग आकार 270 बाइट्स है। 3 अतिरिक्त अनुक्रमित (एक सरल, 2 समग्र)।


जैसा कि आप देख सकते हैं, एक अंतर है और TokuMX वास्तव में तेज है। बेशक वादा नहीं किया 20 बार, लेकिन यह भी बुरा नहीं है। हालांकि काफी अधिक प्रोसेसर लोड है, यह सम्पीडन के संबंध में उम्मीद की जा सकती है।

TokuMX में डेटा का आकार + इंडेक्स भी मोंगा की तुलना में छोटा था, लेकिन केवल 1.6 गुना ।

पढ़ना परीक्षण:

वास्तविक उपयोग के करीब मोड में रीडिंग का परीक्षण किया गया था। सभी त्वरित प्रश्नों (टिकर द्वारा) को 200 टिकर के यादृच्छिक नमूने के लिए बार-बार किया गया, केवल 10,000 प्रश्न, परिणाम औसत था। अंतराल (समय में) अनुरोध 10 यादृच्छिक अंतराल और बार-बार किए गए। उसी क्रम में मोंगू और करंट को एक ही अनुरोध भेजा गया था। इस परीक्षण का मुख्य लक्ष्य गतिविधि को यथासंभव वास्तविक बनाना था। माइक्रोसेकंड में समय दिया जाता है।


अपनी आंखों पर विश्वास न करते हुए, मैंने कई बार ये परीक्षण किए और एक समान परिणाम (छोटे उतार-चढ़ाव के साथ) काफी बार दोहराया गया। मेरे सभी परीक्षणों में, एक समान अंतर, जहां मोन्गो डेढ़ से तीन बार के बीच टोकोमक्स से आगे निकल जाता है, हमेशा के लिए पुन: पेश किया गया था।

यह तय करने के बाद कि यह संभव है कि TokuMX को अधिक CPU की आवश्यकता हो, मेरे पास एक असमान लड़ाई थी जहां 4 प्रोसेसर के साथ एक वर्चुअल मशीन toku के साथ दो में एक मोंगा के साथ प्रतिस्पर्धा की। परिणाम थोड़ा बेहतर है, लेकिन फिर भी इन असमान स्थितियों में भी मूंग तेजी से बनी हुई है (अंतर औसतन 1.4 गुना है)। एकमात्र परीक्षण जिसमें वर्तमान में मोंगू (लगभग 2 बार) पारित हुआ, वह अंतिम एक है - एक दिन में सभी मोमबत्तियाँ।

यह सोचकर कि यह सब फिर से कैसे किया जाए, मैंने दोनों प्रतियोगियों के लिए रैम की मात्रा कम कर दी ताकि डेटा सेट मेमोरी में फिट न हो। मुझे निम्नलिखित परिणाम मिले:

सामान्य तौर पर, यह परिणाम और भी खराब दिखता है और 12 गुना का अंतर ज्यादा आशावाद का कारण नहीं बनता है। हालाँकि, पहले दो परीक्षण विशेष रूप से मोंगा के करीब हैं, और मेरे मामले में समग्र परिणाम संभवतः तुलनात्मक होगा, क्योंकि मेरे पास बहुत से ऐसे "सुधार" अनुरोध हैं, जो बहुत से sagging से हैं।

स्मृति की थोड़ी मात्रा में परीक्षण के दौरान, मुझे वर्तमान में कुछ अजीब ख़ासियतें आईं - यदि निर्दिष्ट कैश आकार उपलब्ध रैम में फिट नहीं होता है, तो बस प्रतिक्रिया द्वारा वर्तमान को काट दिया जाता है और निश्चित रूप से ग्राहक पक्ष इससे बहुत चिंतित है और चिल्लाना शुरू कर देता है कि डेटा उम्मीद से पहले समाप्त हो गया है।

और एक और बात - इन सभी परीक्षणों में "आउट ऑफ द बॉक्स" मोंगो था। TokuMX के लिए, मैंने अंतिम परीक्षा में राहत दी - मैंने प्रत्यक्ष IO को सक्रिय किया और उनके आकार में अनुशंसित कैश आकार सेट किया।

निष्कर्ष:
मेरी प्रारंभिक निष्कर्ष यह है: क्या तोकुएमएक्स खुद को लिखता है, अर्थात्, "20 गुना तेज और बॉक्स से 9 गुना अधिक कॉम्पैक्ट," मेरे मामले में पूरी तरह से सच नहीं है। लगभग सभी पढ़े गए ऑपरेशन TokuMX में धीमे (कभी-कभी बहुत धीमे) थे, और प्रतिक्रिया की भयावह शांत ट्रिमिंग भी अच्छी नहीं है। मेरे लिए, लेन-देन का समर्थन, 1.4 गुना का त्वरण लिखें (जबकि डेटाबेस पर कोई ताला नहीं है, लेकिन केवल दस्तावेज़ पर) और डेटा आकार में 1.6 गुना लाभ सभी पढ़ने के संचालन के एक महत्वपूर्ण प्रदर्शन में कमी के लायक नहीं है।