इन-स्मृति-डेटा ग्रिड। स्केलेबल डाटा वेयरहाउस

हाल ही में, क्लाउड आर्किटेक्चर में रुचि हर दिन बढ़ रही है, क्योंकि यह बहुत प्रयास किए बिना किसी एप्लिकेशन को स्केल करने के सबसे प्रभावी तरीकों में से एक है, और डेटा टोंटी, विशेष रूप से एक संबंधपरक डेटाबेस में, किसी भी अत्यधिक भरी हुई परियोजना की अड़चन है। पारंपरिक डेटाबेस के नुकसान से निपटने के लिए, मुख्य रूप से 2 दृष्टिकोणों का उपयोग किया जाता है:

1) कैशिंग क्वेरी परिणाम

• प्लसस: हाई स्पीड डेटा एक्सेस
• विपक्ष: डेटा की प्रासंगिकता और पहुंच की गति के बीच एक समझौता की आवश्यकता है, क्योंकि कैश में डेटा पुराना हो सकता है, और कैश से पुराने डेटा को हटाना और फिर नए को कैशिंग करना अतिरिक्त विलंब और सिस्टम लोड है

2) NoSQL समाधान

• प्लसस: अच्छा क्षैतिज मापनीयता, डोमेन डेटा मॉडल डेटा संग्रहण मॉडल के साथ मेल खाता है
• विपक्ष: डिस्क का उपयोग करने के मामले में परिणाम प्राप्त करने की कम गति; आंतरिक कॉर्पोरेट सॉफ़्टवेयर के संचालन को सुनिश्चित करना लगभग असंभव है जो एक विशिष्ट रिलेशनल डेटाबेस के साथ काम करने पर केंद्रित है।

आज मैं आपको एक प्रकार के डेटा वेयरहाउस से परिचित कराना चाहता हूं जो दोनों दृष्टिकोणों के लाभों को जोड़ता है और साथ ही साथ ऊपर वर्णित समाधानों पर कई फायदे हैं: इन-मेमोरी-डेटा-ग्रिड (आईएमडीजी) ।

इस दृष्टिकोण ने क्लाउड प्लेटफॉर्म के डिजाइनिंग के क्षेत्र में विशेषज्ञों के साथ-साथ किसी भी सिस्टम को व्यापक रूप से व्यापक स्वीकृति प्राप्त की, जिसमें भंडारण प्रणाली के लगभग असीमित स्केलेबिलिटी की आवश्यकता होती है। कई प्रसिद्ध कंपनियों ने बाजार पर इस प्रकार के सिस्टम लॉन्च किए हैं:

• Oracle जुटना - Java / C / .NET
• VMWare Gemfire - जावा
• GigaSpaces - Java / C / .NET
• JBoss (RedHat) Infinispan - जावा
• टेराकोटा - जावा

चूंकि मैं जावा समाधानों के बारे में बात करने जा रहा हूं, IMDG क्लस्टर के नोड JVM होंगे, लेकिन यह लेख उन लोगों के लिए दिलचस्प होगा जो जावा से संबंधित नहीं हैं, क्योंकि सबसे पहले, कुछ लोकप्रिय समाधानों में कई भाषाओं का समर्थन है, और सबसे पहले दूसरी बात, जावा में IMDG का उपयोग REST API के माध्यम से डेटा को जल्दी से एक्सेस करने के लिए किया जा सकता है।

तो मेमोरी-डेटा-ग्रिड में क्या है?

यह एक क्लस्टर की-वैल्यू रिपॉजिटरी है जिसे बड़े डेटा वॉल्यूम के साथ अत्यधिक लोड की गई परियोजनाओं के लिए डिज़ाइन किया गया है और स्केलेबिलिटी, गति और विश्वसनीयता के लिए आवश्यकताओं को बढ़ाया गया है।
IMDG के मुख्य भाग कैश (GemFire ​​में क्षेत्र कहलाते हैं) हैं।
IMDG में कैश एक वितरित साहचर्य सरणी है (यानी, कैश जावा इंटरफ़ेस मैप को लागू करता है), जो क्लस्टर में किसी भी नोड से डेटा के लिए तेज, प्रतिस्पर्धी एक्सेस प्रदान करता है।

कैश आपको इस डेटा को वितरित तरीके से संसाधित करने की अनुमति देता है, अर्थात। किसी भी डेटा का संशोधन क्लस्टर में किसी भी नोड से किया जा सकता है, जबकि कैश से डेटा प्राप्त करना, इसे बदलना और फिर इसे वापस रखना आवश्यक नहीं है।

लगभग सभी आईएमडीजी कैश में लेनदेन का समर्थन किया जाता है।
कैश्ड डेटा को क्रमबद्ध रूप में संग्रहीत किया जाता है (अर्थात बाइट्स के एक सरणी के रूप में)।

1. गति

सभी डेटा क्लस्टर रैम में स्थित हैं, जिसके कारण एक्सेस समय काफी कम हो गया है।
क्योंकि चूंकि सभी डेटा क्रमबद्ध होते हैं, इसलिए कैश से किसी ऑब्जेक्ट को प्राप्त करने में लगने वाला समय = (किसी विशिष्ट क्लस्टर नोड में ऑब्जेक्ट को स्थानांतरित करने का समय) + (deserialize करने का समय)।
यदि अनुरोधित वस्तु उसी नोड पर स्थित है जिस पर अनुरोध निष्पादित किया गया है, तो (प्राप्ति का समय) = (डिस्क्रिमिनेशन करने का समय)। और यहां हम देखते हैं कि यदि ऑब्जेक्ट को deserialized करने की आवश्यकता नहीं है, तो डेटा एक्सेस पूरी तरह से मुफ्त हो सकता है, जिसके लिए IMDG अवधारणा में निकट-कैश की अवधारणा को पेश किया गया था।

निकट-कैश त्वरित पहुंच के लिए वस्तुओं का एक स्थानीय कैश है, इसमें सभी ऑब्जेक्ट उपयोग के लिए तैयार हैं। यदि इस कैश के लिए निकट-कैश को कॉन्फ़िगर किया गया है, तो पहली बार मिलने पर ऑब्जेक्ट स्वचालित रूप से वहां पहुंच जाते हैं।



क्योंकि चूंकि निकट-कैश समय के साथ बड़े आकार में विकसित हो सकता है, जिसके परिणामस्वरूप मेमोरी बाहर हो सकती है, कैश्ड वस्तुओं की संख्या में वृद्धि को सीमित करने के लिए निम्नलिखित विकल्प प्रदान किए जाते हैं:

1. समाप्ति - कैश में वस्तु जीवनकाल
2. निष्कासन - कैश से किसी ऑब्जेक्ट को हटाएं
3. संग्रहीत वस्तुओं की संख्या पर सीमा

यदि वांछित (साथ ही मेमोरी की कमी) डेटा फ़ाइल या डेटाबेस में संग्रहीत किया जा सकता है।

2. विश्वसनीयता

क्लस्टर में डेटा विभाजन (भागों) में संग्रहीत किया जाता है, और ये विभाजन समान रूप से क्लस्टर में वितरित किए जाते हैं, और प्रत्येक विभाजन को एक निश्चित संख्या में नोड्स (क्लस्टर कॉन्फ़िगरेशन पर और विश्वसनीय डेटा भंडारण के लिए आवश्यकताओं के आधार पर) के लिए दोहराया जाता है। किसी विशेष विभाजन में किसी वस्तु को मारना विशिष्ट रूप से कुछ हैश फ़ंक्शन द्वारा निर्धारित किया जाता है।
उच्च भार के तहत काम करने के बाद से, एक व्यक्तिगत क्लस्टर नोड (या एक ही समय में कई नोड्स, यदि वे एक ही लोहे के सर्वर के भीतर वर्चुअल मशीन थे) का आउटपुट अविश्वसनीय नहीं है, तो कैश कॉन्फ़िगरेशन में डेटा सुरक्षा सुनिश्चित करने के लिए, नोड्स की संख्या इंगित की जाती है, जिसका नुकसान क्लस्टर होना चाहिए दर्द से बचे। यह संकेतक प्रत्येक विभाजन की प्रतियों की संख्या निर्धारित करता है।



यानी यदि हम संकेत देते हैं कि 2 नोड्स के खो जाने से डेटा हानि नहीं होनी चाहिए, तो प्रत्येक विभाजन क्लस्टर के 3 अलग नोड्स पर संग्रहीत किया जाएगा, और यदि 2 नोड्स गिर जाते हैं, तो डेटा बरकरार रहेगा। यदि क्लस्टर में एक से अधिक नोड रहता है, तो सभी डेटा की 3 प्रतियां फिर से बनाई जाएंगी, और क्लस्टर नई परेशानियों के लिए तैयार हो जाएगा।

3. स्केलेबिलिटी

क्लस्टर की रचना (नोड्स की संख्या) पूरे क्लस्टर के संचालन को रोकने के बिना बदल सकती है, और क्लस्टर के सही संचालन और प्रोग्रामर द्वारा किसी भी हस्तक्षेप के बिना डेटा की स्थिरता और उपलब्धता की निगरानी ग्रिड द्वारा ही की जाती है। यानी डेटा के बढ़ते लोड या वॉल्यूम के साथ, आप बस कुछ और कॉन्फ़िगर किए गए नोड्स उठा सकते हैं जो स्वचालित रूप से क्लस्टर में शामिल हो जाएंगे, और क्लस्टर के अंदर डेटा को नोड्स के बीच डेटा को समान रूप से वितरित करने के लिए पुन: असंतुलित किया जाएगा, जबकि स्थानांतरित किए गए डेटा की मात्रा कम से कम होगी ताकि नेटवर्क पर अतिरिक्त लोड न बनाएं। ।

4. आंकड़ों की प्रासंगिकता

IMDG का उपयोग करते समय, आपको हमेशा नवीनतम डेटा मिलता है, जैसा कि जब पुट को निष्पादित किया जाता है, तो क्लस्टर के सभी नोड्स के लिए एक सूचना भेजी जाती है, जिसमें कुछ कुंजियों वाली वस्तुओं को एक नया मान प्राप्त होता है। प्रत्येक नोड इन कुंजियों वाले अपने विभाजन को अद्यतन करता है और पुराने मानों को इसके पास-कैश से निकालता है।

5. डेटाबेस पर लोड को कम करना

IMDG का उपयोग न केवल एक स्टैंडअलोन स्टोरेज के रूप में किया जा सकता है, बल्कि एक सिस्टम नोड के रूप में भी किया जाता है जो एक मुश्किल-से-पैमाने पर रिलेशनल डेटाबेस को अनलोड करता है।



प्रत्येक कैश के लिए डेटाबेस से / से पढ़ने और लिखने के लिए, लोडर कॉन्फ़िगरेशन में निर्दिष्ट है, जो डेटाबेस में ऑब्जेक्ट्स को पढ़ने / लिखने के लिए जिम्मेदार होगा।
डेटा तक पहुंच को व्यवस्थित करने के लिए कई विकल्प संभव हैं:

• एप्लिकेशन लॉन्च के दौरान, डेटाबेस से सभी आवश्यक डेटा को ग्रिड में (तथाकथित प्री-लोडिंग) चूसें। एप्लिकेशन अपटाइम बढ़ रहा है, मेमोरी की खपत भी है, लेकिन काम की गति बढ़ रही है
• जबकि एप्लिकेशन चल रहा है, क्लाइंट अनुरोधों (रीड-थ्रू) के अनुसार आवश्यक डेटा खींचें। इस कैश के लिए लोडर ऑब्जेक्ट का उपयोग करके इसे स्वचालित रूप से निष्पादित किया जाता है। अनुप्रयोग पुनर्प्राप्ति समय कम है, प्रारंभिक स्मृति लागत भी है, लेकिन अतिरिक्त समय प्रसंस्करण अनुरोधों के लिए खर्च होता है जो रीड-थ्रू का कारण बनता है

प्रासंगिक डेटा को बदलते समय डेटाबेस में लिखने के लिए विकल्प:

• कैश में प्रत्येक पुट ऑपरेशन के साथ, डेटाबेस लोडर (तथाकथित राइट-बैक) का उपयोग करके डेटाबेस को स्वचालित रूप से लिखा जाता है। केवल उन प्रणालियों के लिए उपयुक्त है जिनका मुख्य भार रीडिंग के कारण होता है।
• डेटाबेस में लिखे जाने के लिए प्रतीक्षा डेटा संचित है, और फिर डेटाबेस से लिखने के लिए एक अनुरोध किया जाता है। इस तरह के अनुरोध को निष्पादित करने का एक संकेत रिकॉर्डिंग के लिए एक निश्चित मात्रा में डेटा, या एक टाइमआउट हो सकता है। लेखन-गहन प्रणालियों के लिए उपयुक्त है, लेकिन लागू करने में अधिक कठिन है

IMDG को एक नोड के रूप में उपयोग करने के मामले में, जो डेटा प्रोसेसिंग / रीडिंग / डिस्ट्रीब्यूटेड का सारा बोझ उठाता है, हमारे पास डेटाबेस में अप-टू-डेट डेटा, डेटाबेस पर कम लोड और, जो बहुत महत्वपूर्ण है, कॉर्पोरेट एप्लिकेशन जो डेटाबेस को इकट्ठा करने के लिए उपयोग करते हैं, जारी रखते हैं। आँकड़े, रिपोर्टिंग, आदि। उसी हालत में काम करना जारी रखें।

निष्कर्ष

इन-मेमोरी-डेटा-ग्रिड एक अपेक्षाकृत युवा, लेकिन अच्छी तरह से स्थापित तकनीक है, जिसका विकास कई बड़े विक्रेताओं द्वारा किया जाता है। यह NoSQL और कैशिंग सिस्टम के फायदों को जोड़ती है, उनकी कुछ महत्वपूर्ण कमियों को समाप्त करती है और आपको सिस्टम के प्रदर्शन को एक नए स्तर तक बढ़ाने की अनुमति देती है। यदि यह लेख आपको दिलचस्प लगा, तो मुझे अगली बार IMDG परिवार के एक विशिष्ट समाधान के बारे में बताने में खुशी होगी, साथ ही इन प्रणालियों में अन्य प्लेटफार्मों के साथ अनुक्रमण, क्रमांकन तंत्र और इंटरैक्शन के निर्माण और उपयोग के मुद्दों पर भी बात होगी।

UPD: अगला लेख