इन-स्मृति-डेटा ग्रिड। संचालन, सूचकांक, ताले के मोड

मैं इन-मेमोरी-डेटा-ग्रिड विषय पर लेखों की एक छोटी श्रृंखला जारी रखता हूं।
पहले लेख में , IMDG की अवधारणा को ठोस उदाहरणों और कार्यान्वयन विवरणों के बिना प्रकट किया गया था। आज हम थोड़ी गहरी खुदाई करते हैं।

IMDG मोड

ऑपरेटिंग मोड विशिष्ट IMDG समाधान के आधार पर मौलिक रूप से भिन्न नहीं होते हैं, इसलिए IMDG अवधारणा के लिए निम्नलिखित सत्य है, और व्यक्तिगत समाधानों के लिए नहीं।

1. स्थानीय मोड

इस मोड में, IMDG क्लस्टर में केवल एक नोड होता है। यह मुख्य रूप से केवल डिबगिंग उद्देश्यों के लिए उपयोग किया जाता है।

2. प्रतिकृति मोड

प्रतिकृति मोड में, पूरा डेटा सेट क्लस्टर में प्रत्येक नोड के लिए दोहराया जाता है।



पेशेवरों :

• डेटा की उच्च गति, जैसे सभी डेटा क्लस्टर के प्रत्येक नोड पर उपलब्ध है
• किसी भी नोड के नुकसान के कारण क्लस्टर का पुनर्संतुलन नहीं होता है, क्योंकि डेटा पुनर्वितरित करने की कोई आवश्यकता नहीं है

विपक्ष :

• यह मोड केवल तभी लागू होता है जब ऑपरेशन के लिए आवश्यक सभी डेटा एक नोड की मेमोरी में संग्रहीत किया जाता है
• स्मृति की खपत में वृद्धि
• क्लस्टर में किसी ऑब्जेक्ट के PUT को सभी नोड्स पर इस ऑब्जेक्ट के अद्यतन के लिए नेतृत्व करना चाहिए; इसलिए, क्लस्टर में डेटा की स्थिरता सुनिश्चित करने के लिए अतिरिक्त प्रयासों की आवश्यकता है, इसलिए, इस मोड में PUT धीमा है
• सीमित मापनीयता क्योंकि प्रत्येक PUT प्रत्येक नोड के लिए डेटा प्रतिकृति की आवश्यकता है

यह सुनिश्चित करने के लिए कि प्रत्येक PUT को इतना समय नहीं लगता है, आप इसे अतुल्यकालिक रूप से निष्पादित कर सकते हैं (कई IMDGs ऐसा अवसर प्रदान करते हैं), लेकिन उसके बाद ही आप डेटा की स्थिरता के लिए जवाब दे सकते हैं। इसलिए, मैं गहन प्रणाली को लिखने में ऑपरेशन के इस मोड का उपयोग नहीं करूंगा।

3. वितरित मोड

IMDG के संचालन का सबसे दिलचस्प और उपयोग किया जाने वाला मोड, जिसमें आप इस अवधारणा के सभी सकारात्मक गुणों का मूल्यांकन कर सकते हैं।



इस शासन का वर्णन पिछले लेख का आधार था।

सूचकांक

IMDG में डेटा खोजने के लिए, एक उल्टे सूचकांक खोज का उपयोग किया जाता है।

1. ओरेकल सुसंगतता

अनुक्रमित वस्तुओं द्वारा दर्शाए जाते हैं जो MapIndex इंटरफ़ेस को लागू करते हैं।
वर्तमान में (Oracle जुटना 3.7), 2 सूचकांक कार्यान्वयन उपलब्ध हैं:

• SimpleMapIndex - नियमित रूप से उलटा सूचकांक
• ConditionalIndex - SimpleMapIndex का विस्तार करता है, इसके विपरीत यह आपको एक शर्त निर्धारित करने की अनुमति देता है जिसके तहत कैश ऑब्जेक्ट अनुक्रमित किया जाएगा

सूचकांक वितरित किया जाता है, अर्थात क्लस्टर के प्रत्येक नोड पर, केवल उस पर निहित डेटा को अनुक्रमित किया जाता है। पूरे क्लस्टर के लिए एक अनुरोध निष्पादित करते समय, प्रत्येक नोड अलग से सामान्य प्रतिक्रिया के अपने हिस्से की गणना करता है, फिर इन हिस्सों को नोड में स्थानांतरित किया जाता है जहां से अनुरोध किया गया था, जहां उन्हें एक सामान्य उत्तर में इकट्ठा किया जाता है।
यदि अनुरोध को एक ही बार में कई सूचकांकों तक पहुंच की आवश्यकता होती है, तो उत्तर पहले प्रत्येक सूचकांकों के लिए बनता है, और फिर वे सेट जो अंतिम परिणाम प्राप्त करने के लिए एक दूसरे को प्रतिच्छेद करते हैं। यह चौराहा तुरंत नहीं होता है, इसलिए इससे पहले कि आप एक अनुरोध करें जिसमें कई अनुक्रमों तक पहुंच की आवश्यकता होती है, आपको यह सोचने की ज़रूरत है कि क्या यह कुंजी के विशाल सेट के चौराहे तक ले जाएगा।

पेशेवरों :

• वितरित सूचकांक समानताएं खोज
• आप नियंत्रित कर सकते हैं कि आप किन वस्तुओं को अनुक्रमित करना चाहते हैं।

विपक्ष :

• कई बड़े सेटों को पार करना गैर-अनुक्रमित डेटा के माध्यम से खोज करने में अधिक समय ले सकता है
• ऐसे सूचकांक की खोज की गति बिट सेट के आधार पर अनुक्रमित की तुलना में कम है।
• सूचकांक अद्यतन वृद्धिशील है, अर्थात इंडेक्स में कोई ऑब्जेक्ट जोड़ने पर, आपको इसे पूरी तरह से पुनर्निर्माण नहीं करना होगा

2. JBoss Infinispan

यहां, कैश की खोज के लिए Apache Lucene (ओपन सोर्स फुल टेक्स्ट सर्च इंजन) और HibernateSearch (जो एक ही Lucene पर आधारित है) का उपयोग किया जाता है।
इस विकल्प के महत्वपूर्ण नुकसान हैं, लेकिन इसके फायदे हैं।
पेशेवरों :

• इंडेक्स को क्वेरी का परिणाम बिटसेट है, इसलिए इस तरह के सेट (यदि आपकी क्वेरी को कई इंडेक्स में खोज करने की आवश्यकता है) का चौराहा एक सस्ता ऑपरेशन है।
• पूर्ण-पाठ खोज समर्थन
• त्वरित खोज (जैसा कि बाइनरी मास्क लगाने से होता है)

विपक्ष :

• सूचकांक वितरित नहीं किया गया है , यह अपाचे ल्यूसिन डायरेक्टरी में संग्रहीत है (अधिक सटीक रूप से, यह ALD स्वयं के कुछ अनुकूलित कार्यान्वयन है)
• एक समय में केवल एक धागा सूचकांक को अपडेट कर सकता है
• इंडेक्स अपडेट केवल इसके पूर्ण पुनर्निर्माण के माध्यम से होता है

3. VMWare Gemfire

डेटा इंडेक्स करते समय, 2 प्रकार के इंडेक्स का उपयोग किया जाता है: प्राथमिक कुंजी सूचकांक और कार्यात्मक सूचकांक ।

उनके बीच अंतर यह है कि प्राथमिक कुंजी सूचकांक आपको किसी भी अनुक्रमित विशेषता के मूल्य को केवल कुछ स्थिरांक की समानता के लिए जांचने की अनुमति देता है, और कार्यात्मक सूचकांक आपको तुलना करने की अनुमति देता है। उदाहरण के लिए, आप कुछ फ़ील्ड> 10> के साथ ऑब्जेक्ट का चयन कर सकते हैं।

एक इंडेक्स अपडेट को सिंक्रोनाइज़ (स्थिरता सुनिश्चित करता है) या एसिंक्रोनसली (इंडेक्स अपडेट रेट) किया जा सकता है।

सामान्य तौर पर, पेशेवरों और विपक्ष ओरेकल कोहरेंस के समान होते हैं।

4. हेज़लकास्ट

इसमें इंडेक्स को अलग-अलग प्रकारों में विभाजित नहीं किया गया है, लेकिन इंडेक्स के संचालन का सिद्धांत ओरेकल कोहेरेंस के समान है, इसलिए उन्हें अलग से पेंट करने का कोई मतलब नहीं है।

अवरुद्ध

यदि आपका एप्लिकेशन किसी वस्तु को डेटा के बहु-थ्रेडेड लेखन की अनुमति देता है, तो आमतौर पर डेटा अखंडता सुनिश्चित करने के लिए एक लॉक तंत्र का उपयोग किया जाता है। और यह तंत्र मज़बूती से काम करता है यदि आप एक ही मशीन के भीतर हैं। लेकिन क्या होगा यदि आपका डेटा क्लस्टर में वितरित किया गया है?

इस मामले में, IMDG समाधान ने लॉक कार्यान्वयन को वितरित किया है।
वितरित लॉक वह लॉक होता है जो क्लस्टर के सभी नोड्स पर उपलब्ध होता है और इन सभी नोड्स पर एक ही स्थिति होती है। यानी ऐसी स्थिति असंभव है जिसमें एक ही समय में अलग-अलग नोड्स पर 2 धागे एक ही लॉक होंगे।
वितरित लॉक क्लस्टर में डेटा तक पहुंच का सिंक्रनाइज़ेशन प्रदान करता है।

निष्कर्ष

अगले लेख में मैं विभिन्न IMDG और NoSQL समाधानों की तुलना करने के परिणामों के बारे में बात करने की कोशिश करूंगा, लेकिन, जैसा कि आप अच्छी तरह से समझते हैं, इसमें कुछ समय लगेगा, इसलिए सितंबर के मध्य से पहले लेख की प्रतीक्षा न करें। मैं सभी को परिणामों की चर्चा में भाग लेने के लिए आमंत्रित करता हूं :)