DCache में सर्वर क्लस्टर में डेटा वितरित करने के लिए एल्गोरिथम

DCache के बारे में लेख की निरंतरता में, मैं आंतरिक कार्यान्वयन के कुछ विवरणों के बारे में बात करूंगा।

वितरित प्रणालियों के महत्वपूर्ण कार्यों में से एक यह है कि मौजूदा नोड्स के बीच लोड को कैसे वितरित किया जाए। वितरित भंडारण के लिए, यह कार्य विशेष रूप से महत्वपूर्ण है, क्योंकि लेखन चरण में किए गए निर्णय से यह प्रभावित होता है कि डेटा कैसे पढ़ा जाता है।



आमतौर पर, एक साथ रिकॉर्ड किए गए डेटा को एक साथ पढ़ा जाएगा। यह आपके अंतिम अवकाश या वैज्ञानिक प्रयोग के नवीनतम परिणामों से तस्वीरें हों। यह तथ्य हमें आने वाले डेटा को सर्वर में से किसी एक पर क्लाइंट्स के संचय से बचने के लिए यथासंभव नोड्स पर बिखेर देता है। यदि सभी नोड्स में समान आकार और समान मुक्त डिस्क स्थान है, तो आसानी से हल की गई समस्या। लेकिन वास्तविक परिस्थितियों में यह दुर्लभ है। नई, एक बड़ी मात्रा के साथ, सर्वर जुड़े हुए हैं जब मुक्त स्थान पहले से ही कगार पर है।

DCache में, यह दो तंत्रों का उपयोग करके हल किया जाता है: नए नोड्स को जोड़ते समय रिकॉर्डिंग और डेटा रिअलायलेशन (रीबैलेंसिंग) करते समय भारित यादृच्छिक वितरण को खाते में मुक्त स्थान (भारित यादृच्छिक वितरण) में लिया जाता है।

और इसलिए, एक भारित मनमाना वितरण कैसे खाता मुक्त स्थान को ध्यान में रखता है:

• प्रत्येक नोड वजन की गणना करता है , जो सिस्टम में कुल मुक्त स्थान द्वारा विभाजित नोड पर मुक्त स्थान की मात्रा के बराबर है:
  वजन = फ्रीएन / फ्रीटोटल
• नोड्स में से एक को मनमाने ढंग से चुना जाता है, और नोड चुनने की संभावना सीधे उसके वजन के अनुपात में होती है

कोड में, यह कुछ इस तरह दिखता है:

public Pool selectWritePool(Pool[] pools) { double[] weights = new double[pools.length]; long totalFree = 0; for (Pool pool:pools) { totalFree += pool.getFree(); } int i = 0; for (Pool pool:pools) { weights[i] = (double) pool.getFree() / totalFree; i++; } return pools[i]; } private final Random rand = new Random(); public static int weightetRandom(double[]weights, Random r) { double selection = r.nextDouble(); double total = 0; int i = 0; for (i = 0; (i < weights.length) && (total <= selection); i++) { total += weights[i]; } return i - 1; } 

यह तंत्र आपको सभी नोड्स का उपयोग करने की अनुमति देता है, लेकिन अधिक खाली स्थान वाले लोग - अधिक बार। संभाव्य नमूनाकरण यह सुनिश्चित करता है कि किसी भी एक विशिष्ट सर्वर पर लिखने का निर्णय एक ही समय में विभिन्न ग्राहकों के लिए नहीं किया जाएगा।

जैसा कि ऊपर उल्लेख किया गया है, आंतरिक पुन: संतुलन कमांड सर्वर लोड को भी बाहर करने के लिए एक ही एल्गोरिदम का उपयोग करता है। डाउनलोड की गणना कुल रिक्त स्थान के अनुपात से की जाती है:
लोड = FreeN / TotalN

इस एल्गोरिथ्म ने खुद को युद्ध की स्थिति में साबित किया है।