माइक्रोसॉफ्ट रिसर्च टीम ने वर्ल्ड सॉर्टिंग रिकॉर्ड तोड़ दिया

Sortbenchmark.org बड़े डेटा सेट को सॉर्ट करने के लिए वार्षिक प्रतियोगिताओं की मेजबानी करता है। प्रतियोगिताओं के प्रकारों में से एक मिनट सॉर्ट है, जिसमें आपको डिस्क से पढ़ने और एक मिनट में अधिक से अधिक रिकॉर्ड सॉर्ट करने की आवश्यकता है और परिणाम को एक फ़ाइल में सहेजें। प्रतियोगिता दो श्रेणियों में आयोजित की जाती है - इंडी, उपयोग किए गए हार्डवेयर पर प्रतिबंध के बिना, और डेटोना - केवल "स्टोर से" सामान्य कंप्यूटर का उपयोग किया जाना चाहिए।

Microsoft अनुसंधान टीम 2009 के बाद से डेटोना श्रेणी में याहू रिकॉर्ड को बार-बार पार करने में सफल रही। 250 मशीनों पर 1,033 डिस्क से मिलकर उनका क्लस्टर, 1401 गीगाबाइट डेटा प्रबंधित करता है। यह याहू (500 गीगाबाइट) के परिणाम की तुलना में लगभग तीन गुना बेहतर है, इस तथ्य के बावजूद कि याहू क्लस्टर लगभग छह गुना बड़ा था (1406 मशीनों पर 5624 डिस्क)। इसके अलावा, Microsoft क्लस्टर ने पिछले साल के इंडी श्रेणी (1353 गीगाबाइट्स) के रिकॉर्ड को भी तोड़ दिया।

ये प्रभावशाली परिणाम फ्लैट डेटासेंटर स्टोरेज (एफडीएस) प्रौद्योगिकी के लिए धन्यवाद प्राप्त किए गए थे। Microsoft ने MapReduce प्रतिमान के आधार पर ऐसे कार्यों के समाधान का उपयोग नहीं किया। कुछ कार्यों के लिए, और छांटना उनमें से एक है, विभिन्न नोड्स पर डेटा के कुछ हिस्सों को एक दूसरे से स्वतंत्र रूप से संसाधित करना असंभव है, जैसा कि MapReduce समाधान में किया जाता है। भारी मात्रा में डेटा स्थानांतरित करने की आवश्यकता से कोई बच नहीं है।

FDS तकनीक इस तथ्य का फायदा उठाती है कि जब से MapReduce आर्किटेक्चर बनाया गया था, नेटवर्क बहुत तेज और सस्ता हो गया है। इसने हमें एक क्लस्टर बनाने की अनुमति दी, जिसमें प्रत्येक कंप्यूटर अपने नेटवर्क इंटरफेस की पूर्ण गति पर एक ही समय में किसी भी अन्य के साथ संचार करने में सक्षम है (ऐसे नेटवर्क को पूर्ण द्विआधारी बैंडविड्थ नेटवर्क कहा जाता है)। इस प्रकार, 2009 में याहू द्वारा उपयोग किए गए Hadoop बुनियादी ढांचे के बजाय, Microsoft रिसर्च टीम ने एक नेटवर्क फ़ाइल सिस्टम का उपयोग किया जो आपको किसी भी नोड पर किसी भी डेटा तक पहुंचने की अनुमति देता है जैसे कि यह एक स्थानीय डिस्क पर था।

Microsoft बिंग खोज इंजन की सेवा करने वाले डेटा केंद्रों में FDS वास्तुकला का उपयोग करने की योजना बना रहा है।