Fujitsu HPC क्लस्टर सूट कम्प्यूटिंग क्लस्टर सॉफ्टवेयर पैकेज

इस साल 29 मई को, Fujitsu ने कंप्यूटिंग समूहों Fujitsu HPC क्लस्टर सूट (HCS) के लिए एक विशेष सॉफ्टवेयर पैकेज पेश किया। यह पैकेज मानक x86 आर्किटेक्चर के Fujitsu PRIMERGY सर्वरों के आधार पर क्लस्टर को प्रबंधित करने के लिए डिज़ाइन किया गया है और यह पूरी तरह से परीक्षण किए गए उच्च-प्रदर्शन सॉफ़्टवेयर घटकों का एक सेट है। प्रारंभ में, यह उत्पाद भौतिक और रासायनिक अनुसंधान संस्थान (आरआईकेईएन) के कंप्यूटर के सुपर कंप्यूटर के लिए विकसित किया गया था, जो दो सत्रों के लिए चैम्पियनशिप का आयोजन करता था और वर्तमान में TOP500 सूची में 10 PFLPPS से अधिक के प्रदर्शन के साथ तीसरे स्थान पर है, जो अपने आप में प्रस्तुत की क्षमता और क्षमताओं के बारे में बोलता है। समाधान। अब एचसीएस पैकेज जारी करने के साथ, संचित ज्ञान और अनुभव को शास्त्रीय x86 आर्किटेक्चर में स्थानांतरित कर दिया जाता है और लगभग किसी भी कंपनी के लिए उपलब्ध हो जाता है।

विशिष्ट एचपीसी क्लस्टर आर्किटेक्चर

किसी भी उच्च-प्रदर्शन क्लस्टर के मुख्य घटक उसके कंप्यूटिंग नोड या नोड होते हैं, पूरे क्लस्टर का प्रदर्शन उनकी संख्या और कॉन्फ़िगरेशन पर निर्भर करता है, क्योंकि सीधे उन पर और निपटान कार्य किए जाते हैं। आमतौर पर यह माना जाता है कि हार्डवेयर घटकों के संदर्भ में एक क्लस्टर में समान सर्वर घटक होते हैं, लेकिन, फिर भी, अक्सर ऐसी परिस्थितियां होती हैं जब क्लस्टर में अलग-अलग सर्वर पाए जाते हैं। इस स्थिति में, एक ही प्रकार के सर्वरों के समूह में एक ही क्लस्टर के भीतर अलग-अलग कॉन्फ़िगरेशन के नोड्स संयुक्त होते हैं।

कंप्यूटिंग क्लस्टर में प्रयुक्त इंटरकनेक्ट महत्वपूर्ण है, अर्थात अंतरालीय संचार का उपयोग किया जाता है। इंटरकनेक्ट को डाटा को सिंक्रोनाइज़ और एक्सचेंज करने के लिए कंप्यूटिंग नोड्स पर चलने वाली प्रक्रियाओं के बीच इंटरैक्शन प्रदान करना चाहिए। आमतौर पर, इस समस्या को हल करने के लिए एक हाई-स्पीड इन्फिनिबैंड बस (40 या 56 जीबी / एस) का उपयोग किया जाता है। इसके अलावा, कंप्यूटिंग नोड्स को नियंत्रित करने के लिए पारंपरिक ईथरनेट का उपयोग किया जाता है।

कंप्यूटिंग नोड्स का संचालन नियंत्रण नोड्स द्वारा नियंत्रित किया जाता है। एक छोटे क्लस्टर में भी कम से कम एक नोड मौजूद होना चाहिए, जबकि बड़े समूहों में आमतौर पर उनमें से कई होते हैं ताकि गलती सहिष्णुता सुनिश्चित हो सके। नियंत्रण नोड्स कार्यों की एक कतार बनाते हैं, उन्हें कंप्यूटिंग नोड्स और उनके समूहों के बीच वितरित करते हैं, जबकि कार्य स्वयं उपयोगकर्ताओं द्वारा अपने कार्यस्थल से सीधे लॉन्च किए जाते हैं।



चूंकि कंप्यूटिंग नोड्स डेटा के साथ काम करते हैं, क्लस्टर संरचना में एक महत्वपूर्ण मुद्दा उनका स्थान हो सकता है। तो, एक अलग नेटवर्क स्टोरेज सिस्टम का उपयोग किया जा सकता है, जिससे सभी नोड्स कनेक्ट हो सकते हैं, या, विशेष रूप से बड़े समूहों के मामले में, तथाकथित समानांतर फाइल सिस्टम का उपयोग किया जा सकता है। एक समानांतर फ़ाइल सिस्टम वितरित डेटा संग्रहण प्रदान करता है जब इसके कुछ हिस्सों को अलग-अलग नोड्स पर संग्रहीत किया जाता है, लेकिन उनमें से प्रत्येक के लिए सुलभ हैं। यह न केवल कार्यों के नोड्स के बीच वितरण प्रदान करता है, बल्कि संबंधित डेटा भी।

एचपीसी पर्यावरण के लिए, यह मुख्य रूप से कंप्यूटिंग नोड्स के एक सेट पर किए गए गैर-इंटरैक्टिव कार्यों पर केंद्रित है। इसके अलावा, एक क्लस्टर पर एक साथ कई कार्य किए जा सकते हैं।

एचपीसी सॉफ्टवेयर स्टैक फीचर्स और एचपीसी क्लस्टर सूट एप्लीकेशन

एचपीसी सॉफ्टवेयर स्टैक की मुख्य विशेषता एक ही प्रकार (कंप्यूटिंग नोड्स) के दर्जनों और हजारों सर्वरों पर इसे स्थापित करने की आवश्यकता है, जबकि सभी प्रणालियों में विभिन्न सेटिंग्स के उपयुक्त बुनियादी सेट होने चाहिए। उदाहरण के लिए, उपयोगकर्ताओं और समूहों और साथ ही संबंधित पासवर्डों के पहचानकर्ता सभी कंप्यूटिंग नोड्स पर समान होना चाहिए, जिसमें फ़ाइल सिस्टम तक भी समान पहुंच होनी चाहिए। इसके अलावा, आपके पास ऐसे उपकरण होने चाहिए जो आपको नए कंप्यूटिंग को जल्दी से बदलने या विफल कंप्यूटिंग नोड्स को बदलने की अनुमति दें।

जाहिर है, ऐसी स्थितियों में, उदाहरण के लिए, बदलते समय, प्रति हजार नोड्स पर केवल एक पासवर्ड महत्वपूर्ण समय का नुकसान हो सकता है यदि आप विशेष सॉफ़्टवेयर का उपयोग नहीं करते हैं जो आपको पासवर्डों को प्रबंधित करने की अनुमति देता है या क्लस्टर में सभी सर्वरों पर उनके प्रतिस्थापन को स्वचालित करता है।

क्लस्टर व्यवस्थापकों के सामने आने वाली समस्या सॉफ्टवेयर और ड्राइवरों का चयन है। फिलहाल, आप क्लस्टर समाधानों में उपयोग किए जाने वाले विभिन्न सॉफ़्टवेयर संस्करणों की एक बड़ी संख्या पा सकते हैं, उदाहरण के लिए, विभिन्न संकलक, संसाधन प्रबंधक या MPI। तदनुसार, इन घटकों का चयन, हार्डवेयर के साथ आपसी संगतता और संगतता के लिए उनका परीक्षण, उनका कॉन्फ़िगरेशन और सिंक्रनाइज़ेशन एक बहुत समय लेने वाली प्रक्रिया है और इसमें काफी समय लग सकता है।
यह यहां है कि फुजित्सु द्वारा प्रस्तुत व्यापक एचपीसी क्लस्टर सूट समाधान मदद कर सकता है, क्योंकि यह पूर्व-परीक्षण और परीक्षण किए गए सॉफ़्टवेयर है जो प्रमुख डेवलपर्स के साथ गठबंधन में बनाया गया है जो कि फ़ुजित्सु उपकरण पर काम करने की गारंटी है।

इस उत्पाद के उद्देश्य और कार्यक्षमता की बेहतर समझ के लिए, एक विशिष्ट एचपीसी सॉफ्टवेयर स्टैक पर विचार करें, जो नीचे आरेख में प्रस्तुत किया गया है। इस आरेख में, बिंदीदार रेखा उस स्टैक के घटकों को रेखांकित करती है जो एचपीसी क्लस्टर सूट में कार्यान्वित किए जाते हैं। जैसा कि आप देख सकते हैं, वास्तव में, HCS आपको एप्लिकेशन और कंप्यूटिंग नोड्स के बीच सभी आवश्यक स्थान भरने की अनुमति देता है, Fujitsu PRIMERGY सर्वर के आधार पर निर्मित क्लस्टर के प्रबंधन के लिए एक पूरी तरह कार्यात्मक पैकेज है।

एचपीसी क्लस्टर सूट घटक

अब, ऊपर दिए गए आरेख के आधार पर, हम एचपीसी क्लस्टर सूट के मुख्य घटकों का संक्षेप में विश्लेषण करते हैं:

NVidia Tesla K20 / K20X त्वरक और Intel Xeon Phi coprocessors के लिए सॉफ़्टवेयर समर्थन । इससे पता चलता है कि क्लस्टर पर किए गए कार्य न केवल केंद्रीय प्रोसेसर की कंप्यूटिंग शक्ति पर ध्यान केंद्रित कर सकते हैं, बल्कि नामित त्वरक पर उपलब्ध विषम और समानांतर कंप्यूटिंग क्षमताओं पर भी ध्यान केंद्रित कर सकते हैं।

प्रस्तुत उत्पाद में एक महत्वपूर्ण भूमिका क्लस्टर तैनाती प्रबंधक (सीडीएम) द्वारा निभाई जाती है - फुजित्सु द्वारा सीधे विकसित एक पैकेज, जो कंप्यूटिंग नोड्स की स्वचालित स्थापना और कॉन्फ़िगरेशन प्रदान करता है, साथ ही साथ उनका कमीशन भी; उपर्युक्त कार्यों को करने और क्लस्टर नोड्स की स्थिति की निगरानी करने, उपयोगकर्ता वातावरण का प्रबंधन करने और क्लस्टर स्वास्थ्य की पुष्टि करने के लिए एक प्रशासक इंटरफ़ेस शामिल है।

वर्कलोड मैनेजर के रूप में , आप तीन ओपन सोर्स सॉफ्टवेयर टूल्स (TORQUE, SGE, SLURM - अंतिम 2 2013 की तीसरी तिमाही से शुरू करके उपलब्ध होंगे) या एक वाणिज्यिक उत्पाद (PBS पेशेवर - केवल HCS एडवांस्ड संस्करण में) से चुन सकते हैं, जो पहले से ही खुद को स्थापित कर चुके हैं। बाजार।

समानांतर मिडलवेयर (मिडलवेयर) में थर्ड-पार्टी सॉफ्टवेयर शामिल है, विशेष रूप से, ओपन सोर्स विकल्प: ओपनएमपीआई, एमपिक, एमवीएपीएचएच। इसके अलावा, एचपीसी क्लस्टर सूट इंटेल एमपीआई (अलग से बेचा) के साथ पूरी तरह से संगत है।

पुस्तकालयों (वैज्ञानिक पुस्तकालयों) में लैपैक, स्लैकपैक, बीएलएएस, नेट एलसीडीएफ, नेट एलसीडीएफ-डेवेल, एचडीएफ 5, एफएफटीडब्ल्यू, एफटीडब्ल्यू-डेवेल, एटलस, एटलस-डेवेल, जीएमपी, ग्लोबल एरे, एमकेएल शामिल हैं। निम्नलिखित संकलक, अनुकूलन और प्रोफाइलिंग टूल के लिए सहायता भी प्रदान की जाती है: GNU c, c ++, gfort, Open64 (PathScale compiler), Intel Cluster स्टूडियो, Allinea DDT, Intel vtune, PAPI, TAU। इसी समय, सभी वाणिज्यिक उत्पादों को अलग से खरीदा जाता है, वास्तव में, उनकी संगतता और एकीकरण की संभावना की गारंटी होती है।

एक महत्वपूर्ण घटक फुजित्सु समानांतर फाइल सिस्टम है जो फुजित्सु एक्साबाइट फाइल सिस्टम (एफईएफएस) द्वारा विकसित किया गया है जो लस्टर पर आधारित है। यह कोई संयोग नहीं है कि एक्साबाइट नाम इसके नाम में मौजूद है, क्योंकि इसकी फ़ाइल प्रणाली का अधिकतम आकार और एक फ़ाइल 8 EB है, और समानांतर I / O कार्यान्वयन टीबी / एस के क्रम की गति तक पहुंचने की अनुमति देता है।

एचसीएस में ग्राफिकल यूजर इंटरफेस को एचपीसी गेटवे कहा जाता है, यह लाइफएरे के आधार पर बनाया गया एक पोर्टल है, और आप ब्लॉग, फोरम, विकी, ज्ञानकोष और अन्य घटकों के एकीकरण के माध्यम से उपयोगकर्ताओं और उनके समूहों के संयुक्त काम को व्यवस्थित करने की अनुमति देता है।

एचपीसी क्लस्टर सूट संस्करण

HPC क्लस्टर सूट को तीन संस्करणों द्वारा दर्शाया गया है - ओपन, बेसिक और एडवांस, जिसमें पैकेज में शामिल सॉफ्टवेयर का एक सेट, अपडेट्स और तकनीकी सहायता, और क्लस्टर में कंप्यूटिंग नोड्स की संख्या पर एक सीमा होती है। विभिन्न संशोधनों के वितरण किट के रूप में, उन्हें नीचे दी गई तालिका में स्पष्ट रूप से प्रस्तुत किया गया है।



संस्करणों की अन्य विशेषताओं के लिए, ओपन संस्करण को छोड़कर प्रत्येक संस्करण के लिए, जो तकनीकी सहायता के लिए सदस्यता विकल्पों से वंचित है और अपडेट के लिए सीमित पहुंच है, एक, तीन और पांच साल के सदस्यता विकल्प हैं। इसके अलावा, ओपन संस्करण एक क्लस्टर में 128 नोड्स तक का समर्थन करता है, जबकि बाकी संस्करणों में यह सीमा नहीं है और वास्तव में आप असीमित संख्या में नोड्स का उपयोग करने की अनुमति देते हैं। एचसीएस पैकेज की अंतिम कीमत पैकेज संस्करण, उपयोग खंड (शैक्षणिक या वाणिज्यिक लाइसेंस) और क्लस्टर में नोड्स की संख्या पर निर्भर करती है।