मतलाब क्लस्टर बनाना और उपयोग करना

लेख का उद्देश्य: मैं तीन कंप्यूटिंग क्लस्टर मैटलैब बनाने के अनुभव को साझा करना चाहता हूं, साथ ही उनके दूरस्थ प्रशासन को भी।

छोटा सा परिचय

जब विभिन्न प्राकृतिक घटनाओं (और न केवल) पर शोध / मॉडलिंग करते हैं, तो कभी-कभी महान कंप्यूटिंग क्षमताओं की आवश्यकता होती है जिसके साथ एक घर पीसी अब सामना नहीं कर सकता है (कोई फर्क नहीं पड़ता कि यह कितना शक्तिशाली है)। अंत में, यह आवश्यकता मुझमें दिखाई दी।

सापेक्ष समय की लंबी अवधि में गैर-रेखीय अंतर समीकरणों को हल करने की प्रणालियों से जुड़े सिमुलेशन में बहुत अधिक प्रोसेसर समय लगता है, इसलिए यह पूरी बात "समानांतर" करने का निर्णय लिया गया।

तो, सब कुछ के बारे में - क्रम में

उपलब्ध लोहा:

घर पर : एक कंप्यूटर (Phenom II x4 840, 7x64) और एक लैपटॉप (Athlon II Dual-Core M320, 7x64) अच्छे पुराने DIR-300 राउटर द्वारा एक ही नेटवर्क से जुड़े।

लड़की के घर पर: COMP (i5 4440, 7x64)

काम पर: एक कमरे में 10 कंप्यूटर (Athlon II Dual-Core, XPx86) (एक नेटवर्क से जुड़ा) और दूसरे में 4 (Athlon II Dual-Core, XPx86)। कमरों के बीच कोई स्थानीय क्षेत्र नेटवर्क नहीं है।

उपरोक्त सभी बक्सों में इंटरनेट की सुविधा है।

हम काम पर 2 क्लस्टर बनाना शुरू करते हैं।

लेख एक क्लस्टर बनाने का एक तरीका बताता है, लेकिन इसके निर्माण के दौरान बहुत अधिक नुकसान का संकेत नहीं है, जिसने मेरे उद्यम को लगभग दफन कर दिया। (हालांकि सब कुछ अद्भुत निर्देशों के अनुसार किया गया था, जिसके लिए मैं लेखक को धन्यवाद देता हूं!)

के साथ शुरू करने के लिए, मैं यह नोट करना चाहता हूं कि सबसे पहले आपको सही तरीके से मैटलैब स्थापित करने की आवश्यकता है। यहाँ बिंदु "स्थापना के दौरान साँस नहीं लेना", या सही घटकों को "चुनना" नहीं है, लेकिन यह कि मटलब के 2 संस्करण हैं। एक सर्वर, दूसरा लोकल। इसलिए, यदि आप उनमें से केवल एक को स्थापित करते हैं - यह काम नहीं करेगा।
इस लेख में डेटा है जो संस्करणों के मुद्दे को समझने में मदद करेगा, हालांकि, यह ध्यान दिया जाना चाहिए कि Matlaba R2013b के नए संस्करण में, इंस्टॉलर लेख में स्क्रीनशॉट पर वर्णित की तुलना में थोड़ा अलग तरीके से काम करता है, इसलिए पहले आपको समानांतर कम्प्यूटिंग टूलबॉक्स के साथ स्थानीय संस्करण को स्थापित करने की आवश्यकता है, और उसके बाद, किसी अन्य फ़ोल्डर में, वितरित कम्प्यूटिंग सर्वर के साथ सर्वर संस्करण, अन्यथा समानांतर कंपाउंड टूल टूल शुरू करते समय एक त्रुटि उत्पन्न होगी:

Starting parallel pool (parpool) using the 'MJSProfileXXX' profile ... Error using parpool (line 111) Failed to start a parallel pool. (For information in addition to the causing error, validate the profile 'MJSProfile8' in the Cluster Profile Manager.) Error in parallel.internal.ui.PoolHelper.startPool (line 11) parpool(); Caused by: Error using parallel.internal.pool.InteractiveClient/start (line 326) Failed to start pool. Error using parallel.Job/submit (line 304) All dimension arguments must be greater than zero 

यह त्रुटि विभिन्न मंचों में बहुत लोकप्रिय है, लेकिन कोई भी यह नहीं कहता कि इससे कैसे छुटकारा पाया जाए। यह तब होता है जब Matlab (प्रारंभ समानांतर पूल बटन) के सर्वर संस्करण पर समानांतर कम्प्यूटिंग टूलबॉक्स लॉन्च किया जाता है।


इसलिए, आपको मतलाब के स्थानीय संस्करण पर मास्टर के साथ समानांतर / क्लस्टर कंप्यूटिंग चलाने की आवश्यकता है ।

एक फ़ोल्डर में मतलाब के दो संस्करणों को स्थापित करें, जैसा कि ऊपर लेख में सिफारिश की गई है - R2013b इंस्टॉलर ने इसे अनुमति नहीं दी, और, जैसा कि यह निकला, ठीक किया!
Matlabovsky सॉफ्टवेयर की पूर्ण स्थापना के बाद, 2 फ़ोल्डर्स मास्टर पर मौजूद होने चाहिए। पहला Matlab के स्थानीय संस्करण के साथ है, जो Matlab फ़ाइलों के सभी एक्सटेंशन को हुक करता है और शॉर्टकट बनाता है, और दूसरा फ़ोल्डर जिसमें Matlab वितरित कम्प्यूटिंग सर्वर स्थापित है। (दूसरा फ़ोल्डर स्वायत्त है और क्लस्टर को तैनात करते समय बचाने के लिए स्थानीय नेटवर्क पर सभी कंप्यूटरों में स्थानांतरित किया जा सकता है)

हम उस कंप्यूटर पर विचार करेंगे जिस पर माटलैब के 2 संस्करणों को मास्टर के रूप में स्थापित किया गया है, क्योंकि यह इस बात से है कि हमारा कार्यक्रम लॉन्च किया जाएगा।
केवल Matlab का सर्वर संस्करण इस स्थानीय नेटवर्क के अन्य कंप्यूटरों पर स्थापित किया जाना चाहिए ( या बस दूसरे फ़ोल्डर को मास्टर से किसी भी निर्देशिका में अन्य कंप्यूटरों पर कॉपी करें )

अब आप स्थानीय मैटलैब क्लस्टर बनाने के लिए उपरोक्त लेख का सुरक्षित रूप से उपयोग कर सकते हैं। हालांकि, यह ध्यान देने योग्य है कि! Mdce स्थापित करना और! Mdce पहली बार मैटलैब की विंडो से ही कमांड शुरू करता है, चाहे कोई भी संस्करण हो। यह vcredist64 / 86 पुस्तकालयों की अनुपस्थिति की त्रुटि से बचने में मदद करेगा, यदि आप मैटलैब विंडो से Mdce स्थापित कमांड चलाते हैं, तो वे स्वयं को स्थापित करेंगे। अन्यथा, mdce सर्वर, जिसे बैच फ़ाइल से उदाहरण के लिए कहा जाता है, केवल पुस्तकालयों की कमी के बावजूद नहीं उठ सकता है।
आपको क्रमशः 2 फ़ोल्डर के बिन निर्देशिका से इन कमांडों को चलाने की आवश्यकता है (इसमें एक mdce.bat फ़ाइल है)।
व्यक्तिगत रूप से, मेरे पास क्लस्टर शुरू करने के लिए मास्टर पर पर्याप्त 3 कमांड थीं:

 !mdce install !mdce start !admincenter 

और पहले से ही व्यवस्थापक केंद्र से, आप एक अनुसूचक बना सकते हैं और कंप्यूटर पर श्रमिकों को वितरित कर सकते हैं। लेकिन यहाँ फिर से एक गड्ढा है। धिक्कार है फायरवाल! मैं दृढ़ता से इसे पूरी तरह से डिस्कनेक्ट करने की सलाह देता हूं! इनकमिंग और आउटगोइंग कनेक्शन के सभी नियमों के साथ और सभी अपवादों के साथ। केवल इस तरह से मैं यह सुनिश्चित करने में सक्षम था कि एडमिन सेंटर इस लैन पर सभी कंप्यूटरों को जोड़े। वैसे, जब स्थानीय नेटवर्क पर कंप्यूटर को जोड़ते हैं, तो आप इसका नाम उदाहरण के लिए Siegurd-PC सेट कर सकते हैं और डैश से डरते नहीं हैं। कम से कम मतलाब के नवीनतम संस्करण में, यह काम करता है।
व्यवस्थापक केंद्र में कंप्यूटर जोड़ते समय, यह आवश्यक है कि mdce सेवा पहले से ही प्रत्येक कंप्यूटर पर चल रही हो और प्रक्रियाओं में लटकी हो। इस मामले में, माटलैब को प्रत्येक कंप्यूटर पर बंद किया जा सकता है, क्योंकि यह किसी भी तरह से भाग नहीं लेता है।

व्यवस्थापन केंद्र में दूरस्थ रूप से mdce सेवा शुरू करने की क्षमता है, लेकिन मैं ऐसा करने में सक्षम नहीं हूं। शायद गलती स्थानीय नेटवर्क पर कंप्यूटरों के फ़ोल्डर्स तक पहुंचने के लिए व्यवस्थापक अधिकारों की कमी है, लेकिन यह इतना महत्वपूर्ण नहीं है और कार्य को बिल्कुल प्रभावित नहीं करता है।
और हाँ, जब आप mdce चलाते हैं तो सबसे अधिक संभावना है कि इस तरह के संदेश होंगे:

 Setting permissions on LOGBASE C:\Windows\TEMP\MDCE\Log Setting permissions on CHECKPOINTBASE C:\Windows\TEMP\MDCE\Checkpoint Setting permissions on SECURITY_DIR C:\Windows\TEMP\MDCE\Checkpoint\security Unable to give the "Administrators" group full control for C:\Windows\TEMP\MDCE\Checkpoint\security You may need to manually give the "Administrators" group read and write access to this directory. Unable to give the "CREATOR OWNER" group full control for C:\Windows\TEMP\MDCE\Checkpoint\security You may need to manually give the "CREATOR OWNER" group read and write access to this directory. Unable to give the "Authenticated Users" group traversal rights for C:\Windows\TEMP\MDCE\Checkpoint\security You may need to manually give the "Authenticated Users" group traversal rights to this directory. 

मैं बस उन्हें अनदेखा करता हूं, क्योंकि वे क्लस्टर के स्वास्थ्य को प्रभावित नहीं करते हैं। सही स्थापना के बारे में लेख में धुरी की रूसी भाषा से संबंधित इन त्रुटियों के इलाज के लिए विधि का विस्तार से वर्णन किया गया है।

महत्वपूर्ण! श्रमिकों को बनाने के लिए व्यवस्थापक केंद्र का उपयोग करते समय, डेवलपर्स यह सुनिश्चित करने की सलाह देते हैं कि त्रुटियों के मामले में पोर्ट 7 खुला है।

शेड्यूलर बनाएँ

व्यवस्थापक केंद्र में, किसी भी जोड़े गए कंप्यूटर पर राइट-क्लिक करें और संदर्भ मेनू में स्टार्ट एमजेएस चुनें, या स्वयं व्यवस्थापक केंद्र विंडो में प्रारंभ पर क्लिक करें:



शेड्यूलर बनाने के बाद, इसी तरह प्रत्येक कंप्यूटर पर श्रमिकों को जोड़ें।
यह सब स्थानीय नेटवर्क पर एक क्लस्टर स्थापित करने के साथ है।

कंप्यूटिंग शुरू करो

क्लस्टर कंप्यूटिंग शुरू करने के लिए, आपको मास्टर पर मतलाब के स्थानीय संस्करण को चलाने और एक अनुसूचक को जोड़ने की आवश्यकता है। माउंटलाबा की मुख्य विंडो में, डिस्कवॉटर क्लस्टर पर क्लिक करें ...



फिर स्थानीय नेटवर्क पर पहले से बने अनुसूचक की खोज करें:



इसे जोड़ने के बाद, आपको समानांतर प्रोफ़ाइल की सेटिंग्स में श्रमिकों की संख्या का चयन करने की आवश्यकता है!



हम समानांतर वरीयताओं में जाते हैं और उन श्रमिकों की संख्या का चयन करते हैं जिनसे हमें जुड़ना चाहिए।


महत्वपूर्ण! यदि सेटिंग में श्रमिकों की संख्या व्यवस्थापक केंद्र में बनाए गए से कम है, तो गणना केवल निर्दिष्ट श्रमिकों की संख्या पर होगी। यही है, यदि आपने 20 वॉकर बनाए हैं, और सेटिंग्स में इसकी लागत 4 है, तो एडमिन सेंटर सूची में केवल पहले 4 काम करेगा। जिन श्रमिकों से आप जुड़े हुए हैं, उनकी स्थिति निष्क्रिय से व्यस्त में बदलनी चाहिए।
यदि श्रमिकों की उजागर संख्या सृजित से अधिक होगी - मतलाब बिना किसी त्रुटि के सभी मौजूदा श्रमिकों से जुड़ जाएगा।

किए गए कार्य के बाद, आप अपना कोड सुरक्षित रूप से चला सकते हैं, जिसे वर्तमान शेड्यूलर (क्लस्टर) के सभी श्रमिकों के बीच समानांतर किया जाएगा। (व्यक्तिगत रूप से, मैंने इसके लिए parfor लूप का इस्तेमाल किया, लेकिन अन्य कमांड भी हैं)
इस योजना का उपयोग 2 कमरों में किया जाता है और घर से टाइम-विंडो के माध्यम से मास्टर्स को दूरस्थ रूप से प्रशासित किया जाता है। दुर्भाग्य से, ये क्लस्टर आपस में जुड़े हुए नहीं हैं, क्योंकि इसके लिए पूरी तरह से कनेक्टेड नेटवर्क (प्रत्येक के साथ प्रत्येक) की आवश्यकता होती है, और मैं इतने सारे कंप्यूटरों के बीच एक वीपीएन सेट नहीं कर सका।

एक होम वीपीएन क्लस्टर बनाना

कई मायनों में, क्लस्टर की तैनाती पिछले वाले के समान थी, हालांकि, वीपीएन के उपयोग ने कई बाधाएं पैदा कीं। मैं एक तंबू के साथ लंबे नृत्य के बाद ही उनसे छुटकारा पाने में कामयाब रहा।
एक नेटवर्क होम कंप्यूटर और उसकी प्रेमिका के एक कंप्यूटर में एकजुट होने के लिए, कुख्यात हमाची का उपयोग किया गया था। वर्तमान संस्करण आपको 5 कारों को मुफ्त में नेटवर्क में जोड़ने की अनुमति देता है।

इसे सही कैसे करें:
सभी कंप्यूटरों पर हमाची स्थापित करें। उनमें से किसी पर एक वर्चुअल नेटवर्क बनाएं और सभी को इस नेटवर्क से जोड़ें। फिर से, फ़ायरवॉल बंद करें यदि यह ठीक नहीं है , तो सेवाओं और शेड्यूलर को शुरू करें ...
व्यवस्थापक केंद्र में कंप्यूटर जोड़ते समय, आपको उन्हें आईपी ​​पते से जोड़ना होगा, नाम से नहीं। यह महत्वपूर्ण है! कंप्यूटर-मास्टर, जो मतलाब के स्थानीय संस्करण से गणना चलाएगा, नाम से जोड़ा जाना चाहिए।
हमाची सेटिंग्स में, ट्रैफ़िक एन्क्रिप्शन, ट्रैफ़िक संपीड़न और ट्रैफ़िक फ़िल्टरिंग को अक्षम करें (मान सेट करें: सभी की अनुमति दें)। यह एकमात्र तरीका है जिससे मैं यह सुनिश्चित करने में सक्षम था कि सभी श्रमिकों को कनेक्टेड स्थिति मिले! इन कार्यों से पहले, श्रमिक बनाए गए थे, लेकिन उनकी स्थिति कनेक्ट करने में विफल रही थी।
सभी श्रमिकों को कनेक्टेड स्थिति प्राप्त होने के बाद, आप ऊपर वर्णित निर्देशों के अनुसार गणना सुरक्षित रूप से शुरू कर सकते हैं।

नोट। हमाची अच्छा है, लेकिन अस्थिर है, खासकर जब नेटवर्क सेटिंग्स के साथ प्रयोग करते हैं, इसलिए यदि आप अचानक समर्पित कंप्यूटर से कनेक्ट नहीं कर सकते हैं, तो मैं दोनों (मास्टर और जिस कंप्यूटर का कोई संबंध नहीं है) को फिर से शुरू करने की सलाह देता है, अगर यह मदद नहीं करता है, तो हमाची को पुनर्स्थापित करें।

हां, और एक बात और। Mdce सेवा, जिसे एक बार स्थापित किया गया है और चल रहा है, इसे बंद होने तक कंप्यूटर को चालू करने के साथ ही चालू किया जाएगा। हालांकि, कभी-कभी, जब नेटवर्क सेटिंग्स बदलते हैं और टकराव उत्पन्न होता है, तो मैं आपको सलाह देता हूं कि कमांड के साथ समस्या के समाधान के रूप में इस सेवा को फिर से शुरू करें:

 !mdce stop !mdce start 

परिणाम

इस प्रकार, इन सभी सूक्ष्मताओं पर काबू पाने के लिए, 3 कंप्यूटिंग क्लस्टर आयोजित किए गए, जो कि समयरेखा के माध्यम से, किसी भी समय किसी भी कंप्यूटर से दूरस्थ रूप से प्रशासित होते हैं। मुख्य बात - सभी कंप्यूटरों पर नींद और ऑटो बिजली बंद करना न भूलें!

एक बार फिर मैं 2 लेखों के लेखकों को धन्यवाद देना चाहता हूं जो ऊपर उपयोग किए गए थे। आपका धन्यवाद
वास्तव में, आपके प्रयासों के बिना, पुरुष कभी भी इन समूहों को उठाने में सक्षम नहीं होंगे!

मुझे उम्मीद है कि मेरा लेख उन लोगों की मदद करेगा जो एक कम्प्यूटेशनल मतलाब क्लस्टर बनाना चाहते थे, लेकिन नुकसान पर ठोकर खाई और ऐसा नहीं कर सके।

पुनश्च: यदि किसी को पता है कि खिड़कियों पर पूरी तरह से जुड़ा हुआ, मुफ्त वीपीएन कैसे बनाया जाए - कृपया प्रकाश डालें। यह कई वैज्ञानिकों को गंभीर वैज्ञानिक अनुसंधान के आयोजन और संचालन में मदद करेगा।

गुच्छों की तैनाती के साथ शुभकामनाएँ!

आपका ध्यान के लिए धन्यवाद!