समानांतर कम्प्यूटिंग का परिचय

मोटे तौर पर, एक समानांतर मशीन प्रोसेसर, मेमोरी और उनके बीच कुछ संचार विधियों का एक सेट है। यह आपके (नए नहीं) लैपटॉप, एक मल्टीप्रोसेसर सर्वर या, उदाहरण के लिए, एक क्लस्टर (सुपर कंप्यूटर) में एक दोहरे कोर प्रोसेसर हो सकता है। आप ऐसे कंप्यूटरों के बारे में कुछ नहीं जानते हैं, लेकिन आप जानते हैं कि वे क्यों बनाए जाते हैं: गति, गति और फिर से गति। हालांकि, गति केवल लाभ नहीं है।

इस तरह के एक उपकरण बनाने के गैर-तुच्छ कार्य को पूरा करने के बाद, डिजाइनरों और डेवलपर्स को अभी भी यह सोचना है कि इसे कैसे काम करना है। आखिरकार, एक नियम के रूप में, पुरानी, ​​एकल-प्रोसेसर एकल-थ्रेडेड मशीनों के लिए उपयोग की जाने वाली तकनीक और एल्गोरिदम उपयुक्त नहीं हैं।

सबसे आश्चर्य की बात यह है कि विश्वविद्यालयों को समानांतर कंप्यूटिंग में अध्ययन कार्यक्रमों का अनुवाद करने की कोई जल्दी नहीं है! हालांकि, आज आपको एक कोर के साथ एक कंप्यूटर खोजने की कोशिश करने की आवश्यकता है। मेरे मूल कैरलटन विश्वविद्यालय में, समानांतर कंप्यूटिंग पाठ्यक्रम कंप्यूटर साइंस के अनिवार्य बैचलर का हिस्सा नहीं हैं, और केवल उन लोगों के लिए उपलब्ध हैं जिन्होंने पहले तीन वर्षों के बुनियादी पाठ्यक्रम पूरे किए हैं। वितरित कंप्यूटिंग पाठ्यक्रम समान स्तर पर हैं, और कुछ भ्रमित हो सकते हैं।



अंतर क्या है? समानांतर कंप्यूटिंग में शामिल उपकरण, एक नियम के रूप में, एक भौतिक स्थान में स्थित है, वे बारीकी से जुड़े हुए हैं और उनके काम के सभी मापदंडों को प्रोग्रामर के लिए जाना जाता है। वितरित कंप्यूटिंग में, नोड्स के बीच कोई निकट निरंतर संबंध नहीं है, नाम के अनुसार, उन्हें एक निश्चित क्षेत्र में वितरित किया जाता है और इस प्रणाली के संचालन पैरामीटर गतिशील हैं और हमेशा ज्ञात नहीं होते हैं।

पिछली आधी सदी से सिखाई जाने वाली शास्त्रीय एल्गोरिदम अब समानांतर प्रणालियों के लिए उपयुक्त नहीं हैं। जैसा कि आप अनुमान लगा सकते हैं, समानांतर मशीन के लिए एक एल्गोरिथ्म को समानांतर एल्गोरिथम कहा जाता है। यह अक्सर किसी विशेष मशीन की वास्तुकला पर बहुत अधिक निर्भर करता है और इसके क्लासिक पूर्वज की तरह बहुमुखी नहीं है।

आप पूछ सकते हैं: आपको एक नई संरचना के साथ क्यों आना पड़ा, फिर नए एल्गोरिदम से अधिक ताकना, और क्या आप नियमित कंप्यूटर को गति देना जारी रख सकते हैं? सबसे पहले, एक सुपर-फास्ट प्रोसेसर बनाने का कोई तरीका नहीं है, जिसकी तुलना आधुनिक समानांतर सुपर-कंप्यूटर के साथ की जा सकती है; और अगर वहाँ हैं, तो इस पर बहुत सारे संसाधन खर्च किए जाएंगे। इसके अलावा, कई कार्य समानांतर मशीनों द्वारा अच्छी तरह से हल किए जाते हैं, मुख्य रूप से ऐसी संरचना के कारण! मौसम की तरह जटिल अराजक प्रणालियों की गणना, भौतिकी में प्राथमिक कणों की अंतःक्रियाओं का अनुकरण, नैनो स्तर पर मॉडलिंग (हाँ, नैनो टेक्नोलॉजी!), डेटा माइनिंग (जिसके बारे में हमारे पास साइट के बारे में एक ब्लॉग है ), क्रिप्टोग्राफी ... सूची आगे बढ़ती है।
प्रोग्रामर के लिए, समानांतर मशीन के अंत "उपयोगकर्ता" के रूप में, दो विकल्प संभव हैं: इसके समानांतर यह "दृश्यमान" हो सकता है, या यह नहीं हो सकता है। पहले मामले में, प्रोग्रामर कंप्यूटर की वास्तुकला पर आधारित कार्यक्रम लिखता है, इस विशेष मशीन के मापदंडों को ध्यान में रखता है। दूसरे में, प्रोग्रामर को पता नहीं हो सकता है कि वह एक गैर-शास्त्रीय कंप्यूटर का सामना कर रहा है, और उसके सभी शास्त्रीय तरीके सिस्टम की विचारशीलता के लिए धन्यवाद के साथ काम करने का प्रबंधन करते हैं।

यहाँ एक मल्टी-कोर प्रोसेसर का एक उदाहरण है - कई SUN UltraSPARC T1 / T2 का पसंदीदा:



8 कोर, प्रत्येक 4 (टी 1 के लिए) या 8 (टी 2 के लिए) हार्डवेयर थ्रेड्स का समर्थन करता है, जो सरल गुणा द्वारा हमें प्रोसेसर में 32/64 (क्रमशः) धागे देता है। सैद्धांतिक रूप से, इसका मतलब है कि ऐसा प्रोसेसर एक ही समय में एकल-थ्रेडेड प्रोसेसर के 32/64 कार्य कर सकता है। लेकिन, ज़ाहिर है, धाराओं और अन्य "आंतरिक रसोई" के बीच स्विच करने पर बहुत सारे संसाधन खर्च किए जाते हैं।

और यहाँ, उदाहरण के लिए, nVidia GeForce 9600 GT जैसी प्रसिद्ध सबसे अच्छे ग्राफिक्स इकाइयाँ, जिनमें बोर्ड पर 64 कोर हैं।



हाल के GPU में एक हजार कोर तक हैं! हम इस बारे में बात करेंगे कि ग्राफिक इकाइयों में कुछ समय बाद इतने कोर क्यों होते हैं। अब सुपर कंप्यूटर में समानतावाद पदानुक्रम के उदाहरण को देखें:



यह स्पष्ट है कि शक्तिशाली कंप्यूटरों का एक समूह टाइप करना कोई समस्या नहीं है। समस्या उन्हें एक साथ काम करने के लिए है, अर्थात, एक तेज नेटवर्क से कनेक्ट करने के लिए। अक्सर ऐसे समूहों में वे एक उच्च गति स्विच का उपयोग करते हैं और सभी कंप्यूटर बस एक तेज़ स्थानीय क्षेत्र नेटवर्क से जुड़ते हैं। यहाँ इस तरह, उदाहरण के लिए, हमारे विश्वविद्यालय में लागत:



256 कोर: 64 यूनिट, प्रत्येक 4 कोर 2.2 गीगाहर्ट्ज़ और 8 गीगाबाइट रैम। कनेक्शन फाउंड्री सुपरएक्स स्विच और एक गीगाबिट नेटवर्क का उपयोग करता है। OS - लिनक्स रॉक्स। स्विच अक्सर सबसे महंगा तत्व होता है: 64 बंदरगाहों पर एक त्वरित स्विच खोजने की कोशिश करें! यह समानांतर कंप्यूटर की सबसे बड़ी समस्याओं में से एक का एक उदाहरण है: सूचना विनिमय की गति। प्रोसेसर बहुत तेज़ हो गए हैं, और मेमोरी और बसें अभी भी धीमी हैं। हार्ड ड्राइव का उल्लेख नहीं करने के लिए - प्रोसेसर की तुलना में, वे पाषाण युग के उपकरण की तरह दिखते हैं!

वर्गीकरण

आइए अंत में समानांतर मशीनों के प्रकार का पता लगाएं। वे मेमोरी के प्रकार - साझा (साझा) या वितरित (वितरित) और नियंत्रण के प्रकार - SIMD और MIMD में भिन्न होते हैं। यह पता चला है, समानांतर मशीनों के चार प्रकार।

साझा की गई स्मृति

एक क्लासिक कंप्यूटर इस तरह दिखता है:



और कई प्रोसेसर के साथ इस सर्किट का विस्तार करने का सबसे स्पष्ट तरीका यह है:



एक ही प्रोसेसर के बजाय - कई, इसी तरह अधिक मेमोरी, लेकिन सामान्य रूप से - एक ही योजना। यह पता चला है कि सभी प्रोसेसर साझा मेमोरी साझा करते हैं और अगर प्रोसेसर 2 को कुछ जानकारी की आवश्यकता होती है जो प्रोसेसर 3 पर काम कर रहा है, तो यह उसी गति से साझा मेमोरी से प्राप्त करेगा।

यहाँ क्या क्वाड पेंटियम जैसा दिखता है:

वितरित की गई स्मृति

जैसा कि आप शायद खुद अनुमान लगाते हैं, इस मामले में प्रत्येक प्रोसेसर की अपनी मेमोरी होती है (मैं आपको याद दिलाता हूं कि यह प्रोसेसर की आंतरिक मेमोरी के बारे में नहीं है)।



एक उदाहरण ऊपर वर्णित क्लस्टर है: यह अनिवार्य रूप से अलग-अलग कंप्यूटरों का एक गुच्छा है, जिनमें से प्रत्येक की अपनी स्मृति है। इस स्थिति में, यदि प्रोसेसर (या कंप्यूटर) 2 को कंप्यूटर 3 से जानकारी की आवश्यकता है, तो इसमें अधिक समय लगेगा: आपको जानकारी का अनुरोध करने और इसे स्थानांतरित करने की आवश्यकता होगी (एक स्थानीय नेटवर्क पर क्लस्टर के मामले में)। नेटवर्क टोपोलॉजी सूचना विनिमय की गति को प्रभावित करेगा, इसलिए विभिन्न प्रकार के ढांचे विकसित किए गए हैं।

मन में आने वाला सबसे सरल विकल्प एक सरल द्वि-आयामी सरणी (जाल) है:



या एक घन:



इसी तरह की संरचना में आईबीएम ब्लू जीन है, जो प्रसिद्ध आईबीएम डीप ब्लू का वंशज है, जिसने शतरंज में एक व्यक्ति को हराया था। इसी तरह, क्योंकि वास्तव में ब्लू जीन एक घन नहीं है, लेकिन एक टोरस - चरम तत्व जुड़े हुए हैं:



वैसे, इसे जीन कहा जाता था, क्योंकि यह आनुवंशिक अनुसंधान में सक्रिय रूप से उपयोग किया जाता है।

एक और दिलचस्प संरचना जो किसी के सिर पर आनी चाहिए थी वह पेड़ है जिसे हर कोई पसंद करता है:



चूँकि बाइनरी ट्री की गहराई (या ऊँचाई) लोगन है, दो सबसे दूर के नोड्स से सूचनाओं का प्रसारण 2 * लोगन की दूरी को कवर करेगा, जो बहुत अच्छा है, लेकिन ऐसी संरचना अभी भी अक्सर उपयोग नहीं की जाती है। सबसे पहले, इस तरह के नेटवर्क को दो अलग-अलग सबनेट में विभाजित करने के लिए, एक तार को काटने के लिए पर्याप्त है (मिन-कट समस्या को याद रखें?) दो-आयामी सरणी के मामले में, आपको sqrt (n) तारों को काटने की आवश्यकता है! क्यूब को खुद गिनें। और दूसरी बात, बहुत अधिक ट्रैफ़िक रूट नोड के माध्यम से जाता है!

80 के दशक में चार आयामी हाइपरक्यूब लोकप्रिय थे:



ये जुड़े हुए कोने के साथ दो तीन आयामी क्यूब्स हैं। उन्होंने और भी अधिक आयाम के क्यूब्स का निर्माण किया, लेकिन अब वे लगभग कभी भी उपयोग नहीं किए जाते हैं, जिसमें शामिल हैं क्योंकि यह बहुत बड़ी संख्या में तार हैं!

सामान्य तौर पर, किसी समस्या को हल करने के लिए एक नेटवर्क का डिज़ाइन एक दिलचस्प विषय है। यहाँ, उदाहरण के लिए, तथाकथित ओमेगा नेटवर्क:



हमने स्मृति को समझा, अब प्रबंधन के बारे में।

SIMD बनाम MIMD

SIMD - सिंगे इंस्ट्रक्शन स्ट्रीम, मल्टीपल डेटा स्ट्रीम। केवल एक नियंत्रण नोड है, यह अन्य सभी प्रोसेसर को निर्देश भेजता है। प्रत्येक प्रोसेसर के पास ऑपरेशन के लिए अपना डेटा सेट है।
MIMD - मल्टीपल इंस्ट्रक्शन स्ट्रीम, मल्टीपल डेटा स्ट्रीम। प्रत्येक प्रोसेसर की अपनी नियंत्रण इकाई होती है, प्रत्येक प्रोसेसर विभिन्न निर्देशों को निष्पादित कर सकता है।

SIMD सिस्टम आमतौर पर विशिष्ट कार्यों के लिए उपयोग किया जाता है, आवश्यकता होती है, एक नियम के रूप में, कंप्यूटिंग शक्ति के रूप में कंप्यूटर की लचीलेपन और बहुमुखी प्रतिभा इतनी नहीं होती है। मीडिया प्रोसेसिंग, वैज्ञानिक अनुसंधान (समान सिमुलेशन और सिमुलेशन), या, उदाहरण के लिए, विशाल मैट्रिस के फूरियर रूपांतरण। इसलिए, ग्राफिक इकाइयों में कोर की ऐसी उग्र संख्या होती है: ये SIMD सिस्टम हैं, और आमतौर पर केवल एक "स्मार्ट" प्रोसेसर (जैसे कि आपके कंप्यूटर में) है: यह सरल और गैर-सार्वभौमिक कोर का एक गुच्छा प्रबंधित करता है।



चूंकि "नियंत्रण" प्रोसेसर सभी "काम करने वाले" प्रोसेसर को समान निर्देश भेजता है, ऐसे सिस्टम को प्रोग्रामिंग करने के लिए कुछ कौशल की आवश्यकता होती है। यहाँ एक सरल उदाहरण है:

if (B == 0)
then C = A
else C = A/B
प्रोसेसर मेमोरी की प्रारंभिक स्थिति है:



पहली पंक्ति पूरी हो गई है, डेटा की गणना की गई थी, अब दूसरी पंक्ति लॉन्च की गई है: फिर



उसी समय, दूसरा और तीसरा प्रोसेसर कुछ भी नहीं करते हैं, क्योंकि उनमें चर बी हालत फिट नहीं है। तदनुसार, तीसरी पंक्ति को आगे बढ़ाया जाता है, और इस बार अन्य दो प्रोसेसर "बाकी":



SIMD मशीनों के उदाहरण पुरानी ILLiac IV, MPP, DAP, कनेक्शन मशीन CM-1/2, आधुनिक वेक्टर इकाइयाँ, विशिष्ट कॉपीप्रोसेसर और nVidia GPU जैसी ग्राफिक इकाइयाँ हैं।

MIMD मशीनों में व्यापक कार्यक्षमता होती है, यही कारण है कि उनका उपयोग हमारे उपयोगकर्ता कंप्यूटरों में किया जाता है। यदि आपके लैपटॉप में कम से कम ड्यूल-कोर प्रोसेसर है, तो आप साझा मेमोरी के साथ MIMD मशीन के भाग्यशाली स्वामी हैं! वितरित मेमोरी MIMD आईबीएम ब्लू जीन जैसे सुपर कंप्यूटर हैं, जिनके बारे में हमने ऊपर या समूहों में बात की थी।

यहाँ संपूर्ण वर्गीकरण का सारांश दिया गया है:



इस पर, विषय का परिचय पूर्ण माना जा सकता है। अगली बार हम इस बारे में बात करेंगे कि समानांतर मशीनों की गति की गणना कैसे की जाती है, पुनरावृत्ति का उपयोग करके हमारा पहला समानांतर कार्यक्रम लिखें, इसे एक छोटे क्लस्टर में चलाएं और जानें कि इसकी गति और संसाधन खपत का विश्लेषण कैसे करें।