उच्च निष्पादन कम्प्यूटिंग: समस्याएं और समाधान

कंप्यूटर, यहां तक ​​कि व्यक्तिगत भी, अधिक जटिल होते जा रहे हैं। इतनी देर पहले, मेज पर गुलजार बॉक्स में सब कुछ सरल था - उच्च आवृत्ति, जितना अधिक प्रदर्शन। अब, सिस्टम मल्टी-कोर, मल्टी-प्रोसेसर बन गए हैं, विशेष त्वरक उनमें दिखाई दिए हैं, कंप्यूटर तेजी से क्लस्टर हो रहे हैं।
क्यों? इस विविधता को कैसे समझें?
SIMD, SMP, GPGPU और अन्य डरावने शब्दों का क्या अर्थ है?
मौजूदा उत्पादकता प्रौद्योगिकियों की प्रयोज्यता की सीमाएं क्या हैं?

परिचय

ऐसी मुश्किलें क्यों हैं?

कंप्यूटर क्षमता तेजी से बढ़ रही है और हर समय ऐसा लगता है कि सब कुछ, मौजूदा गति, सब कुछ के लिए पर्याप्त है।
लेकिन नहीं - बढ़ती उत्पादकता आपको उन समस्याओं को हल करने की अनुमति देती है जो आप पहले नहीं कर सकते थे। घरेलू स्तर पर भी, ऐसे कार्य हैं जो आपके कंप्यूटर को लंबे समय तक लोड करेंगे, जैसे कि होम वीडियो एन्कोडिंग। उद्योग और विज्ञान में ऐसे और भी कार्य हैं: विशाल डेटाबेस, आणविक गतिशीलता गणना, जटिल तंत्रों के मॉडलिंग - कार, जेट इंजन, इन सभी के लिए गणना की बढ़ती शक्ति की आवश्यकता होती है।
पिछले वर्षों में, माइक्रोप्रोसेसर तत्वों के आकार को कम करके, मुख्य उत्पादकता वृद्धि प्रदान की गई थी। उसी समय, बिजली की खपत गिर गई और ऑपरेटिंग आवृत्तियों में वृद्धि हुई, कंप्यूटर तेज और तेज हो गए, संरक्षण, सामान्य शब्दों में, उनकी वास्तुकला। Microcircuits के उत्पादन के लिए प्रक्रिया प्रौद्योगिकी बदल रही थी और मेगाहर्ट्ज़ गीगाहर्ट्ज़ में बढ़ी, उपयोगकर्ताओं को बढ़ी हुई उत्पादकता के साथ प्रसन्न करती है, क्योंकि अगर मेगा एक मिलियन है, तो गीगा पहले से ही एक अरब ऑपरेशन प्रति सेकंड है।
लेकिन, जैसा कि आप जानते हैं, स्वर्ग या तो हमेशा के लिए नहीं है या सभी के लिए नहीं है, और इतनी देर पहले यह कंप्यूटर की दुनिया में समाप्त नहीं हुआ था। यह पता चला कि आप आवृत्ति को और अधिक नहीं बढ़ा सकते हैं - रिसाव की धाराएं बढ़ रही हैं, प्रोसेसर ओवरहीटिंग कर रहे हैं और इसे बाईपास नहीं किया जा सकता है। आप निश्चित रूप से, शीतलन प्रणाली विकसित कर सकते हैं, पानी के रेडिएटर्स का उपयोग कर सकते हैं, या उन्हें तरल नाइट्रोजन के साथ पूरी तरह से ठंडा कर सकते हैं - लेकिन यह प्रत्येक उपयोगकर्ता के लिए उपलब्ध नहीं है, केवल सुपर कंप्यूटर या टेक्नो मैनक के लिए। और किसी भी शीतलन के साथ, विकास की संभावना छोटी थी, लगभग दो बार उच्च के रूप में, जो कि उन उपयोगकर्ताओं के लिए अस्वीकार्य था जो ज्यामितीय उपयोग के लिए उपयोग किए गए थे।
ऐसा लगता था कि मूर का कानून, जिसके अनुसार ट्रांजिस्टर और संबंधित कंप्यूटर प्रदर्शन की संख्या हर डेढ़ से दो साल में दोगुनी हो जाएगी, लागू होने के लिए बंद हो जाएगा।
यह सोचने और प्रयोग करने का समय है, गणना की गति बढ़ाने के सभी संभावित तरीकों को याद करते हुए।

प्रदर्शन सूत्र

सबसे सामान्य प्रदर्शन सूत्र लें:



हम देखते हैं कि प्रति सेकंड निष्पादित निर्देशों की संख्या में उत्पादकता को मापा जा सकता है।
हम प्रक्रिया को और अधिक विस्तार से वर्णन करेंगे, वहां घड़ी की आवृत्ति का परिचय देंगे:



प्राप्त कार्य का पहला भाग प्रति घड़ी निष्पादित किए गए निर्देशों की संख्या (IPC, निर्देश प्रति घड़ी) है, दूसरा प्रोसेसर इकाइयों की संख्या प्रति यूनिट समय, घड़ी की गति है।
इस प्रकार, उत्पादकता बढ़ाने के लिए, आपको या तो घड़ी की आवृत्ति बढ़ाने या प्रति चक्र निष्पादित निर्देशों की संख्या बढ़ाने की आवश्यकता है।
क्योंकि आवृत्ति विकास बंद हो गया है, निष्पादन योग्य निर्देशों की संख्या "एक बार में" बढ़ाना आवश्यक है।

समानता को चालू करें

प्रति चक्र निष्पादित निर्देशों की संख्या कैसे बढ़ाएं?
जाहिर है, समानांतर में, एक समय में कई निर्देशों को निष्पादित करना। लेकिन यह कैसे करें?
यह सब आपके द्वारा चलाए जा रहे प्रोग्राम पर निर्भर करता है।
यदि एक प्रोग्रामर को प्रोग्रामर द्वारा सिंगल-थ्रेडेड लिखा जाता है, जहां सभी निर्देशों को क्रमिक रूप से निष्पादित किया जाता है, एक के बाद एक, तो प्रोसेसर (या संकलक) को "एक व्यक्ति के लिए सोचना" होगा और प्रोग्राम के समानांतर भागों की तलाश करनी होगी जिन्हें एक साथ निष्पादित किया जा सकता है।

निर्देश स्तर संगामिति

चलो एक सरल कार्यक्रम लेते हैं:
a = 1
b = 2
c = a + b

पहले दो निर्देश समानांतर में किए जा सकते हैं, केवल तीसरा उन पर निर्भर करता है। तो - पूरे कार्यक्रम को दो चरणों में पूरा किया जा सकता है, और तीन में नहीं।
एक प्रोसेसर जो स्वतंत्र रूप से स्वतंत्र और परस्पर विरोधी निर्देशों को निर्धारित कर सकता है और उन्हें समानांतर में निष्पादित कर सकता है, सुपरस्लेकर कहलाता है ।
आधुनिक प्रोसेसर के बहुत सारे, जिसमें नवीनतम x86 - सुपरस्लेकर प्रोसेसर शामिल हैं, लेकिन एक और तरीका है: प्रोसेसर को सरल बनाने और संकलक को समानांतरता प्रदान करने के लिए। इसी समय, प्रोसेसर "बैच" में आदेशों को निष्पादित करता है कि प्रोग्राम कंपाइलर इसके लिए तैयार है, प्रत्येक ऐसे "बंडल" में - निर्देशों का एक सेट जो एक दूसरे से स्वतंत्र हैं और समानांतर में निष्पादित किया जा सकता है। इस वास्तुकला को वीएलआईडब्ल्यू (बहुत लंबा निर्देश शब्द - "बहुत लंबी मशीन निर्देश") कहा जाता है , इसके आगे के विकास को ईपीआईसी (स्पष्ट रूप से समानांतर निर्देश कंप्यूटिंग) कहा जाता है - माइक्रोप्रोसेसर आर्किटेक्चर कमांडों के स्पष्ट समानांतरवाद के साथ)
इस वास्तुकला के साथ सबसे प्रसिद्ध प्रोसेसर इंटेल इटेनियम हैं।
प्रति चक्र निष्पादित निर्देशों की संख्या बढ़ाने के लिए एक तीसरा विकल्प है, यह हाइपर थ्रेडिंग तकनीक है। इस तकनीक में, सुपरस्लेकर प्रोसेसर एक थ्रेड के निर्देशों को समानांतर नहीं करता है, लेकिन कई (आधुनिक प्रोसेसर में - दो) समानांतर धागे के आदेश।
यानी शारीरिक रूप से, प्रोसेसर कोर एक है, लेकिन जब एक कार्य प्रोसेसर शक्ति का उपयोग किया जाता है, तो दूसरे को प्रदर्शन करने के लिए इस्तेमाल किया जा सकता है। ऑपरेटिंग सिस्टम हाइपर थ्रेडिंग तकनीक के साथ एक प्रोसेसर (या एक प्रोसेसर कोर) को दो स्वतंत्र प्रोसेसर के रूप में देखता है। लेकिन वास्तव में, निश्चित रूप से, हाइपर थ्रेडिंग वास्तविक दो स्वतंत्र प्रोसेसर से भी बदतर काम करता है। इस पर कार्य आपस में कंप्यूटिंग शक्ति के लिए प्रतिस्पर्धा करेंगे।

निर्देश स्तर पर कॉनएरेमेन्टल तकनीकें 90 के दशक में और 2000 के दशक की पहली छमाही में सक्रिय रूप से विकसित हुईं, लेकिन अब उनकी क्षमता लगभग समाप्त हो गई है। आप आदेशों को पुनर्व्यवस्थित कर सकते हैं, रजिस्टर का नाम बदल सकते हैं, और अन्य अनुकूलन का उपयोग कर सकते हैं, सीरियल कोड से समानांतर निष्पादन अनुभागों का चयन कर सकते हैं, लेकिन निर्भरता और शाखाएं आपको कोड को स्वचालित रूप से समानांतर करने की अनुमति नहीं देंगे। निर्देश स्तर पर कंसीडर अच्छा है क्योंकि इसमें मानवीय हस्तक्षेप की आवश्यकता नहीं है - लेकिन यह भी बुरा है: जब तक कोई व्यक्ति माइक्रोप्रोसेसर की तुलना में अधिक स्मार्ट होता है, उसे सही समानांतर कोड लिखना होगा।

डेटा लेवल कॉनसेरी

वेक्टर प्रोसेसर

हमने पहले से ही स्केलरिटी का उल्लेख किया है, लेकिन स्केलर के अलावा, एक वेक्टर है, और सुपरस्लेकर प्रोसेसर के अलावा, वेक्टर हैं।
वेक्टर प्रोसेसर पूरे डेटा एरेज़, वैक्टर पर किसी तरह का ऑपरेशन करते हैं। अपने "शुद्ध" रूप में, वेक्टर प्रोसेसर 80 के दशक में वैज्ञानिक कंप्यूटिंग के लिए सुपर कंप्यूटर में उपयोग किए गए थे।
फ्लिन के वर्गीकरण के अनुसार, वेक्टर प्रोसेसर SIMD के होते हैं - (एकल निर्देश, एकाधिक डेटा - एकल निर्देश धारा, एकाधिक डेटा स्ट्रीम) ।
वर्तमान में, x86 प्रोसेसर ने कई वेक्टर एक्सटेंशन लागू किए हैं - ये MMX, 3DNow!, SSE, SSE2, आदि हैं।
उदाहरण के लिए, SSE का उपयोग करके एक कमांड के साथ चार जोड़े संख्याओं को गुणा करने जैसा दिखता है:

float a[4] = { 300.0, 4.0, 4.0, 12.0 };
float b[4] = { 1.5, 2.5, 3.5, 4.5 };
__asm {
movups xmm0, a ; // 4 a xmm0
movups xmm1, b ; // 4 b xmm1
mulps xmm1, xmm0 ; // : xmm1=xmm1*xmm0
movups a, xmm1 ; // xmm1 a
};


इस प्रकार, लगातार चार स्केलर गुणा के बजाय, हमने केवल एक ही काम किया - वेक्टर।
वेक्टर प्रोसेसर डेटा की बड़ी मात्रा में गणना में तेजी ला सकते हैं, लेकिन उनका दायरा सीमित है, और निश्चित सरणियों पर विशिष्ट संचालन हर जगह लागू हैं।
हालाँकि, कंप्यूटिंग वेक्टराइजेशन की दौड़ अभी खत्म नहीं हुई है - इसलिए नवीनतम इंटेल प्रोसेसर में एक नया वेक्टर एक्सटेंशन AVX (एडवांस्ड वेक्टर एक्सटेंशन)
लेकिन वे अब बहुत अधिक दिलचस्प लगते हैं

GPUs

आधुनिक वीडियो कार्ड में प्रोसेसर की सैद्धांतिक प्रसंस्करण शक्ति पारंपरिक प्रोसेसर की तुलना में बहुत तेजी से बढ़ रही है (NVIDIA से प्रसिद्ध चित्र देखें)

बहुत पहले नहीं, इस शक्ति को CUDA / OpenCL का उपयोग करके सार्वभौमिक उच्च-प्रदर्शन कंप्यूटिंग के लिए अनुकूलित किया गया था।
ग्राफिक प्रोसेसर की वास्तुकला (GPGPU, GPU पर सामान्य प्रयोजन संगणना - एक वीडियो कार्ड के माध्यम से सार्वभौमिक गणना) पहले से ही माना गया SIMD के करीब है।
इसे SIMT कहा जाता है - (एकल निर्देश, एकाधिक थ्रेड, एक निर्देश - एकाधिक थ्रेड) । जैसा कि SIMD में, डेटा सरणियों के साथ संचालन किया जाता है, लेकिन स्वतंत्रता की बहुत अधिक डिग्री हैं - संसाधित डेटा के प्रत्येक सेल के लिए आदेशों का एक अलग थ्रेड काम करता है।
परिणामस्वरूप
1) समानांतर में, सैकड़ों डेटा कोशिकाओं पर सैकड़ों ऑपरेशन किए जा सकते हैं।
2) प्रत्येक थ्रेड में कमांड का एक मनमाना अनुक्रम निष्पादित होता है; यह विभिन्न कोशिकाओं को संदर्भित कर सकता है।
३) शाखा लगाना संभव है। इस मामले में, हालांकि, केवल उसी संचालन के अनुक्रम वाले थ्रेड्स को समानांतर में निष्पादित किया जा सकता है।

कुछ कार्यों पर GPGPUs प्रभावशाली परिणाम प्राप्त करते हैं। लेकिन ऐसी मूलभूत सीमाएँ हैं जो इस तकनीक को सार्वभौमिक जीवन रक्षक बनने की अनुमति नहीं देती हैं, अर्थात्
1) आप डेटा के अनुसार GPU पर केवल अच्छी तरह से समानांतर कोड में तेजी ला सकते हैं।
2) GPU अपनी स्वयं की मेमोरी का उपयोग करता है। GPU मेमोरी और कंप्यूटर मेमोरी के बीच डेटा ट्रांसफर करना काफी महंगा है।
3) बड़ी संख्या में शाखाओं के साथ एल्गोरिथ्म अक्षम रूप से GPU पर काम करते हैं

Multiarhitektury-

तो, हम पूरी तरह से समानांतर आर्किटेक्चर में आए हैं - स्वतंत्र रूप से कमांड और डेटा दोनों में समानांतर।
फ्लिन के वर्गीकरण में, यह MIMD (मल्टीपल इंस्ट्रक्शन स्ट्रीम, मल्टीपल डेटा स्ट्रीम - मल्टीपल कमांड स्ट्रीम, मल्टीपल डेटा स्ट्रीम) है।
ऐसी प्रणालियों की पूर्ण शक्ति का उपयोग करने के लिए, बहु-थ्रेडेड कार्यक्रमों की आवश्यकता होती है, उनके निष्पादन को कई माइक्रोप्रोसेसरों पर "बिखरे हुए" किया जा सकता है और इस तरह आवृत्ति में वृद्धि के बिना उत्पादकता में वृद्धि प्राप्त होती है। सुपर कंप्यूटर में कई मल्टीथ्रेडिंग तकनीकों का लंबे समय से उपयोग किया जा रहा है, अब वे सामान्य उपयोगकर्ताओं के लिए "स्वर्ग से नीचे" चले गए हैं और एक बहु-कोर प्रोसेसर अपवाद की तुलना में अधिक संभावना है। लेकिन मल्टी-कोर एक रामबाण से दूर है।

गंभीर कानून, लेकिन यह कानून है

समानांतरवाद घड़ी की गति सीमा के आसपास प्राप्त करने का एक अच्छा तरीका है, लेकिन इसकी अपनी सीमाएं हैं।
सबसे पहले, यह Amdahl का नियम है , जो बताता है
विभिन्न प्रकार के कैलकुलेटर पर अपने निर्देशों को समानांतर करके कार्यक्रम निष्पादन में तेजी लाने के लिए इसके अनुक्रमिक निर्देशों को निष्पादित करने के लिए आवश्यक समय तक सीमित है।

कोड त्वरण सूत्र के अनुसार प्रोसेसर और कोड समानता की संख्या पर निर्भर करता है



दरअसल, समानांतर निष्पादन का उपयोग करके हम केवल समानांतर कोड के निष्पादन समय को तेज कर सकते हैं।
किसी भी कार्यक्रम में, समानांतर कोड के अलावा, लगातार खंड होते हैं और यह प्रोसेसर की संख्या में वृद्धि करके उन्हें तेज करने के लिए काम नहीं करेगा, केवल एक प्रोसेसर उन पर काम करेगा।

उदाहरण के लिए, यदि अनुक्रमिक कोड का निष्पादन पूरे कार्यक्रम के निष्पादन समय का केवल 25% लेता है, तो 4 से अधिक बार इस कार्यक्रम को तेज करना विफल हो जाएगा।
आइए, समानांतर कंप्यूटिंग प्रोसेसर की संख्या पर हमारे कार्यक्रम के त्वरण की निर्भरता के एक ग्राफ का निर्माण करें। अनुक्रमिक कोड के 1/4 और सूत्र में 3/4 समानांतर में, हम प्राप्त करते हैं


दुखी है बस ऐसे ही।
हजारों प्रोसेसर और मेमोरी के टेराबाइट्स के साथ दुनिया का सबसे तेज सुपरकंप्यूटर हमारे प्रतीत होता है यहां तक ​​कि अच्छा (75%!) समानांतर कार्य, एक नियमित डेस्कटॉप क्वाड के मुकाबले दोगुना से भी कम।
और यह इस आदर्श मामले से भी बदतर है। वास्तविक दुनिया में, समानता की लागत कभी भी शून्य के बराबर नहीं होती है, और इसलिए, जब अधिक से अधिक प्रोसेसर जोड़े जाते हैं, तो प्रदर्शन कुछ बिंदु से शुरू होने से गिरावट शुरू हो जाएगी।
लेकिन फिर कैसे आधुनिक, बहुत मल्टी-कोर सुपर कंप्यूटर की शक्ति का उपयोग किया जाता है?
कई एल्गोरिदम में, समानांतर कोड का निष्पादन समय संसाधित किए जा रहे डेटा की मात्रा पर अत्यधिक निर्भर है, जबकि सीरियल कोड का निष्पादन समय नहीं है। जितना अधिक डेटा आपको संसाधित करने की आवश्यकता है, समानांतर प्रसंस्करण से अधिक से अधिक लाभ। इसलिए, एक सुपर कंप्यूटर पर डेटा की बड़ी मात्रा में "ड्राइविंग", हमें अच्छा त्वरण मिलता है।
उदाहरण के लिए, एक सुपरकंप्यूटर पर 3 * 3 मैट्रिसेस को गुणा करते हुए, हम सामान्य सिंगल-प्रोसेसर संस्करण के साथ अंतर को नोटिस करने की संभावना नहीं रखते हैं, लेकिन आकार में 1000 * 1000 के मैट्रिसेस को गुणा करना पहले से ही मल्टी-कोर मशीन पर पूरी तरह से उचित होगा।
इस तरह के एक सरल उदाहरण है: 1 महीने में 9 महिलाएं एक बच्चे को जन्म नहीं दे सकती हैं। यहां काम नहीं करता है। लेकिन 9 महीने में एक ही 81 महिलाएं जन्म दे सकती हैं (हम अधिकतम दक्षता लेते हैं!) 81 बच्चों को, यानी हम बढ़ी हुई समानता से अधिकतम सैद्धांतिक उत्पादकता प्राप्त करते हैं, प्रति माह 9 बच्चे या, औसतन, 9 महिलाओं के लिए प्रति माह एक ही बच्चा ।
बड़े कंप्यूटर में बड़े काम होते हैं!

मल्टीप्रोसेसर

मल्टीप्रोसेसर एक कंप्यूटर सिस्टम है जिसमें कई प्रोसेसर होते हैं और एक जो सभी प्रोसेसर को दिखाई देता है। पता स्थान।
मल्टीप्रोसेसर स्मृति के साथ काम के संगठन में भिन्न होते हैं।

साझा मेमोरी सिस्टम

ऐसी प्रणालियों में, कई प्रोसेसर (और प्रोसेसर कैश) में एक ही भौतिक रैम तक पहुंच होती है। इस तरह के मॉडल को अक्सर सममित मल्टीप्रोसेसिंग (एसएमपी) कहा जाता है। इस तरह के सिस्टम डिजाइन में मेमोरी तक पहुंच को यूएमए (यूनिफॉर्म मेमोरी एक्सेस) कहा जाता है। कोई भी प्रोसेसर किसी भी मेमोरी लोकेशन को एक्सेस कर सकता है और इस एक्सेस की स्पीड मेमोरी एड्रेस पर निर्भर नहीं करती है। हालांकि, प्रत्येक माइक्रोप्रोसेसर अपने स्वयं के कैश का उपयोग कर सकता है।

कई प्रोसेसर कैश सबसिस्टम आमतौर पर एक बस के माध्यम से साझा मेमोरी से जुड़े होते हैं

आइए तस्वीर को देखें।
हमारे साथ क्या अच्छा है?
कोई भी प्रोसेसर सभी मेमोरी को एक्सेस करता है और यह सभी उसी तरह से काम करता है। इस तरह के सिस्टम के लिए प्रोग्रामिंग किसी भी अन्य मल्टी-आर्किटेक्चर की तुलना में आसान है। बुरी खबर यह है कि सभी प्रोसेसर बस के माध्यम से मेमोरी तक पहुंचते हैं, और प्रसंस्करण कोर की संख्या में वृद्धि के साथ, इस बस का थ्रूपुट जल्दी से एक अड़चन बन जाता है।
एक सिरदर्द और सिरदर्द को सुनिश्चित करने की समस्या को जोड़ता है।

कैश का सामंजस्य

मान लीजिए कि हमारे पास एक मल्टीप्रोसेसर कंप्यूटर है। प्रत्येक प्रोसेसर का अपना कैश है, ठीक है, जैसा कि ऊपर दिए गए आंकड़े में है। कुछ प्रोसेसरों को कुछ मेमोरी सेल पढ़ने दें - और यह उनके कैश में आ गया। यह ठीक है जब तक यह सेल अपरिवर्तित है - यह तेज कैश से पढ़ा जाता है और किसी तरह गणना में उपयोग किया जाता है।
यदि, प्रोग्राम के परिणामस्वरूप, प्रोसेसर में से एक इस मेमोरी सेल को बदल देता है, ताकि कोई मिसमैच न हो, ताकि अन्य सभी प्रोसेसर इस अपडेट को "देखें", तो आपको सभी प्रोसेसर के कैश की सामग्री को बदलना होगा और किसी तरह उन्हें इस अपडेट के लिए धीमा करना होगा।
यदि डेस्कटॉप कंप्यूटर की तरह कोर / प्रोसेसर की संख्या 2 है, तो अच्छा है, लेकिन अगर यह 8 या 16 है? और अगर वे सभी एक बस के माध्यम से डेटा का आदान-प्रदान करते हैं?
प्रदर्शन में नुकसान बहुत महत्वपूर्ण हो सकता है।

मल्टी कोर प्रोसेसर

टायर पर भार कैसे कम करें?
सबसे पहले, आप सुसंगतता सुनिश्चित करने के लिए इसका उपयोग करना बंद कर सकते हैं। ऐसा करने का सबसे आसान तरीका क्या है?
हाँ, हाँ, साझा कैश का उपयोग करें। यह कैसे सबसे आधुनिक मल्टी-कोर प्रोसेसर काम करता है।

आइए तस्वीर को देखें, हम पिछले एक से दो अंतर पाएंगे।
हां, कैश अब क्रमशः सभी के लिए एक है, सुसंगतता की समस्या इसके लायक नहीं है। और सर्कल आयतों में बदल गए, यह इस तथ्य का प्रतीक है कि सभी कोर और कैश एक ही चिप पर हैं। वास्तव में, तस्वीर कुछ अधिक जटिल है, कैश बहु-स्तरीय हैं, कुछ सामान्य हैं, कुछ नहीं हैं, उनके बीच संचार के लिए एक विशेष बस का उपयोग किया जा सकता है, लेकिन सभी वास्तविक मल्टी-कोर प्रोसेसर कैश सुसंगतता सुनिश्चित करने के लिए बाहरी बस का उपयोग नहीं करते हैं, जिसका अर्थ है कि वे उस पर लोड को कम करते हैं।
मल्टी-कोर प्रोसेसर आधुनिक कंप्यूटर के प्रदर्शन को बेहतर बनाने के मुख्य तरीकों में से एक हैं।
छह परमाणु प्रोसेसर पहले से ही उत्पादित किए जा रहे हैं, भविष्य में और भी अधिक कोर होंगे ... सीमाएं कहां हैं?
सबसे पहले, प्रोसेसर की "परमाणुता" गर्मी रिलीज द्वारा सीमित होती है, एक क्रिस्टल में एक साथ अधिक ट्रांजिस्टर संचालित होते हैं, जितना अधिक यह क्रिस्टल गर्म होता है, उतना ही मुश्किल होता है ठंडा करना।
और दूसरी बड़ी सीमा फिर से बाहरी बस की बैंडविड्थ है। कई कोर को पीसने के लिए बहुत अधिक डेटा की आवश्यकता होती है, बस की गति काफी कम हो जाती है, आपको एसएमपी को पक्ष में छोड़ना होगा

NUMA

NUMA (नॉन-यूनिफ़ॉर्म मेमोरी एक्सेस - या नॉन-यूनिफ़ॉर्म मेमोरी आर्किटेक्चर - नॉन-यूनिफ़ॉर्म मेमोरी आर्किटेक्चर) - एक आर्किटेक्चर, जिसमें एक कॉमन एड्रेस स्पेस के साथ, मेमोरी एक्सेस की गति उसके स्थान पर निर्भर करती है: आमतौर पर प्रोसेसर "स्वयं" मेमोरी है, जिस तक पहुंच तेज है और "विदेशी", जिस तक पहुंच धीमी है।
आधुनिक प्रणालियों में, यह कुछ ऐसा दिखता है



प्रोसेसर एक तेज बस के माध्यम से मेमोरी और एक दूसरे से जुड़े हुए हैं, एएमडी के मामले में यह हाइपर ट्रांसपोर्ट है, नवीनतम इंटेल प्रोसेसर के मामले में यह क्विकपथ इंटरकनेक्ट है
क्योंकि सभी के लिए कोई सामान्य बस नहीं है, जब "आपकी" मेमोरी के साथ काम करना सिस्टम में एक अड़चन होना बंद हो जाता है।
NUMA आर्किटेक्चर काफी कुशल मल्टीप्रोसेसर सिस्टम बनाने की अनुमति देता है, और आधुनिक प्रोसेसर की मल्टी-कोर प्रकृति को देखते हुए, हम पहले से ही बहुत गंभीर कंप्यूटिंग शक्ति "एक पैकेज में" प्राप्त करते हैं, मुख्य रूप से प्रोसेसर और मेमोरी के इस भ्रम के कैश सुसंगतता को सुनिश्चित करने की जटिलता से सीमित है।
लेकिन अगर हमें और भी अधिक शक्ति की आवश्यकता है, तो हमें कई मल्टीप्रोसेसर को संयोजित करना होगा

multicomputer

एक मल्टीकोम्प्यूटर साझा मेमोरी के बिना एक कंप्यूटिंग सिस्टम है, जिसमें बड़ी संख्या में इंटरकनेक्टेड कंप्यूटर (नोड) होते हैं, जिनमें से प्रत्येक की अपनी मेमोरी होती है। जब एक सामान्य कार्य पर काम करते हैं, तो मल्टीकॉम्प्यूटर नोड्स एक दूसरे को संदेश भेजकर बातचीत करते हैं।
कई विशिष्ट भागों से निर्मित आधुनिक मल्टीकॉमपैक को कंप्यूटिंग क्लस्टर कहा जाता है।
अधिकांश आधुनिक सुपर कंप्यूटरों को क्लस्टर आर्किटेक्चर पर बनाया गया है, वे एक तेज नेटवर्क (गिगाबिट ईथरनेट या इनफिनिबैंड) का उपयोग करके कई कंप्यूटिंग नोड्स को जोड़ते हैं और विज्ञान के आधुनिक विकास में अधिकतम संभव कंप्यूटिंग शक्ति प्राप्त करना संभव बनाते हैं।
उनकी शक्ति को सीमित करने वाली समस्याएं भी बड़ी हैं।
यह है:
1) समानांतर में चलने वाले हजारों कंप्यूटिंग प्रोसेसर के साथ एक सिस्टम प्रोग्रामिंग
2) विशाल बिजली की खपत
3) जटिलता को मौलिक अविश्वसनीयता के लिए अग्रणी

इसे सब साथ लाएं

ठीक है, हम संक्षेप में शक्तिशाली कंप्यूटिंग सिस्टम के निर्माण के लगभग सभी प्रौद्योगिकियों और सिद्धांतों पर चले गए।
अब एक आधुनिक सुपर कंप्यूटर की संरचना की कल्पना करना संभव है।
यह एक बहु-कंप्यूटर क्लस्टर है, जिसका प्रत्येक नोड एक NUMA या SMP सिस्टम है जिसमें कई प्रोसेसर हैं, प्रत्येक प्रोसेसर कई कोर के साथ है, प्रत्येक कोर सुपरस्क्लेर आंतरिक समानता और वेक्टर एक्सटेंशन की संभावना के साथ है। इन सब के अलावा, कई सुपर कंप्यूटरों में GPGPU त्वरक स्थापित हैं।
इन सभी प्रौद्योगिकियों के फायदे और सीमाएं हैं, आवेदन में सूक्ष्मताएं हैं।
और अब कुशलतापूर्वक डाउनलोड करने और इस सभी भव्यता को प्रोग्राम करने की कोशिश करें!
कार्य तुच्छ नहीं है ... लेकिन बहुत दिलचस्प है।
आगे कुछ आएगा?

जानकारी के स्रोत

सुपर कंप्यूटर टेक्नोलॉजीज के समानांतर कम्प्यूटिंग इंटरनेट विश्वविद्यालय की मूल बातें
समांतर कोश पर फ्लिन का वर्गीकरण
मल्टीप्रोसेसर, उनके मेमोरी संगठन और इंटेल और एएमडी द्वारा कार्यान्वयन
कंप्यूटिंग प्रणाली के प्रदर्शन को बढ़ाने के तरीके के रूप में मल्टी-कोर
विकिपीडिया और इंटरनेट

पुनश्च यह पाठ उच्च-प्रदर्शन कंप्यूटिंग के क्षेत्र से प्रौद्योगिकियों के बारे में आपके सिर की जानकारी को सुलझाने और व्यवस्थित करने के प्रयास के रूप में पैदा हुआ था। गलतियां और त्रुटियां संभव हैं, मैं टिप्पणियों और टिप्पणियों के लिए बहुत आभारी रहूंगा।