CUDA वास्तुकला का एक नया दौर

सभी को नमस्कार!
अप्रैल की शुरुआत में, मैंने nVidia से एक नए वीडियो कार्ड की घोषणा देखी, जिसमें नई प्रमुख सूचकांक गणना क्षमता - 3.0 थी। चश्मा का सावधानीपूर्वक अध्ययन करने के बाद, मुझे आश्चर्य हुआ - ऐसा प्रतीत हुआ कि अब ब्रांचिंग के सबसे बुरे परिणाम होंगे: प्रदर्शन में बड़ा नुकसान। मुझे पसंद आया कि संस्करण से संस्करण तक, शाखाएं कभी भी छोटी भूमिका निभाती हैं, और केप्लर इस संबंध में एक कदम पीछे लग रहा था। मेरे दिमाग से मुझे एहसास हुआ कि यह शायद ही संभव था और थोड़ा इंतजार करने का फैसला किया।
और इस हफ्ते मुझे नए केप्लर आर्किटेक्चर की चक्की पर एक व्हाइटपेपर मिला और बहुत कुछ स्पष्ट किया।

शुरुआत

प्रारंभ में, यह लेख केवल उन लोगों के लिए कल्पना की गई थी जो विषय में हैं, लेकिन सिर्फ मामले में, मैं समझाऊंगा कि CUDA में कौन सी गणना क्षमता है।
इसलिए, एनवीडिया अब 5 साल के लिए सामान्य कंप्यूटिंग के लिए ग्राफिक्स कार्ड विकसित कर रहा है। यह कहने के लिए नहीं कि इससे पहले GPU पर भरोसा करना असंभव था, लेकिन ऐसा करना एक सामान्य व्यक्ति के लिए बहुत असुविधाजनक था। 2007 में, वीडियो कार्ड के आधार पर कंप्यूटिंग डिवाइस (CUDA) के लिए एक सार्वभौमिक वास्तुकला प्रस्तावित किया गया था। इसने हमें वास्तुकला की मुख्य विशेषताओं को बनाए रखते हुए, उपकरणों की शक्ति को बड़े पैमाने पर बढ़ाने की अनुमति दी। यही है, प्रोसेसर की संख्या और स्मृति की मात्रा लगातार बढ़ रही है, लेकिन उन प्राचीन काल से सतह / साझा / वैश्विक / बनावट और रजिस्टरों में स्मृति के विभाजन को संरक्षित किया गया है (सतह और कैश की एक जोड़ी भी एसएस 2.0 के साथ दिखाई दी, लेकिन यह एक और गीत है)।
हालांकि, कुछ भी स्थिर नहीं है और वास्तुकला और आदेशों का सेट समय के साथ बदलता है - कभी-कभी महत्वपूर्ण रूप से, कभी-कभी बहुत नहीं। यहाँ, समान वास्तुकला वाले GPU के परिवारों को प्रदर्शित करने के लिए, Compute Capability (CC) के संस्करणों को परिभाषित किया गया था। उदाहरण के लिए: CC 1.0 वाले उपकरण सामान्य रूप से परमाणु संचालन करने में सक्षम नहीं थे, CC 1.1 के साथ वे वैश्विक मेमोरी में कर सकते हैं, और CC 1.2 के साथ वे वैश्विक और साझा दोनों कर सकते हैं। पारंपरिक रूप से CUDA C प्रोग्रामिंग गाइड के अंत में विभिन्न SS की विशेषताओं की एक पूरी सूची प्रदान की जाती है।

केप्लर हमें क्या लाएगा?

सबसे पहले, एक बड़ा नया मल्टीप्रोसेसर। यदि पहले के मल्टीप्रोसेसर में 8 (CC 1.x), 32 (CC 2.0) या 48 (CC 2.1) स्ट्रीम प्रोसेसर थे, तो केप्लर 192 प्रोसेसर के लिए एक नई चिप का उपयोग करता है। अन्य विशेषताएं भी प्रभावशाली हैं:

	FERMI GF100	फेरमी GF104	KEPLER GK104	KEPLER GK110
सीसी संस्करण	2.0	2.1	3.0	3.5
Warp'e में स्ट्रीम	32	32	32	32
ताना प्रति व्यक्ति की संख्या बहुप्रोसेसर	48	48	64	64
मल्टीप्रोसेसर के धागे	1536	1536	2048	2048
मल्टीप्रोसेसर ब्लॉक	8	8	16	16
32-बिट रजिस्टर प्रति मल्टीप्रोसेसर	32768	32768	65536	65536
रजिस्टर / स्ट्रीम की अधिकतम संख्या	63	63	63	255
साझा स्मृति कॉन्फ़िगरेशन	16K 48K	16K 48K	16K 32K 48K	16K 32K 48K
एक्स अक्ष पर अधिकतम ग्रिड आकार	2 ^ 16-1	2 ^ 16-1	2 ^ 16-1	2 ^ 32-1
हाइपर - क्यू	नहीं	नहीं	नहीं	वहाँ है
गतिशील संगति	नहीं	नहीं	नहीं	वहाँ है

इस प्लेट से क्या निष्कर्ष निकाला जा सकता है? ताना का आकार समान रहा है, और यह गूंज रहा है। मुख्य बात जिससे मैं डरता था, वह ताने के आकार में वृद्धि थी, जिससे ब्रांचिंग के दौरान अनावश्यक डाउनटाइम हो जाएगा। लेकिन सब कुछ इतना रसपूर्ण नहीं है। अब आपको रजिस्टर के साथ और भी अधिक सावधान रहने की आवश्यकता है - एसएमएक्स लोड को अधिकतम करने के लिए (एक साथ लोड किए गए ब्लॉक / थ्रेड्स की संख्या से) आपको और भी कम उपयोग करने की आवश्यकता है ... दूसरी तरफ, आर्किटेक्चर आपको प्रति स्ट्रीम 255 रजिस्टरों को स्टोर करने की अनुमति देता है, और यदि डाक पहले काम किया है, तो "पुनर्गणना करने के लिए बेहतर है" स्टोर करने की तुलना में, "अब यह इतना आसान नहीं है।" इस प्रकार, अनुकूलन पथ में हमारे पास एक और कांटा है - आप गणना के परिणामों को एक स्ट्रीम में संग्रहीत कर सकते हैं, लेकिन फिर कम ब्लॉक एसएमएक्स पर फिट होंगे और संभवतः रैम के पढ़ने / लिखने के लिए डाउनटाइम होगा।
तुम भी लापरवाही से नोटिस कर सकते हैं कि डबल सटीक गणना और विशेष। फ़ंक्शंस (पाप, कॉस, आदि) अब तेजी से निष्पादित किए जाएंगे और यह प्रसन्न होता है।
दूसरा उल्लेखनीय नवाचार नया ताना अनुसूचक है । प्रत्येक मल्टीप्रोसेसर के लिए 4 स्केड्यूलर होते हैं और उनमें से प्रत्येक प्रति चक्र में 2 ताना निर्देशों को निष्पादित करने में सक्षम होता है। संक्षेप में, एक दिलचस्प छोटी सी बात। सुनिश्चित करें कि शाखा ताना के अंदर अधिकतम 2 रास्ते हैं)
आगे की समझ से बाहर की बातें:
डायनेमिक पैरेलिज्म - अंत में मुझे समझ नहीं आया कि यह कैसे काम करेगा, लेकिन ऐसा लगता है कि थ्रेड्स नए ग्रिड लॉन्च करने में सक्षम होंगे ... आइए देखें कि यह कैसे होगा। ऐसा लगता है कि जल्द ही केवल I / O होस्ट पर होगा, और बाकी सब कुछ GPU पर लॉन्च किया जा सकता है, क्योंकि कर्नेल के प्रबंधन की क्षमता है।
GPUDirect - अब आप होस्ट के बिना सीधे एक जीपीयू से दूसरे में डेटा ले और ट्रांसफर कर सकते हैं। और नेटवर्क पर भी। जब तक मैं इसे नहीं देख लेता, तब तक मुझे विश्वास नहीं हुआ। यह बहुत अच्छा लगता है।
सभी प्रकार की अच्छी छोटी चीजें:

• शफल निर्देश - एक ब्लॉक में थ्रेड्स के बीच डेटा का आदान-प्रदान करने का एक नया तरीका। यदि आप एक अलग साझा मेम का चयन करने और उस तक पहुंच को नियंत्रित करने के लिए बहुत आलसी हैं, तो हम एक स्थानीय चर लेते हैं और इसे स्ट्रीम से स्ट्रीम में जोड़ते हैं।
• दोहरी सटीकता के साथ परमाणु संचालन । खैर, एक जोड़े को जोड़ा। मुख्य बात - वे 9 बार तक त्वरण का वादा करते हैं!
• नया केवल डेटा कैश पढ़ें। F1 में L1 और L2 डेटा कैश दिखाई दिए, और केप्लर में आप डेटा को केवल पढ़ने के लिए चिह्नित कर सकते हैं (

  const __restrict 

  ) ताकि संकलक उन्हें इस नए कैश में भर दें। और इससे पहले, मैंने इसके लिए डेटा को बनावट में भर दिया। हाँ।
• बेहतर L2 कैश। सबसे पहले, यह 2 गुना बड़ा हो गया है, और दूसरी बात, इस तक पहुंच 2 गुना तेज है।
• हाइपर-क्यू, ग्रिड मैनेजमेंट यूनिट - फर्मी अब एक ही बार में कई कार्यों को चलाने की क्षमता रखती है। लेकिन ये 2 प्रौद्योगिकियां आपको इसे सही तरीके से करने की अनुमति देती हैं, लेकिन वे हार्डवेयर स्तर पर काम करते हैं और हम इसे केवल GPU के अधिक पूर्ण लोडिंग से नोटिस करेंगे।

और अंत में, बहुत ही शांत - एनवीडिया ने इंजीनियरों के एक जोड़े की आत्माओं को ऊर्जा देवताओं को बेच दिया और अब जीटीएक्स 680 डब्ल्यू / एफएलओपीएस की गणना से समान फर्मी से कम खाने का वादा करता है। अच्छा, यह अच्छा है, है ना? कम से कम पुराने 280 स्टोव बाहर फेंक दें। और फिर उन्हें 130 डिग्री तक गरम किया जाता है और उन्हें उनके लिए आरक्षित में 1.5 किलोवाट आवंटित करना पड़ता था।

निष्कर्ष

संक्षेप में, मैं आपके बारे में नहीं जानता, लेकिन मैं नए केप्लर की प्रतीक्षा कर रहा हूँ! मुझे अभी पता नहीं है कि क्या GPU SS 3.5 के साथ दो कंप्यूटर प्राप्त करना संभव होगा - इसलिए मैं GPUDirect महसूस कर सकता हूं। अगर किसी के पास है - मुझे इसे छूने दो, ठीक है?