OpenMP अनुप्रयोग प्रदर्शन रूपरेखा

ओपनएमपी संभवतः थ्रेड पर समानांतर प्रोग्रामिंग का सबसे आम मॉडल है, साझा मेमोरी वाले सिस्टम पर। वे उच्च स्तरीय समानांतर निर्माणों के लिए उसकी सराहना करते हैं (प्रोग्रामिंग सिस्टम प्रवाह की तुलना में) और विभिन्न संकलक निर्माताओं द्वारा समर्थन करते हैं। लेकिन यह पोस्ट स्वयं OpenMP मानक के बारे में नहीं है, नेटवर्क पर इसके बारे में बहुत सारी सामग्रियां हैं।

प्रदर्शन के लिए ओपनएमपी पर समानांतर संगणना, जिसके बारे में, वास्तव में, लेख। विशेष रूप से, इंटेल VTune एम्पलीफायर XE के साथ प्रदर्शन को मापने के बारे में। अर्थात्, कैसे के बारे में जानकारी प्राप्त करने के लिए:

• संपूर्ण OpenMP एप्लिकेशन की प्रोफ़ाइल पुनर्प्राप्त करना
• चयनित समानांतर OpenMP क्षेत्रों की प्रोफाइल (CPU समय, हॉट फ़ंक्शंस आदि)
• एक अलग समानांतर OpenMP क्षेत्र के भीतर कार्य संतुलन
• समानांतर / सीरियल बैलेंस
• समानांतर कार्यों का ग्रैन्युलैरिटी स्तर
• थ्रेड के बीच सिंक्रनाइज़ेशन, विलंबता और नियंत्रण स्थानान्तरण

ओपनएमपी एप्लीकेशन प्रोफाइलिंग का शुभारंभ

OpenMP प्रोग्राम को प्रोफाइल करने के लिए, आपको VTune एम्पलीफायर XE 2013 अपडेट 4 या बाद के संस्करण की आवश्यकता होगी। एक एप्लिकेशन कम्पोज़र XE 2013 अपडेट 2 या उसके बाद के निर्माण के लिए बेहतर है। इंटेल या अन्य निर्माताओं (GCC और Microsoft OpenMP) से पुराने OpenMP कार्यान्वयन का विश्लेषण भी संभव है, लेकिन कम उपयोगी जानकारी एकत्र की जाएगी, क्योंकि VTune एम्पलीफायर XE उनके समानांतर क्षेत्रों को पहचानने में सक्षम नहीं होगा।

इस आलेख में वर्णित सभी चरण विंडोज और लिनक्स के लिए मान्य हैं। उपरोक्त उदाहरण लिनक्स पर परीक्षण किए गए थे।

यदि आपका कंपाइलर इंटेल कम्पोज़र XE 2013 SP1 से पुराना है, तो आपको पर्यावरण चर KMP_FORKJOIN_FRAMES 1 पर सेट करने की आवश्यकता है। यह वीटीएन एम्पलीफायर में ही "उपयोगकर्ता-परिभाषित पर्यावरण चर" डायलॉग प्रोजेक्ट गुणों में, या मैन्युअल रूप से किया जा सकता है:

# export KMP_FORKJOIN_FRAMES=1

समानांतर क्षेत्रों के साथ स्रोत फ़ाइलों के बारे में पूरी जानकारी प्राप्त करने के लिए, अपर-सोर्स-इन्फो = 2 विकल्प के साथ संकलन करें। मेरे उदाहरणों के लिए, मैंने इस तरह एक संकलन लाइन का उपयोग किया:

# icc -openmp -O3 -g -parallel-source-info=2 omptest.cpp work.cpp -o omptest

बाकी सब कुछ एक नियमित अनुप्रयोग के विश्लेषण से अलग नहीं होता है: हम वीटीएन एम्पलीफायर लॉन्च करते हैं, एक परियोजना बनाते हैं, हमारे आवेदन को निर्दिष्ट करते हैं और मुनाफा कमाते हैं:

पेश है OpenMP समानांतर क्षेत्र

OpenMP समानांतर क्षेत्रों को फ्रेम डोमेन के रूप में VTune एम्पलीफायर XE में दर्शाया गया है। फ़्रेम एक अनुप्रयोग के गैर-अतिव्यापी रन समय का एक क्रम है। यानी पूरे प्रोग्राम रन टाइम को चरणों में तोड़ना संभव है: उदाहरण के लिए, स्टेज 1 (आरंभीकरण), स्टेज 2 (कार्य), स्टेज 3 (पूर्णता)। इन चरणों को तीन फ्रेम द्वारा दर्शाया जा सकता है। फ़्रेम को अक्सर ग्राफिकल एप्लिकेशन में संदर्भित किया जाता है - विचार समान है, लेकिन वीटीएन एम्पलीफायर में एक फ्रेम की अवधारणा व्यापक है। फ़्रेम वैश्विक हैं और विशिष्ट थ्रेड्स से बंधे नहीं हैं।

प्रत्येक समानांतर OpenMP क्षेत्र को एक अलग फ्रेम डोमेन के रूप में दिखाया गया है। इसे सोर्स फाइल और लाइन नंबरों से पहचाना जाता है। एक डोमेन फ्रेम स्रोत कोड में एक क्षेत्र को दर्शाता है। इस क्षेत्र में हर चुनौती एक फ्रेम है। फ़्रेम - उनके पुनर्मिलन (सम्मिलित) के बिंदु के लिए थ्रेड्स (कांटा) के अलगाव (या प्रारंभ) के बिंदु से अवधि। फ़्रेम की संख्या थ्रेड्स की संख्या और कार्यों के आकार से संबंधित नहीं है।

नीचे दिए गए छद्म कोड में ओपनएमपी के दो समानांतर निर्माण हैं, दो क्षेत्र। उनमें से प्रत्येक को VTune एम्पलीफायर XE प्रोफ़ाइल में एक डोमेन फ़्रेम के रूप में पहचाना जाएगा, इसलिए दो डोमेन फ़्रेम होंगे:

 int main() { #pragma omp parallel for // frame domain #1, frame count: 1 for (int i=0; i < NUM_ITERATIONS; i++) { do_work(); } for (int j=0; j<4; j++) { #pragma omp parallel for // frame domain #2, frame count: 4 for (int i=0; i < NUM_ITERATIONS; i++) { do_work(); } } } 

पहले डोमेन फ्रेम को केवल एक बार कहा जाता है। इसलिए, फ़्रेम डोमेन # 1 में केवल 1 फ़्रेम होगा, भले ही समानांतर लूप के शरीर को 16 थ्रेड द्वारा तुरंत निष्पादित किया जाए। दूसरा समानांतर क्षेत्र (फ्रेम डोमेन # 2) लूप क्रमिक रूप से 4 बार से लॉन्च किया गया है। प्रत्येक पुनरावृत्ति के लिए, एक समानांतर निर्माण को शुरू किया जाता है, जिसमें थ्रेड्स की शुरुआत और समाप्ति होती है। इसलिए, फ़्रेम डोमेन # 2 में VTune एम्पलीफायर XE प्रोफ़ाइल में 4 फ़्रेम होंगे।

यदि प्रोग्राम Intel OpenMP रनटाइम का उपयोग करता है, तो समानांतर क्षेत्र पहचाने जाते हैं। वीटीएन एम्पलीफायर एक्सई के परिणामस्वरूप उन्हें देखने के लिए, नीचे-ऊपर टैब पर जाएं और "फ़्रेम डोमेन / फ़्रेम प्रकार ..." द्वारा समूहीकरण का चयन करें।



समानांतर OpenMP क्षेत्र और उनकी संबंधित थ्रेड गतिविधि को टास्क और फ्रेम्स टैब में भी देखा जा सकता है:

अनुक्रमिक क्षेत्र

हर समय, समानांतर क्षेत्रों के बाहर बिताए गए सीपीयू को एक फ्रेम डोमेन में इकट्ठा किया जाता है जिसे "[कोई फ्रेम डोमेन - किसी भी फ्रेम के बाहर]" नहीं कहा जाता है। इससे आप अपने कोड के अनुक्रमिक भाग का मूल्यांकन कर सकते हैं:

ओवरहेड और सक्रिय प्रतीक्षा (ओवरहेड और स्पिन समय)

ओपनएमपी में ओवरहेड समय थ्रेड मैनेजमेंट, कार्य वितरण, शेड्यूलिंग, सिंक्रोनाइज़ेशन आदि से संबंधित आंतरिक रनटाइम प्रक्रियाओं को निष्पादित करने में लगाया गया समय है। यह समय उपयोगी गणनाओं पर नहीं, बल्कि पुस्तकालय के आंतरिक कार्यों पर खर्च होता है। सक्रिय स्पिन समय - वह समय जो सीपीयू चल रहा है। यह हो सकता है, उदाहरण के लिए, यदि सिंक्रनाइज़ेशन ऑब्जेक्ट एक निष्क्रिय कॉल करता है, तो निष्क्रिय स्थिति में जाने के बजाय, यह प्रतीक्षा करते समय स्पिन करेगा। ओपनएमपी स्ट्रीम इस तरह से भी स्पिन कर सकते हैं, उदाहरण के लिए, सिंक्रोनाइज़ेशन बैरियर पर।

ओवरहेड और सक्रिय प्रतीक्षा को ज्ञात फ़ंक्शन नाम और कॉल अनुक्रमों द्वारा पकड़ा जाता है जो सीपीयू समय व्यतीत करते हैं। कुछ आंतरिक OpenMP फ़ंक्शन थ्रेड्स, कार्यों आदि को नियंत्रित करते हैं, इसलिए उनमें बिताया गया समय ओवरहेड से संबंधित है। सक्रिय प्रतीक्षा समय भी "मरोड़" को लागू करने वाले कार्यों से निर्धारित होता है।

ओवरहेड और सक्रिय प्रतीक्षा को इंटेल ओपनएमपी, जीसीसी और माइक्रोसॉफ्ट ओपनएमपी रनटाइम, इंटेल थ्रेडिंग बिल्डिंग ब्लॉक्स और इंटेल सिल्क प्लस के लिए परिभाषित किया गया है।

परिदृश्य 1: पूरी तरह से संतुलित समानांतर क्षेत्र

मेरे सरल उदाहरण में, लाइन 54 पर omptest.cpp में समानांतर क्षेत्र एक अच्छा मामला है। नीचे-ऊपर टैब को देखें, जिसे "फ़्रेम डोमेन / फ़्रेम प्रकार / फ़्रेम / थ्रेड / फ़ंक्शन / कॉल स्टैक" द्वारा समूहीकृत किया गया है:



डोमेन फ़्रेम में केवल एक फ़्रेम होता है, जिसका अर्थ है कि समानांतर क्षेत्र केवल एक बार कहा जाता था। तालिका में विवरण खोलने से 8 धागे दिखाई देते हैं। यह 4-कोर हाइपर थ्रेडिंग मशीन के लिए अच्छा है जिस पर परीक्षण आयोजित किया गया था। सीपीयू अच्छी तरह से भरा हुआ है (सीपीयू समय पट्टी का हरा रंग), सभी 8 धागे इस क्षेत्र में व्यस्त हैं और लगभग समान कार्य करते हैं। इस समानांतर क्षेत्र को समयरेखा पर चिह्नित किया गया है, जो सभी आठ थ्रेड्स के लिए उच्च सीपीयू उपयोग को भी दर्शाता है। इसका मतलब यह नहीं है कि सब कुछ सही है - उदाहरण के लिए, कैश मिस्ड या SIMD निर्देशों का अपर्याप्त उपयोग हो सकता है। लेकिन OpenMP धाराओं और कार्य संतुलन के साथ कोई समस्या नहीं पाई गई।

लाइन 54 पर उदाहरण से कोड:

 #pragma omp parallel for schedule(static,1) // line 54 for (int index = 0 ; index < oloops ; index++) { double *a, *b, *c, *at ; int ick ; a = ga + index*84 ; c = gc + index*84 ; fillmat (a) ; ick = work (a, c,gmask) ; if (ick > 0) { printf("error ick failed\n") ; exit(1) ; } } 

परिदृश्य 2: असंतुलित समानांतर क्षेत्र

लाइन 82 पर स्थित क्षेत्र इतना संतुलित नहीं है। यह उपलब्ध 8 में से केवल 4 थ्रेड्स का उपयोग करता है, शेष 4 प्रतीक्षा कर रहे हैं। यह प्रोसेसर लोड स्तर (लाल) में परिलक्षित होता है:



लाइन 82 पर कोड (बस हर दूसरे पुनरावृत्ति को बंद कर दिया गया):

 #pragma omp parallel for schedule(static,1) // line 82 for (int index = 0 ; index < oloops ; index++) { double *a, *b, *c, *at ; int ick ; if (index%2 == 0) { a = ga + index*84 ; c = gc + index*84 ; fillmat (a) ; ick = work (a, c, gmask) ; if (ick > 0) { printf("error ick failed\n") ; exit(1) ; } } } 

परिदृश्य 3: बारीकियों के मुद्दे

पिछले उदाहरणों में एक फ्रेम डोमेन और एक फ्रेम था। 147 क्षेत्र में कई फ़्रेम हैं:



इसका अर्थ है कि एक समानांतर क्षेत्र को कई बार कहा गया है। प्रत्येक फ़्रेम का CPU समय बहुत कम है - यह पॉप-अप विंडो में भी देखा जा सकता है जब आप समयरेखा में फ़्रेम पर होवर करते हैं। इससे पता चलता है कि ग्रैन्युलैरिटी बहुत अधिक है, इस अर्थ में कि हम अक्सर बहुत कम समानांतर ओपनएमपी क्षेत्र चलाते हैं। इससे हमें बहुत अधिक ओवरहेड और कम सीपीयू उपयोग मिलता है।

कोड १४ 147 पर:

 for (q = 0 ; q < LOOPS ; q++) { #pragma omp parallel for schedule(static,1) firstprivate(tcorrect) lastprivate(tcorrect) // line 147 for (int index = 0 ; index < oloops ; index++) { double *la, *lc; int lq,lmask ; la = ga + index*84 ; lc = gc + index*84 ; lq = q ; lmask = gmask ; ick = work1(ga, gc, lq,lmask) ; if (ick == VLEN) tcorrect++ ; } } 

परिदृश्य 4: सिंक ऑब्जेक्ट और टाइमआउट

एक सिंक्रनाइज़ेशन ऑब्जेक्ट पर प्रतीक्षा करना एक गंभीर प्रदर्शन अड़चन हो सकता है। अपने आवेदन में सिंक्रोनाइज़ेशन और अपेक्षाओं की पूरी तस्वीर के लिए, "ताले और कमर" विश्लेषण एकत्र करें। शुरू करने से पहले, नए विश्लेषण की सेटिंग में "उपयोगकर्ता कार्यों का विश्लेषण करें" और "इंटेल रनटाइम्स और उपयोगकर्ता सिंक्रनाइज़ेशन का विश्लेषण करें" चेकबॉक्स को सक्षम करें।

बॉटम-अप पैनल आपको टाइमआउट द्वारा क्रमबद्ध सिंक्रनाइज़ेशन ऑब्जेक्ट्स की एक सूची दिखाएगा:



VTune एम्पलीफायर XE OpenMP सिंक्रोनाइज़ेशन प्राइमेटिव्स को पहचान सकता है, जैसे कि omp महत्वपूर्ण निर्माण, या OpenMP रनटाइम के अंदर उपयोग किए जाने वाले सिंक्रनाइजेशन बैरियर। आप देख सकते हैं कि प्रतीक्षा में कितना समय व्यतीत होता है और इसे कैसे वितरित किया जाता है: कई छोटी अवधि की अपेक्षाएँ, या कई लंबी अपेक्षाएँ। VTune एम्पलीफायर XE इंगित करता है कि क्या धागा सक्रिय रूप से इंतजार कर रहा था (स्पिन प्रतीक्षा), या वास्तव में एक स्टैंडबाय राज्य में चला गया। समयरेखा संक्रमण की एक तस्वीर प्रदान करती है - ऊर्ध्वाधर पीली रेखाएं। उनमें से आप समझ सकते हैं कि किस प्रवाह ने सिंक्रोनाइज़ेशन ऑब्जेक्ट को इंटरसेप्ट किया, कितनी बार, किस तरह का ऑब्जेक्ट था, कब तक इंतजार किया, आदि।

लाइन 118 पर कोड:

 #pragma omp parallel for schedule(static,1) for (int index = 0 ; index < oloops ; index++) { #pragma omp critical (my_sync) // line 118 { double *a, *b, *c, *at ; int ick ; a = ga + index*84 ; c = gc + index*84 ; fillmat (a) ; ick = work (a, c,gmask) ; if (ick > 0) { printf("error ick failed\n") ; exit(1) ; } } } 

सारांश

Intel VTune एम्पलीफायर XE आपको OpenMP एप्लिकेशन के अंदर गहराई से देखने का अवसर देता है। आप सीरियल और समानांतर कोड के संतुलन का मूल्यांकन कर सकते हैं, और कार्यक्रम प्रत्येक समानांतर क्षेत्र में कैसे व्यवहार करता है। इंटेल वीप्यून एम्पलीफायर एक्सई आपको ओपनएमपी धाराओं, ग्रैन्युलैरिटी मुद्दों, ओवरहेड का अनुमान लगाने और समय के पैटर्न को समझने के बीच लोड संतुलन के साथ समस्याओं को खोजने में मदद कर सकता है। एक विशिष्ट OpenMP क्षेत्र के लिए प्रोसेसर के उपयोग पर विस्तृत आँकड़े बांधने से आप अपने आवेदन के व्यवहार को बेहतर ढंग से समझ पाएंगे। आप Intel OpenMP रनटाइम का उपयोग करके सबसे विस्तृत जानकारी प्राप्त कर सकते हैं, लेकिन अन्य कार्यान्वयन की रूपरेखा भी संभव है (GCC और Microsoft OpenMP)।