एक बड़ी परियोजना के विधानसभा का अनुकूलन

लगभग सभी डेवलपर्स वर्ष में कम से कम एक बार परियोजना के निर्माण समय को बढ़ाने की समस्या का सामना करते हैं। असेंबली एक तेज कार्य नहीं है, जो कि निरंतर पुनर्निर्माण और संबंधित गतिविधियों के साथ कंटीन्यूअस इंटीग्रेशन प्रैक्टिस का उपयोग करते समय विशेष रूप से अप्रिय है। लंबी असेंबली निरंतर एकीकरण के सभी लाभों को नकारती है, और कंप्यूटिंग शक्ति में एक साधारण वृद्धि हमेशा वांछित प्रभाव नहीं देती है।

एक बड़ी विषम परियोजना के विकास और आगे बढ़ने की प्रक्रिया में, हमने अनुकूलन समस्याओं का भी सामना किया। लेकिन विधानसभा समय को कम करने के तरीके होने चाहिए? हमने इस समस्या को हल करने का एक तरीका खोजने का फैसला किया। 60 सेकंड में ले लीजिए! ..



अंत में क्या हासिल करना संभव था, इस बारे में और हमारे विषय में चर्चा होगी।

शुरुआत

सफल परियोजना अनुकूलन की कुंजी इसका स्वचालन है। हमने प्रसिद्ध सीएमके स्वचालन प्रणाली का उपयोग किया, जिस पर, घर की नींव के रूप में, हमने विभिन्न तकनीकों का निर्माण किया।

यहाँ हम यात्रा की शुरुआत में क्या है:

• 176 प्रोजेक्ट्स C ++ और C # (लगभग 60% से 40% के अनुपात में);
• 100 एमबी स्रोत
• 18,000 फाइलें (> 3 मिलियन लाइनें);
• MSVS;
• सर्वर (8 CPU, 10 RAID RAID, 12 GB RAM पर नियमित डिस्क);
• आभासी मशीन।

यह सब 12 मिनट चल रहा था।

स्थैतिक विश्लेषण के परिणामों के आधार पर कोड का अनुकूलन करने के बाद, अनावश्यक #include निर्देशों को हटाने, निष्पादन योग्य मॉड्यूल, गतिशील और स्थिर पुस्तकालयों के पुनर्निर्माण, विधानसभा समय 8 मिनट तक कम हो गया था। इसके अलावा, हम निर्माण प्रक्रिया के अनुकूलन पर ध्यान केंद्रित करेंगे जब सभी संभावित कोड सुधार पहले से ही कार्यान्वित किए जाएंगे।

अधिकतम गति प्राप्त करने के लिए, हमने अनुकूलन के लिए दो तरीकों का उपयोग किया: हार्डवेयर और सॉफ्टवेयर। जैसा कि हम बाद में दिखाएंगे, पूर्व में उत्तरार्द्ध को बिल्कुल भी बाहर नहीं रखा गया है, लेकिन इसे पूरक करता है।

सॉफ्टवेयर विधि

विशिष्ट विधियाँ

इंटरनेट पर विशिष्ट VisualStudio अनुकूलन विधियों के बारे में बहुत कुछ लिखा गया है, तो चलो उन्हें पास करने में स्पर्श करें।

• / MP स्विच, जो आपको एक ही समय में कई संकलन प्रक्रियाएं चलाने की अनुमति देता है।
• / Z7 स्विच, जो डिबगिंग सूचना की पीढ़ी को निष्क्रिय करता है, जिसके परिणामस्वरूप तेज संकलन होता है।

अधिक रोचक तकनीक है जिसे यूनिटीबील्ड के नाम से जाना जाता है। यह सबसे प्रभावी सॉफ्टवेयर अनुकूलन विधियों में से एक है जो 30% से विधानसभा को तेज करता है। इस प्रक्रिया में, हमने इस तकनीक में थोड़ा सुधार किया और स्मार्ट यूनिटीबिल्ड के एक नए, बेहतर संस्करण का नाम दिया।

मानक तकनीक निम्नानुसार काम करती है: प्रत्येक परियोजना की प्रत्येक * .cmake फ़ाइल में, unity_build.cmake मॉड्यूल का उपयोग किया जाता है, जो सभी * .cpp फ़ाइलों वाले फ़ोल्डर को निर्देशित किया जाता है, उन्हें संसाधित करता है और उन्हें एक नई "सामान्य" * .cpp फ़ाइल में विलय कर देता है। इसके बाद, एक .vcproj फ़ाइल इस एकल * .cpp को मिलाकर बनाई गई है।

हमारा संस्करण उस तरह से काम नहीं करता है। कुछ मामलों में (विशेष रूप से, जब एक बड़ी परियोजना के साथ काम कर रहे हैं), एक आम * .cpp फ़ाइल बनाना सबसे अच्छा विकल्प नहीं है। इसलिए, हमने एक बड़े के बजाय कई फाइलें बनाने का फैसला किया।

योजनाबद्ध रूप से, यह इस तरह दिखता है:



नतीजतन, हमारी स्मार्ट यूनिटीबिल्ड तकनीक के उपयोग ने विधानसभा को 4 मिनट तक तेज कर दिया है। 40 सेकंड

यूनिटीबिल्ड + पीसीएच (इंक्रेडिब्यूल्ड)

जाहिर है, यूनिटीबील्ड तकनीक के साथ पीसीएच का उपयोग करना, जिसे हेड-ऑन कहा जाता है, कुछ भी नहीं करेगा। लेकिन फिर भी VisualStudio को बेवकूफ बनाने का एक तरीका है। ऐसा करने के लिए, आपको प्रोजेक्ट में उपयोग की गई फ़ाइलों को कृत्रिम रूप से कई बार (हमारे पास * .boost और * .spl) को एक अलग प्रोजेक्ट में स्थानांतरित करने की आवश्यकता है, इसमें से Precompiled Headers को इकट्ठा करें और VisualStudio के परिणामस्वरूप इसे मुख्य प्रोजेक्ट में डालें, यह "विचार" करेगा। ये असली PCH हैं। Precompiled Headers और एक LP कुंजी के साथ Unity Build तकनीक का उपयोग करके, आप बिल्ड समय में एक महत्वपूर्ण कमी प्राप्त कर सकते हैं: हमारे मामले में, 12 मिनट से। 4 मिनट तक 38 सेकंड (एलपी कुंजी के बिना - 5 मिनट। 53 सेकंड।)।

हार्डवेयर विधि

किसी परियोजना के विधानसभा समय को कम करना संभव है, न केवल विभिन्न प्रौद्योगिकियों के संयोजन। आप सर्वर हार्डवेयर को अनुकूलित करके भी इस प्रक्रिया को तेज कर सकते हैं।

SSD RAID0 x 7

बिल्ड समय के संदर्भ में सबसे अच्छा परिणाम RAID0- सरणी और रैमडिस्क में 7 एसएसडी डिस्क का उपयोग करके हासिल किया गया था: परियोजना की अवधि लगभग 6 मिनट थी।

32 सीपीयू एक्स 3 जीएचजेड

मानक समय मान (7 मिनट 45 सेकंड) की तुलना में गति में वृद्धि दो बार से अधिक है। हाइपर थ्रेडिंग तकनीक (3 मिनट 22 सेकंड) के साथ 32 प्रोसेसर का उपयोग देता है।

परिणाम

SSDs का उपयोग करने के लिए Visual Studio विकल्पों से सभी उपकरणों को जोड़कर, हम परियोजना के निर्माण समय को 12 मिनट से 1 मिनट तक कम करने में सक्षम थे। 45 सेकंड इस प्रकार, घोषित लक्ष्य - 60 सेकंड पूरा करने के लिए - अधूरा रह गया, लेकिन हम परेशान नहीं थे :) परियोजना को 6 से अधिक बार असेंबल करने पर खर्च किए गए समय को कम करना एक अच्छा परिणाम है।

यहाँ हमारी परियोजना की निर्माण प्रगति है:



आरेख से पता चलता है कि कई गुना अधिक गति की उपलब्धि कई समय लेने वाली प्रक्रियाओं में बाधा है। यह बड़े मॉड्यूल के लिए एक कड़ी है, जिसे समानांतर करना असंभव है (केवल आंशिक रूप से एमएसवीएस 2012 में ऐसा करने का प्रयास है), लेकिन आप उन्हें प्रोग्रामिक रूप से कई छोटे में तोड़ सकते हैं, स्थिर पुस्तकालयों की संख्या और आकार को कम कर सकते हैं।

वह, वास्तव में, सब है। हमारा लक्ष्य अपारदर्शिता को गले लगाना नहीं था, और अनुकूलन के कुछ तकनीकी पहलुओं को लेख में शामिल नहीं किया गया था। हम विवरणों का खुलासा करने और टिप्पणियों में सभी सवालों के जवाब देने के लिए तैयार हैं। आपका ध्यान के लिए धन्यवाद!

PS इस विषय में व्यक्त विचार नवंबर 2012 में सीईई-एसईसीआर सम्मेलन में प्रस्तुत की गई प्रस्तुति का आधार बने, जो विक्टर स्ट्रेलकोव (अनुसंधान और गुणवत्ता नियंत्रण प्रमुख, सकारात्मक प्रौद्योगिकियां) थे। इस प्रदर्शन के प्रसारण की रिकॉर्डिंग इवेंट की वेबसाइट पर देखी जा सकती है।