स्काईफोर, या बॉट्स में लोड परीक्षण - सर्वर ऑर्डर। भाग 1

हेलो, हेब्र!
मेरा नाम अलेक्जेंडर अकबाशेव है। मैं Skyforge प्रोजेक्ट पर Allods टीम में एक QA इंजीनियर हूं। मेरी ज़िम्मेदारी में हमारे खेल के सर्वर के परीक्षण का संगठन शामिल है, और यह लेख सर्वर के परीक्षण के बारे में होगा। मई में, मैंने CWI में एक प्रस्तुति दी, जो दो-भाग वाले लेख में बदल गई। यह लेख उनमें से पहला है।

हवाई दृश्य देखें

स्काईफोर्ज तकनीकी स्टैक निम्नानुसार है: गेम क्लाइंट को C ++ में लिखा गया है, गेम सर्वर जावा में विकसित किया गया है, कई अलग-अलग उपयोगी उपयोगिताएं और स्क्रिप्ट पायथन में लिखे गए हैं। हमारे पास C # में डिज़ाइनर उपकरण भी हैं, लेकिन लेख में C # के बारे में एक शब्द भी नहीं होगा। :)

बॉट क्या हैं और उनकी आवश्यकता क्यों है?

ऑलोड्स ऑनलाइन परियोजना के विकास के दौरान, सर्वर टीम को एक गंभीर सवाल का सामना करना पड़ा: जटिल और लोड सर्वर परीक्षण कैसे करें? हमने इसके लिए बॉट लिखने का फैसला किया - एक स्टैंड-अलोन क्लाइंट एप्लिकेशन जो एक वास्तविक खिलाड़ी के व्यवहार का अनुकरण करता है। तब से, ज़ाहिर है, बहुत पानी बह चुका है। स्काईफॉर्ज में इस्तेमाल किए जाने वाले बॉट पहले से ही बहुत कम फ्रिल बॉट्स की तरह हैं। उनका उपयोग करके किए गए परीक्षणों का उद्देश्य और बुनियादी ढांचा भी विकसित हुआ: अब बॉट हमें विश्लेषण के लिए बड़ी संख्या में सर्वर विशेषताओं को प्राप्त करने में मदद करते हैं। यह इस तथ्य के कारण है कि हमारी परियोजना पर बॉट परीक्षण निरंतर एकीकरण की प्रक्रिया में शामिल हैं।

इस तरह के परीक्षण अधिकतम स्थिरता पर ध्यान देने के साथ तैयार किए गए हैं। यही है, अगर नियमित परीक्षण के दौरान कुछ खत्म हो गया, लेकिन कुछ भी गंभीर नहीं हुआ, तो परीक्षण जारी है। इसमें, हमारे बॉट परीक्षण यूनिट परीक्षणों से मौलिक रूप से भिन्न होते हैं, जो पहले छींक पर गिरना चाहिए। इसी समय, बॉट परीक्षण की मरम्मत करना कोई कम प्राथमिकता नहीं है।

बॉट क्या हैं?

हमारे बॉट्स को तथाकथित "व्हाइट बॉक्स विधि" द्वारा कार्यान्वित किया जाता है: C ++ में लिखे गए क्लाइंट में इंटरफ़ेस हटा दिया गया है, और इसके बजाय मस्तिष्क को जोड़ा गया है, C ++ में भी लिखा गया है। इसके अलावा, क्लाइंट और बॉट्स के लिए कॉमन कोड बेस क्लाइंट में ही निम्न-स्तरीय चीजों का परीक्षण करने की अनुमति देता है।

बॉट्स का "दिमाग" एक परिमित राज्य मशीन का उपयोग करके कार्यान्वित किया जाता है - कुछ शर्तों के तहत एक राज्य से दूसरे में संक्रमण का ग्राफ। बॉट्स में स्थायी सक्रिय तत्व होते हैं जो उस स्थिति की परवाह किए बिना कार्य करते हैं जिसमें बॉट और उसके "मस्तिष्क" अब हैं। वे समर्थन करते हैं, उदाहरण के लिए, बॉट और चैट गतिविधि की अमरता। आप एक व्यक्तिगत या सामान्य गेम चैट में बॉट्स के साथ मेल कर सकते हैं - वे हमेशा बैशॉर्ग से विभिन्न कहानियों को उद्धृत करते हुए, क्यूए टीम का नैतिक समर्थन करने के लिए तैयार हैं।

एक साधारण संक्रमण ग्राफ का एक उदाहरण: एक बॉट नक्शे पर दिखाई देता है, चलाता है, एक राक्षस को देखता है और उसे मारता है। अगर वहाँ ट्राफियां हैं - उठाता है, अगर नहीं - पर चलाता है।



अधिक लचीली सेटिंग्स के साथ परीक्षण के लिए, तथाकथित बॉट स्क्रिप्ट का उपयोग किया जाता है। वे हमें बॉट्स के वांछित व्यवहार को निर्धारित करने की अनुमति देते हैं: "मस्तिष्क" चुनें जिसे उपयोग करने की आवश्यकता है, उपस्थिति की जगह और शर्तें, चरित्र वर्ग, मंत्र, क्षमता, गतिविधि। यह उपयोगकर्ता का एक निश्चित चित्र बताता है, जो कि यह बॉट है। उसके बाद, यह परीक्षकों को लोड परीक्षण के पूरक या कुछ अन्य परीक्षण करने के लिए दिया जा सकता है।

बहुत शुरुआत में, बॉट का मुख्य फोकस प्रासंगिक भार उत्पन्न करना था। हालांकि, यह पता चला है कि बॉट का उपयोग अन्य दिशाओं में फायदेमंद है।

बॉट्स इतने उपयोगी होने के लिए, उन्हें दो बहुत महत्वपूर्ण आवश्यकताएं पूरी करनी चाहिए।

पहला व्यवहार की पर्याप्तता है। बॉट को खिलाड़ियों के व्यवहार से मेल खाना चाहिए। यदि यह पता चला कि बॉट गेम डिज़ाइन की आवश्यकताओं का अनुपालन नहीं करते हैं, तो आपको उन्हें ठीक करने की आवश्यकता है। उदाहरण के लिए, एक बॉट, एक निश्चित क्षेत्र में चल रहा है, एक ही स्थिति में एक असली खिलाड़ी के रूप में कई राक्षसों को मारना चाहिए।

दूसरी आवश्यकता प्रासंगिकता है। मान लीजिए कि आपने बॉट बनाए जो धनुष से शूट करते हैं और राक्षसों को एक बार में मार देते हैं। लेकिन दुष्ट गेम डिजाइनरों ने फैसला किया कि इस मामले में, एक धनुष के बजाय, एक रॉकेट लॉन्चर होना चाहिए जो एक समय में कई राक्षसों को चीरने के लिए स्मैश करता है। तदनुसार, इन आवश्यकताओं को पूरा करने के लिए बॉट को फिर से तैयार करना होगा, अन्यथा लोड और सामग्री अप्रासंगिक हो जाएगी।

टेस्ट हल करते हैं

परीक्षणों के साथ हमारे काम की शुरुआत में, मुख्य जोर लोड पर था। हमने मौजूदा बुनियादी ढांचे पर भार को अधिकतम करने और बॉट की सभी क्षमताओं का उपयोग करने की कोशिश की। तब सोचा नहीं था कि बॉट्स इतना लाभ ला सकते हैं। भविष्य में, हमने उन समस्याओं की तलाश शुरू की जिन्हें बॉट परीक्षणों के बुनियादी ढांचे के उपयोग से हल किया जा सकता है। उदाहरण के लिए, बॉट समूह गतिविधि के लिए जाँच में मदद करते हैं। परीक्षक समूह में एक बॉट जोड़ सकता है और एक समूह साहसिक कार्य पर जा सकता है। यह इस तरह की प्रक्रियाओं के सत्यापन की सुविधा प्रदान करता है।

सर्वर की जाँच

निरंतर एकीकरण के लिए धन्यवाद, दिन में कई बार हम सर्वर के नवीनतम संस्करण को इकट्ठा करते हैं। हालांकि, कोई निश्चितता नहीं है कि विधानसभा अच्छी थी या नहीं और इसका उपयोग किया जा सकता है या नहीं। परीक्षक हमेशा क्लाइंट को तुरंत अपडेट करने और नए बिल्ड को सत्यापित करने में सक्षम नहीं हो सकते हैं। ऐसा करने के लिए, अब धूम्रपान परीक्षण का उपयोग किया जाता है, जो बॉट का उपयोग करके नए निर्माण की जांच करता है। यह एक काफी सरल बॉट है: यह सर्वर पर जाता है, एक राक्षस की तलाश करता है और इसे मारता है। यदि सब कुछ सुचारू रूप से चला गया - सर्वर काम कर रहा है और आप उस पर खेल सकते हैं।

मुख्य परीक्षण का पूर्वाभ्यास

हमारे पास एक रात का परीक्षण है जिसमें 8 घंटे लगते हैं और आपको बहुत सारी मूल्यवान जानकारी एकत्र करने की अनुमति मिलती है। दुर्भाग्य से, परीक्षण की पुनरावृत्तियां बहुत महंगी हैं, और 5 मिनट में तय की जा सकने वाली त्रुटियों के कारण इस परीक्षण के प्रारंभ को याद नहीं करने के लिए, एक अलग दैनिक परीक्षण किया जाता है। यह कोड के एक ही संस्करण और रात के समान डेटा पर चलता है, लेकिन केवल एक घंटे के लिए। इस प्रकार, दिन के दौरान, रात के पूर्वाभ्यास का पूर्वाभ्यास किया जाता है। यदि आवश्यक हो, तो हम कार्य दिवस की समाप्ति से पहले विभिन्न त्रुटियों को ठीक करने का प्रबंधन करते हैं। प्रति घंटा परीक्षण को 99% से पारित करना रात परीक्षण के पारित होने की गारंटी देता है।

प्रति घंटा परीक्षणों का उपयोग विभिन्न परिकल्पनाओं के प्रयोग और परीक्षण के लिए भी किया जाता है। उदाहरण के लिए, यदि आप जावा मशीन में कुंजियों के साथ खेलना चाहते हैं, तो प्रति घंटा परीक्षण का उपयोग करें। आप कुंजी के दो सेट चला सकते हैं और तुलना कर सकते हैं। आप दो अलग-अलग एल्गोरिदम या कार्ड के दो अलग-अलग सेटों की तुलना भी कर सकते हैं।

सामग्री का सत्यापन

स्काईफोर्स कंटेंट काफी बड़ा है। हमारे पास खेल की दुनिया की बहुत सी वस्तुएं हैं। इसलिए, जब रात का परीक्षण शुरू होता है, तो यह हमेशा स्पष्ट नहीं होता है कि कौन से डिजाइन तत्व अतिरिक्त भार का कारण बनते हैं। यह हमेशा स्पष्ट नहीं होता है कि कार्ड के एक निश्चित सेट के साथ एक गेम-मैकेनिकल सर्वर पर सब कुछ ठीक है, और दूसरे पर और कार्ड के एक अलग सेट के साथ सब कुछ खराब है। क्या दोष देने के लिए कार्ड, खिलाड़ियों की संख्या या जीसी के चंद्रमा चरण है? नतीजतन, अलग कार्ड परीक्षण जोड़े गए थे। वे आपको बाँझ परिस्थितियों में खेल की तुलना करने की अनुमति देते हैं। उदाहरण के लिए, यदि हम तीन कार्ड लेते हैं और उन्हें कोड और डेटा के समान संस्करणों पर चलाते हैं, तो हमें अलग-अलग तुलनात्मक विशेषताओं और तापमान कार्ड मिलेंगे, जो बताते हैं कि महत्वपूर्ण स्थान कहाँ उत्पन्न हो सकते हैं। ये परीक्षण संभवत: सबसे उपयोगी हैं जो हमारे पास खेल सामग्री की रूपरेखा के लिए हैं।


तापमान मानचित्र का उदाहरण (पैमाने पर - बॉट्स में गणना की गई एक निश्चित प्रदर्शन रेटिंग)

इसके अलावा, हम बड़ी संख्या में विशेषताओं का विश्लेषण करने के लिए तापमान के नक्शे का उपयोग करते हैं जिसमें निर्देशांक होते हैं: पात्रों की मृत्यु, आसपास राक्षसों की संख्या, लड़ाई में राक्षसों की संख्या, आदि।

सबसे महत्वपूर्ण परीक्षण

हमारा पसंदीदा परीक्षण रात का बॉट परीक्षण है, जिसके दौरान सभी अंतिम सामग्री की जाँच की जाती है। यह रहता है, जैसा कि मैंने उल्लेख किया है, 8 घंटे से अधिक। यह मुख्य भार परीक्षण है, जिसके बारे में मैं अगले लेख में विस्तार से चर्चा करूंगा।

निष्कर्ष

जाहिर है, बॉट परीक्षण परियोजना के सभी तत्वों के जंक्शन पर काम करते हैं: सर्वर, क्लाइंट लॉन्च किए जाते हैं, संसाधन प्रणाली, डेटाबेस, मास्टर सर्वर, बिल्ड एजेंट का उपयोग किया जाता है ... और यदि इनमें से कम से कम एक तत्व टूट जाता है, तो पूरा परीक्षण विफल माना जा सकता है। पूरे सिस्टम को घड़ी की तरह काम करने के लिए महान प्रयास किए जाने चाहिए।

बॉट्स को बनाए रखना काफी मुश्किल है, लेकिन बेहद उपयोगी है। लेख के दूसरे भाग में मैं आपको बताऊंगा कि हमने बॉट परीक्षणों के आसपास कौन से बुनियादी ढांचे को तैनात किया है, सर्वर के मापदंडों की निगरानी की जाती है और वे किस बारे में बात करते हैं।

मुझे उम्मीद है कि यह ब्लॉग पोस्ट समुदाय के लिए दिलचस्प था। आपका ध्यान के लिए धन्यवाद!

स्लाइड्स और वीडियो

नीचे KRI-2013 सम्मेलन से वीडियो और स्लाइड हैं


स्लाइड शो

अन्य सामग्रियों को स्काईफोर डेवलपर्स वेबसाइट पर और हमारे Vkontakte समुदाय में देखा जा सकता है ।