🖐️ 🧑🏾‍🤝‍🧑🏼 ⛈️ Yandex.Tank और लोड परीक्षण स्वचालन 👩🏾‍⚖️ 😸 💩

पॉजिटिव टेक्नोलॉजीज के कुछ उत्पादों के परीक्षण के दौरान, एक वेब सेवा के त्वरित तनाव परीक्षणों का संचालन करना आवश्यक हो गया। ये परीक्षण सरल और त्वरित रूप से विकसित होने चाहिए थे, जो हार्डवेयर संसाधनों के लिए अनिच्छुक थे और साथ ही एक ही प्रकार के HTTP अनुरोधों का एक महत्वपूर्ण भार देते हैं, साथ ही साथ लोड के तहत प्रणाली के विश्लेषण के लिए आंकड़े प्रदान करते हैं।

उन्हें कार्यान्वित करने के लिए, हमने कई उपकरणों का पता लगाया और उनका परीक्षण किया, जिनमें से Apache JMeter और LogSniper स्क्रिप्ट थी जिसे हमने पायथन में लिखा था, जिसने लक्ष्य के लिए HTTP अनुरोधों के साथ पहले से तैयार सर्वर लॉगों को फिर से प्रदर्शित किया।

परीक्षण तैयार करने और आयोजित करने, लोड बेंच के प्रदर्शन के लिए उच्च आवश्यकताओं और बल्कि छोटी भार क्षमताओं के कारण जेएममीटर के उपयोग को छोड़ने का निर्णय लिया गया था, हालांकि इन कमियों की भरपाई आंकड़ों की उच्च सूचना सामग्री द्वारा की गई थी। उत्पन्न लोड की कम शक्ति के कारण LogSniper को अस्वीकार कर दिया गया था और यहां पर लोड HTTP पैकेट को तैयार करने की सरलता भी कम नहीं हो सकती थी। अन्य प्रसिद्ध उपकरण, एक कारण या किसी अन्य के लिए, हमारे लिए उपयुक्त नहीं थे।

परिणामस्वरूप, हम Yandex.Tank टूल पर आकर बस गए, जिसके बारे में हमें पता चला जब हमने YAC-2013 सम्मेलन में आए और Yandex विशेषज्ञों के साथ बात की। यह उपकरण पूरी तरह से परीक्षण की तैयारी की सादगी और उत्पन्न भार के लिए हमारी सभी आवश्यकताओं को पूरा करता है।

यह क्या है

Yandex.Tank एक लोड परीक्षण उपकरण है, जिसे Yandex द्वारा विकसित और LGPL लाइसेंस के तहत वितरित किया गया है। उपकरण उच्च-प्रदर्शन अतुल्यकालिक प्रेत लोड जनरेटर पर आधारित है: इसे उसी नाम के वेब सर्वर से फिर से बनाया गया था, जिसे क्लाइंट मोड में काम करने के लिए "सिखाया" गया था। प्रेत के साथ , आप दसियों और सैकड़ों हज़ारों HTTP अनुरोध प्रति सेकंड (HTTP- प्रति सेकंड, http-rps ) उत्पन्न कर सकते हैं।

अपने काम के दौरान, टैंक नियमित पाठ पत्रिकाओं में परिणामों को संग्रहीत करता है, व्यक्तिगत परीक्षणों के लिए निर्देशिकाओं में समूहीकृत होता है। परीक्षण के दौरान, एक विशेष मॉड्यूल तालिकाओं के रूप में कंसोल इंटरफ़ेस में परिणामों के आउटपुट का आयोजन करता है। उसी समय, एक स्थानीय वेब सर्वर लॉन्च किया जाता है, जिससे आप सूचनात्मक ग्राफ़ पर समान परिणाम देख सकते हैं। परीक्षण के अंत में, यह सेवा स्वतः लोड करने के लिए संभव है। ग्रेफाइट भंडार में परिणाम लोड करने के लिए एक मॉड्यूल भी है।

कुछ उपयोगी लिंक:

GitHub प्रोजेक्ट कोड
उपकरण की स्थापना और उपयोग के लिए आधिकारिक दस्तावेज ;
डेवलपर विकी में टैंक मॉड्यूल की जानकारी ;
साधन के इतिहास के बारे में प्रस्तुति ;
यांडेक्स में एक लोड परीक्षण सेवा के उद्भव और टैंक के विकास का इतिहास ;
उपकरण का उपयोग करने के लिए समर्पित यैंडेक्स क्लब।

आज हम टैंक को विस्तार से स्थापित करने और कॉन्फ़िगर करने पर ध्यान नहीं देंगे, क्योंकि यह जानकारी नेटवर्क पर ढूंढना आसान है, और तुरंत हम इसके उपयोग के बारे में अपने अनुभव का वर्णन करेंगे।

दो समान वेब सेवाओं की प्रदर्शन तुलना

हमारे काम के दौरान, हमें दो वेब सेवाओं की विशेषताओं की तुलना करने की आवश्यकता थी, जिसके संचालन को मोटे तौर पर "पारदर्शी HTTP प्रॉक्सी के रूप में वर्णित किया जा सकता है जो बैकएंड एप्लिकेशन के लिए आने वाले अनुरोधों को पुनर्निर्देशित करता है"।

कार्य की सामान्य योजना निम्नानुसार दर्शाई जा सकती है:

टैंक स्टैंड पर, एक फैंटम लोड जनरेटर का उपयोग किया गया था, जिसमें प्रदर्शन मॉनीटर चालू था।

आरेख पर एक वेब-प्रॉक्सी स्टैंड के रूप में, दो परीक्षण की गई वेब सेवाओं का उपयोग किया गया था, जिसमें टैंक एजेंट का उपयोग करके प्रदर्शन संकेतक लिया गया था। हम उन्हें संदर्भ वेब सेवा और परीक्षण वेब सेवा कहेंगे। हमें यह समझने की जरूरत है कि क्या परीक्षण वेब सेवा का प्रदर्शन बेंचमार्क किया गया था।

बैकएंड के लिए, हमने Nginx के तहत चल रहे एक छोटे से वेब एप्लिकेशन का उपयोग किया और एक साधारण HTML पेज लौटाया।

प्रतिबंधों की पहचान की

काम शुरू करने से पहले, हमने वर्चुअल स्टैंड की सीमाओं के बारे में जानकारी एकत्र की, जिस पर पूरे परीक्षण बुनियादी ढांचे का निर्माण किया गया था।

बैकएंड आवेदन के स्टैंड के लक्षण:

8 वीसीपीयू, 4 जीबी, 10 जीबी / एस,
Nginx वेब सर्वर।

अधिकतम सर्वर रिटर्न जो हासिल किया गया था वह ~ 25,000 http-rps था, लेकिन 25k http-rps के ऊपर लोड होने के बावजूद भी स्टैंड नहीं टूटा।

16 वीसीपीयू, 8 जीबी, 10 जीबी / एस की विशेषताओं के साथ टैंक स्टैंड को 300 000 http-rps तक के भार का एहसास करने की अनुमति है।

ESXi आभासी वातावरण की बैंडविड्थ, Iperf का उपयोग करके निर्धारित की गई, दो वर्चुअल मशीनों के बीच दो तरह से लोड के साथ 8 Gb / s एक तरीका, 4 Gb / s था।

मेट्रिक्स और तुलना मानदंड

आगे की माप के लिए काम शुरू करने से पहले, हमने प्रत्येक लोड प्रोफ़ाइल के लिए निम्नलिखित मीट्रिक निर्धारित की:

http_rps_out - http-rps मान टैंक से वेब अनुप्रयोग के लिए भेजा,
http_rps_in - http-rps मान टैंक पर वेब एप्लिकेशन द्वारा प्राप्त किया गया है,
http_request_size - बाइट्स में http अनुरोध का आकार,
send_requests - भेजे गए HTTP अनुरोधों की संख्या,
bs_out - प्रति सेकंड बाइट्स, प्रति सेकंड बाइट - पैरामीटर टैंक से डेटा भेजने की गति निर्धारित करता है,
bs_in - bs मान को वेब अनुप्रयोग से टैंक साइड में भेजा जाता है,
test_time - सेकंड में परीक्षण समय,
response_time_med - औसत प्रतिक्रिया जो 90% सभी प्रतिक्रियाओं में फिट होती है।

HTTP अनुरोधों की संख्या और उनके आकार को जानकर, हमें पता चलता है कि bs और http-rps सूत्र से जुड़े हैं: bs = http_rps * http_request_size ।

इस मामले में, हमने लोड के तहत वेब सेवाओं के काम की तुलना करने के लिए निम्नलिखित मानदंडों का चयन करने का निर्णय लिया:

परीक्षण की पूरी अवधि के लिए, परीक्षण वेब सेवा में "उस समय जिस पर 90% उत्तर फिट होते हैं" पैरामीटर का मान संदर्भ वेब सेवा से अधिक नहीं होना चाहिए।
अगले 1000 http-rps पर बढ़ते भार के अंतराल में, परीक्षण की गई वेब सेवा में "समय जिस पर उत्तर के 90% फिट होते हैं" पैरामीटर का मान संदर्भ वेब सेवा से अधिक नहीं होना चाहिए।
परीक्षण की पूरी अवधि में, परीक्षण वेब सेवा से सही ढंग से संसाधित अनुरोधों की कुल संख्या संदर्भ वेब सेवा से कम नहीं होनी चाहिए।

इसी तरह, आप किसी भी परियोजना के लिए लोड परीक्षणों के लिए अन्य मानदंडों को परिभाषित कर सकते हैं।

HTTP अनुरोध का परीक्षण करें

लोड परीक्षण प्रोफाइल में से एक के लिए, हमें GET और POST अनुरोधों से मिश्रित HTTP ट्रैफ़िक को लोड करने के लिए 10 मिनट में 10k http-rps में रैखिक वृद्धि के साथ बनाने की आवश्यकता है।

HTTP अनुरोध Yandex.Tank कारतूस में शामिल हैं

GET /loadtest/index.php?id=1&login=user&pwd=password HTTP/1.1 X-Sniffer-Forwarded-For: yandex-tank-example-domain.ptsecurity.ru Host: backend-example-domain.ptsecurity.ru User-Agent: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) POST /loadtest/index.php HTTP/1.1 X-Sniffer-Forwarded-For: yandex-tank-example-domain.ptsecurity.ru Host: backend-example-domain.ptsecurity.ru User-Agent: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) Content-Length: 32 id=1&login=user&pwd=password POST /loadtest/index.php HTTP/1.1 X-Sniffer-Forwarded-For: yandex-tank-example-domain.ptsecurity.ru Content-Type: multipart/form-data; boundary=validFile Host: backend-example-domain.ptsecurity.ru User-Agent: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) Content-Length: 150 --validFile Content-Disposition: form-data; name="login"; filename="validFile.txt" Content-Type: text/plain Valid file content --validFile--

इस तरह के मिश्रित ट्रैफ़िक के लिए कारतूस की तैयारी को सरल बनाने के लिए, हमने मंच पर दी गई पर्ल स्क्रिप्ट के समान स्क्रिप्ट बनाई।

डेटा संग्रह और परिणामों का विश्लेषण

अनुरोधों को तैयार करने के बाद, हमने बस टैंक को मानक तरीके से शुरू किया और दोनों परीक्षण वेब सेवाओं के लिए मिश्रित यातायात के साथ एक लोड परीक्षण किया।

एक संदर्भ वेब सेवा के लिए परिणाम

टैंक वेब मॉनिटर जानकारी:

टैंक कंसोल जानकारी:

वेब सेवा के परिणाम का परीक्षण करें

टैंक वेब मॉनिटर जानकारी:

टैंक कंसोल जानकारी:

यहां तक कि रेखांकन द्वारा देखते हुए, परीक्षण की गई सेवा ने परिणाम को संदर्भ एक से बदतर नहीं दिखाया। उपरोक्त तीनों मानदंडों को औपचारिक रूप से जाँचने के बाद, हम इसके बारे में आश्वस्त थे।

परीक्षण सेवा पहली कसौटी को संतुष्ट करती है, क्योंकि 90% अनुरोधों के लिए परीक्षण सेवा के लिए औसत प्रतिक्रिया समय संदर्भ सेवा के लिए समान संकेतक से अधिक नहीं था।
भार के प्रत्येक चरण के लिए दूसरी कसौटी की आवश्यकता पूरी हुई।
टैंक के लॉग में दर्ज प्रतिक्रियाओं की स्थिति कोड के विश्लेषण से देखते हुए, परीक्षण वेब सेवा ने मानक वेब सेवा की तुलना में अधिक अनुरोधों को स्वीकार किया और सही ढंग से संसाधित किया।

निष्कर्ष

Yandex.Tank के साथ काम करने के परिणामों के आधार पर, यह पूरी जिम्मेदारी के साथ घोषित करना संभव है कि यह उपकरण उन मामलों में एकदम सही है जहां आपको उनकी जटिल तैयारी के बिना वेब अनुप्रयोगों के लोड परीक्षण को जल्दी से करने की आवश्यकता होती है और साथ ही प्रदर्शन विश्लेषण के लिए बहुत उपयोगी सांख्यिकीय डेटा मिलते हैं।

इसके अलावा, यह मौजूदा स्वचालन प्रणालियों में अच्छी तरह से एकीकृत है। उदाहरण के लिए, टैंक के स्टैंड के साथ काम को आसान बनाने के लिए - प्रबंध करना, लॉन्च करना, टेप के लिए कारतूस तैयार करना, परीक्षण प्रक्रिया की निगरानी करना और परिणाम एकत्र करना - हमने सहजता से एक पायथन बाइंडिंग क्लास लिखा है जो एसएसएच का उपयोग करके स्टैंड से जुड़ता है और उपरोक्त सभी क्रियाएं करता है। यह वर्ग तब हमारे मौजूदा ऑटो-परीक्षण प्रणाली में बनाया गया था।

इसके अतिरिक्त, आप देख सकते हैं कि बड़ी संख्या में रेखांकन का विश्लेषण करने के लिए उच्च-प्रदर्शन वाले ग्रेफाइट सिस्टम को कैसे कनेक्ट करें और इसका उपयोग करें (इसे YAC-2013 सम्मेलन में प्रस्तुतियों में से एक में वर्णित किया गया था)। यह भी Yandex.Tank का उपयोग कर लोड परीक्षण की जरूरतों के लिए अनुकूलित किया जा सकता है।

मैं तकनीकी सहयोग के लिए अपने सहयोगी ओलेग काश्तानोव का आभार व्यक्त करता हूं।

तैमूर गिल्मुलिन ( ब्लॉग ) द्वारा पोस्ट किया गया ।

Yandex.Tank और लोड परीक्षण स्वचालन

यह क्या है

दो समान वेब सेवाओं की प्रदर्शन तुलना

प्रतिबंधों की पहचान की

मेट्रिक्स और तुलना मानदंड

HTTP अनुरोध का परीक्षण करें

डेटा संग्रह और परिणामों का विश्लेषण

एक संदर्भ वेब सेवा के लिए परिणाम

वेब सेवा के परिणाम का परीक्षण करें

निष्कर्ष

More articles: