हाल ही में, बाज़ार में बहुत सी सेवाएँ प्रदर्शित हुई हैं जो आपके उत्पाद की उच्च गुणवत्ता सुनिश्चित करने के लिए मौद्रिक पुरस्कार के लिए अपनी सेवाएँ प्रदान करती हैं। अधिक सटीक रूप से, इस गुणवत्ता को नियंत्रित करने के लिए। हालांकि, समस्याओं को अक्सर एक सुंदर साइनबोर्ड के पीछे छिपा दिया जाता है, ऐसे "भीड़ परीक्षण" के सभी लाभों को शून्य करता है। हम अपना अनुभव साझा करना चाहते हैं और कुछ गलतियों को दोहराने से बचाना चाहते हैं।
KamaGames Studio ने अपने काम में ऐसे कई प्लेटफार्मों के साथ सहयोग करने की कोशिश की। सबसे लंबे समय तक
यूटेस्ट के साथ सहयोग किया गया था। वैसे, हमने हाल ही में लिखा है कि लोगों
ने $ 43 मिलियन का महत्वपूर्ण निवेश
उठाया । पूरे वर्ष में, हम सबसे बड़े सर्विस पैकेजों में से एक के सदस्य हैं। इसलिए, हम अपने स्वयं के अनुभव से उन चीजों का न्याय कर सकते हैं जो भीड़ परीक्षण के लिए मंच के साथ सबसे अधिक लाभदायक संबंध बनाने के लिए आवश्यक हैं।
सगाई समूहों के आयोजन के लिए टिप्स
यूएएसटी का उपयोग क्यूए द्वारा हल किए गए विभिन्न कार्यों के लिए किया जा सकता है। ध्यान दें कि सभी मामलों में हम केवल एक बाहरी प्लेटफॉर्म पर निर्भर नहीं थे। कंपनी के भीतर एक उच्च योग्य QA विभाग ने हमेशा उनके साथ काम किया है। यूटेस्ट और इसके जैसे किस प्रकार के भार को प्रत्यायोजित किया जा सकता है?
1. स्मोक टेस्ट इंटरेक्शन ग्रुप
चेकलिस्ट के अनुसार, आपके आवेदन के महत्वपूर्ण तत्वों के स्वास्थ्य की दैनिक जांच, जो प्रकाशन में है। "स्मोक-टेस्ट" समूह का उपयोग करने के परिणामस्वरूप, सेवा नियमित रूप से आपके आवेदन के स्वास्थ्य (डाउनलोड, सही स्थापना, लॉन्च, स्टोर संचालन, आदि) के लिए उपलब्धता का एक लिटमस परीक्षण प्रदान करती है और, समस्याओं के मामले में, अधिसूचना के साथ अलर्ट भेजती है। मेलबॉक्स। सरल और स्पष्ट कार्य।
दक्षता: 10 में से 7।2. सहभागिता समूह "व्यावसायिक आवश्यकताओं का कार्यान्वयन"
विनियमित व्यावसायिक आवश्यकताओं के कार्यान्वयन का सत्यापन जिसके लिए एक परीक्षण डिजाइन लिखा गया है (पुनरावृत्त किया गया)। इस मामले में सेवा "मैनुअल" परीक्षक की ताकत है, जो इस पुनरावृत्ति के लिए नियोजित कार्यक्षमता के कार्यान्वयन की जांच करता है।
दक्षता: 10 में से 7।3. बातचीत का समूह "एकीकृत मामले"
अपने कॉर्पोरेट गुणवत्ता मानकों के साथ आवेदन के अनुपालन की जाँच करना (दो बार (अल्फा और बीटा के साथ) + प्रतिगमन संभव हैं)। "एकीकृत मामले" समूह का उपयोग करने के परिणामस्वरूप, सेवा एक "मैनुअल" परीक्षक की ताकत है जो आपके एकीकृत कॉर्पोरेट गुणवत्ता मानकों (गैर-कार्यात्मक परीक्षण) के साथ आवेदन के अनुपालन की जांच करता है: आवेदन आने वाली कॉल को सही ढंग से संसाधित करता है, बैटरी सही ढंग से बैटरी निर्वहन करती है, आवेदन / कार्ड से सही तरीके से स्थानांतरण की प्रक्रिया करता है। स्मृति, आदि)
दक्षता: 10 में से 7।4. "रिसर्च" इंटरेक्शन ग्रुप
अनियंत्रित मामलों की नि: शुल्क तैराकी। यह बातचीत समूह "व्यावसायिक आवश्यकताओं के कार्यान्वयन" के समानांतर किया जाता है। अनुसंधान समूह का उपयोग करने के परिणामस्वरूप, सेवा एक "मैनुअल" बीटा परीक्षक की ताकत है, जो अनियमित परीक्षण डिजाइन क्षेत्रों में अपने छापों और समस्याओं का वर्णन करता है।
दक्षता: 10 में से 5।5. सहभागिता समूह "गारंटी प्रयोज्य"
प्रयोज्य के अंतरराष्ट्रीय मानकों के साथ आवेदन के अनुपालन की जांच करना (दो बार (अल्फा और बीटा के साथ) + प्रतिगमन संभव हैं)। "प्रयोज्य गारंटी" समूह का उपयोग करने के परिणामस्वरूप, सेवा प्रयोज्य परीक्षक के काम का एक विकल्प है, प्रयोज्यता के लिए अंतर्राष्ट्रीय मानकों के साथ आवेदन के अनुपालन का एक सुव्यवस्थित सत्यापन करता है। उनकी सलाह को सुनना या न मानना आपका अधिकार है।
दक्षता: 10 में से 5।6. समूह "लोड के तहत सर्वर प्रदर्शन की गारंटी" (संचार के लिए एक बहुत मुश्किल समूह)
अपने सर्वर पर लोड परीक्षण और सर्वर प्रोटोकॉल कार्यान्वयन का सत्यापन। समूह का उपयोग करने के परिणामस्वरूप, सेवा ऑटोमेशन इंजीनियर-लोडर के परीक्षक के काम के लिए एक विकल्प (या जोड़) है, जो निर्धारित समय पर अपनी साइट से परीक्षण स्क्रिप्ट (प्रोटोकॉल कार्यान्वयन का सत्यापन) को लोड करता है।
दक्षता: 10 में से 4।7. समूह "स्थानीयकरण सत्यापन"
स्थानीयकरण की शुद्धता की जाँच करना। सेवा में राष्ट्रीयता और धर्म की कोई स्पष्ट विशेषताएं नहीं हैं। यहाँ सेवा एक "गुणा" "मैनुअल" परीक्षक, एक मूल वक्ता और स्थानीयकरण को सत्यापित करने के लिए आवश्यक संस्कृति प्रदान करती है।
दक्षता: 10 में से 8।8. समूह "प्रगति के लिए पत्राचार"
नए जारी किए गए उपकरणों और ऑपरेटिंग सिस्टम पर एक प्रकाशित एप्लिकेशन के स्वास्थ्य की जांच करना। एक "मैनुअल" परीक्षक का काम, एक नए डिवाइस पर प्रकाशित एप्लिकेशन की संचालन क्षमता की जांच करना। आपको अपने एप्लिकेशन की प्रगति के बारे में हमेशा पता रहता है, भले ही आपके पास कोई संगत डिवाइस न हो।
दक्षता: 10 में से 8।बातचीत और रैक सुविधाओं पर सामान्य सुझाव
ऊपर हमने "क्यों" के बारे में बात की, आप यूटेस्ट और इसी तरह की सेवाओं का उपयोग कर सकते हैं। हालांकि, लक्ष्यों के लिए रास्ता कांटेदार होगा: काम में असफलता से बचने के लिए सरल लेकिन महत्वपूर्ण सुझाव दिए गए हैं।
1. सभी इंटरैक्शन अंग्रेजी में होते हैं, यह ध्यान में रखना आवश्यक है जब दस्तावेज़ीकरण के लिए एक परीक्षण डिजाइन विकसित करना और परीक्षकों को काम पर रखना जो कर्मचारियों पर यूटेस्ट के साथ काम करेंगे।
2. संचार और प्रबंधन एक पूर्णकालिक क्यूए-प्रबंधक के लगभग सभी कामकाजी समय लेता है: आपको लगातार सेवा प्रबंधक को पिंग करने और मॉनिटर करने की आवश्यकता है कि क्या हो रहा है, क्योंकि सेवा प्रबंधक के अन्य ग्राहकों के साथ भी संबंध हैं, शायद ही कभी, लेकिन घटनाएं होती हैं। ज्यादातर इस तथ्य के कारण है कि पार्टियां एक-दूसरे को नहीं समझती थीं। कभी-कभी सौदेबाजी और दबाव के लिए यह काम आता है।
वास्तविक जीवन के उदाहरण:
- सेवा के पक्ष में प्रबंधक एक साथ विभिन्न अनुप्रयोगों ("रिसर्च" इंटरैक्शन ग्रुप के लिए) की चार विधानसभाओं का संचालन करता है। एक दिन के बाद, हम एक नियंत्रण पिंग करते हैं, और यह पता चलता है कि परीक्षण केवल तीन विधानसभाओं में शुरू किया गया था (उन्होंने चार लॉन्च किए, लेकिन समय सीमा और कार्य निर्धारित नहीं किए - "व्यर्थ में दिन");
- सेवा प्रबंधक ने अनुप्रयोग का एक निर्माण कार्य में ("रिसर्च" इंटरेक्शन ग्रुप के लिए) लिया। एक दिन के बाद, हम पाते हैं कि सेवा (यहाँ और हर जगह पाठ में "सेवा" शब्द का अर्थ है सभी प्लेटफ़ॉर्म प्रतिभागी जिन्होंने हमारे उत्पादों के परीक्षण में भाग लिया था) ने एक भी समस्या का खुलासा नहीं किया, जो अल्फा संस्करण के लिए अजीब है। पिंग करने के बाद, सेवा प्रबंधक ने परीक्षकों को "जादू" संदेश भेजा, जिसके परिणामस्वरूप "उपयोगी" समस्याओं की पहचान की गई।
3. आपके सिस्टम में एकीकरण की संभावना के बिना, सिस्टम बग / कार्य ट्रैकिंग सेवा के माध्यम से सहभागिता होती है।
सेवा की ट्रैकिंग (परीक्षकों के पंजीकरण / प्राधिकरण का एक एकल डेटाबेस, पाई गई समस्याओं का क्यूए-प्रबंधक का मूल्यांकन, सभी प्रकार के विश्लेषण, कार्य / बग-मोड़, आदि) के कार्यान्वयन में बहुत सारी कार्यक्षमता लागू होती है, जो इसे आपके सिस्टम बग / में एकीकृत करने की अनुमति नहीं देती है। कार्य ट्रैकिंग, इसलिए कॉपी-पेस्ट की समस्याओं और कार्यों पर बहुत समय लगाया जाता है। हम Redmine में आयात को व्यवस्थित करने में विफल रहे।
4. आंतरिक क्यूए-प्रबंधक को ट्रैकर में सेवा परीक्षकों द्वारा लाई गई प्रत्येक समस्या को पढ़ने और उसे वापस खेलने की आवश्यकता है।
क्यूए-प्रबंधक द्वारा पहचानी गई समस्या की आलोचनात्मकता का मूल्यांकन करने के बाद यूटेस्ट परीक्षण समुदाय के प्रतिभागियों को सेवा से एक मौद्रिक इनाम मिलता है। इस संबंध में, यह दुर्लभ है, लेकिन अभी भी काफी ईमानदार परीक्षक नहीं हैं जो यूटेस्ट और आप दोनों को धोखा देने की कोशिश करते हैं।
5. सेवा परीक्षकों द्वारा समस्या के वर्णन के लिए आवश्यकताओं को तैयार करना आवश्यक है।
आपको सेवा प्रबंधक को स्पष्ट रूप से उस समस्या (डिवाइस, ऑपरेटिंग सिस्टम, reproducibility (यह कितनी बार खेला जाता है और किस डिवाइस पर खेला जाता है), प्लेबैक स्टेप्स, वास्तविक और अपेक्षित परिणाम, लॉग, वीडियो रिकॉर्डिंग, आदि का वर्णन करने के लिए आवश्यक न्यूनतम जानकारी स्पष्ट करनी चाहिए। ।) और इस न्यूनतम के अनुपालन की आवश्यकता है। अन्यथा, बेकार जानकारी का एक गुच्छा प्राप्त करें।
6. यूटेस्ट मैनेजर के लिए टास्क सेटिंग टेम्प्लेट विकसित करना आवश्यक है।
यह समय बचाने और मानव को "भूल" को खत्म करने के लिए महत्वपूर्ण है। टेम्प्लेट में न्यूनतम आवश्यक शर्तें शामिल होनी चाहिए, उदाहरण के लिए, निम्नलिखित आइटम शामिल हैं:
- आवेदन का नाम - प्रोजेक्ट;
- विधानसभा संख्या;
- इंटरैक्शन ग्रुप (क्लॉज़ 1 देखें);
- कार्य का मुख्य भाग (मुख्य पाठ, विशेषताएं);
- कोटिंग उपकरणों;
- ऑपरेटिंग सिस्टम कवरेज;
- आवश्यक समय सीमा;
- टिप्पणियाँ;
- विधानसभा के भंडारण स्थान से लिंक;
- नियामक दस्तावेजों के भंडारण का संदर्भ
- आदि आदि
निष्कर्ष
यूटेस्ट और इसी तरह की सेवाओं का उपयोग करना निश्चित रूप से उपयोगी हो सकता है। हमारे लिए, यह लाभ किसी भी समय "मानव संसाधन" का विस्तार करने और विकास के स्तर पर और परिचालन स्तर पर दोनों उत्पादों के अतिरिक्त परीक्षण में शामिल था।
फिर भी, सेवा कभी भी एक घरेलू "वसा" (सर्वोत्तम अर्थ में) परीक्षक की जगह नहीं लेगी:
- अपने उत्पाद की बारीकियों के ज्ञान और समझ के स्तर के संदर्भ में, एक पूर्णकालिक परीक्षक हमेशा सिर पर अधिक मजबूत होगा, यदि केवल इसलिए कि सेवा परीक्षक आने और जाने की घटना (अक्सर एक बार की घटना) हैं;
- एक स्टाफ सदस्य की प्रेरणा अधिक होती है, क्योंकि उसके लिए यह एक ऐसा उत्पाद है जिसमें उसने बहुत ताकत और ऊर्जा का निवेश किया है;
- अपने परीक्षक के परीक्षण में सैद्धांतिक और व्यावहारिक ज्ञान का स्तर आपके लिए स्पष्ट है, लेकिन सेवा परीक्षक नहीं है;
- पूर्णकालिक परीक्षक के कार्य की प्रगति (संकेत, पूरा होने की डिग्री, कवरेज की डिग्री) की निगरानी करना यथासंभव कुशलता से किया जाता है, और सेवा परीक्षक कम दक्षता के साथ कार्य की प्रगति का प्रदर्शन करता है।
"होमग्रोन" स्टाफ के संबंध में गुणवत्ता की जांच के लिए एक अतिरिक्त उपकरण के रूप में ऐसी सेवा का उपयोग करें - भले ही आप अपनी इंडी टीम में कर्मचारी हों। संचार पर बहुत समय और प्रयास खर्च करने के लिए तैयार रहें, और सेवा निश्चित रूप से एक अतिरिक्त गुणवत्ता संकेतक के रूप में पारस्परिक रूप से आगे बढ़ेगी। और हां, कीमतों को देखें।
यूटेस्ट वेबसाइट सेवाओं की लागत का एक कैलकुलेटर प्रदान करती है , जिसका अर्थ न केवल मूल्य की अस्पष्टता है, बल्कि कुछ सौदेबाजी की संभावना भी है।
पाठ लेखक: यूरी गोलोविन, क्यूए केएमगेम स्टूडियो के प्रमुख।