हम यैंडेक्स में खोज का परीक्षण कैसे करते हैं। परिणाम ब्लॉक का स्क्रीनशॉट-आधारित परीक्षण

सेवा जितनी बड़ी और जटिल होती जाती है, आपको परीक्षण के लिए उतना ही अधिक समय देना पड़ता है। इसलिए, इस प्रक्रिया को स्वचालित और औपचारिक बनाने की इच्छा पूरी तरह से कानूनी है।

सबसे अधिक बार, सेलेनियम वेबड्राइवर का उपयोग वेब सेवाओं के परीक्षण को स्वचालित करने के लिए किया जाता है। एक नियम के रूप में, वे इसका उपयोग कार्यात्मक परीक्षण लिखने के लिए करते हैं। लेकिन, जैसा कि सभी जानते हैं, कार्यात्मक परीक्षण किसी सेवा के लेआउट के परीक्षण की समस्या को हल नहीं कर सकते हैं, जिसके लिए अतिरिक्त मैनुअल, अक्सर क्रॉस-ब्राउज़र, चेक की आवश्यकता होती है। एक परीक्षण लेआउट की शुद्धता का मूल्यांकन कैसे कर सकता है? लेआउट में प्रतिगमन त्रुटियों का पता लगाने के लिए, परीक्षण को कुछ मानक की आवश्यकता होगी, जो कि सही लेआउट की छवि हो सकती है, उदाहरण के लिए, सेवा के उत्पादन संस्करण से। इस दृष्टिकोण को स्क्रीनशॉट-आधारित परीक्षण कहा जाता है। इस दृष्टिकोण का उपयोग शायद ही कभी किया जाता है, और सबसे अक्सर लेआउट अभी भी मैन्युअल रूप से परीक्षण किया जाता है। इसका कारण सेवा के लिए सख्त आवश्यकताओं, परीक्षण निष्पादन वातावरण और स्वयं परीक्षणों की एक संख्या है।

खोज परिणामों में यैंडेक्स सेवाओं के विस्तारित जवाब - हम खुद के अंदर, पुरानी परंपरा के अनुसार, उन्हें "जादूगर" कहते हैं - एक अतिरिक्त लिंक जिसमें कुछ टूट सकता है।

खोज में जादूगर के परीक्षण के उदाहरण पर, हम आपको बताएंगे कि परीक्षण-आधारित सेवा में क्या विशेषताएं होनी चाहिए, स्क्रीनशॉट-आधारित परीक्षण का उपयोग करते समय हमें क्या समस्याएं हैं और हम उन्हें कैसे हल करते हैं।

खोज में जादूगर का परीक्षण

डेस्कटॉप खोज के प्रतिगमन परीक्षण के लिए आवंटित किए गए अधिकांश समय जादूगर के चेक लेते हैं। यह सुनिश्चित करना महत्वपूर्ण है कि सभी बड़े ब्राउज़रों (फ़ायरफ़ॉक्स, क्रोम, ओपेरा, IE9 +) में जादूगरनी को सही ढंग से प्रदर्शित किया गया है। हमने जो भी उच्च-गुणवत्ता वाले कार्यात्मक परीक्षण लिखे, हम प्रतिगमन समय को काफी कम करने में सक्षम नहीं थे। सौभाग्य से, कुछ विशेषताओं के कारण, जादूगर स्क्रीनशॉट आधारित परीक्षण के लिए काफी उपयुक्त हैं:

1. जादूगर एक अलग पृष्ठ कार्यक्षमता है, यह कमजोर रूप से पड़ोसी तत्वों पर निर्भर है।
2. अधिकांश जादूगर स्थिर हैं।
3. जादूगर के लिए परिवर्तन अपेक्षाकृत कम ही किए जाते हैं, इसलिए अधिकांश मामलों में आप संदर्भ के रूप में खोज के उत्पादन संस्करण का उपयोग कर सकते हैं।

प्रभावी होने के लिए परीक्षण के लिए, सेलेनियम ग्रिड के विभिन्न संस्करणों के जितने संभव हो उतने ब्राउज़र होने चाहिए। प्रत्येक परीक्षण का लाभ उस ब्राउज़र की संख्या से गुणा किया जाता है जिसमें वह चलता है। स्क्रीनशॉट-आधारित परीक्षण बनाने में बहुत समय और संसाधन लगते हैं, इसलिए आपको उन्हें दक्षता के उच्चतम स्तर के साथ संचालित करने का प्रयास करना चाहिए। अन्यथा, मैन्युअल परीक्षण की तुलना में समय में लाभ बहुत कम हो सकता है। परीक्षण स्वचालन की जरूरतों के लिए, हमने सेलेनियम ग्रिड को तैनात किया, जो हमें आवश्यक हजारों प्रकार के ब्राउज़र प्रदान करता है।
एक और समस्या जिसे "अशोर" माना जाना चाहिए वह है समग्र रूप से सेवा की स्थिरता। जब कोई सेवा रहती है और तेजी से विकसित होती है (डिजाइन, कार्यक्षमता में काफी बदलाव होता है), तो इस शोर के स्तर के खिलाफ लड़ाई को समर्थन की आवश्यकता होगी और सेवा को अपडेट करने से दूर भुगतान नहीं कर सकता है। जैसा कि ऊपर उल्लेख किया गया है, जादूगरनी काफी स्थिर हैं।

इसलिए, हम उपयोगकर्ताओं की गतिविधियों का अनुकरण करते हुए, स्क्रीनशॉट की मदद से जादूगरनी का परीक्षण करना चाहते हैं: सक्रिय तत्वों पर क्लिक करें, इनपुट फ़ील्ड में पाठ दर्ज करें, टैब स्विच करें और बहुत कुछ। लेकिन, स्वयं जादूगर के अलावा, पृष्ठ पर अन्य तत्व भी शामिल हैं, जिनमें गैर-स्थैतिक: स्निपेट, विज्ञापन, ऊर्ध्वाधर फ्रेम शामिल हैं। अधिकांश मामलों में, बीटा और खोज उत्पादन में अंतर दिखाई देता है। इसलिए पृष्ठ की तुलना पूरी तरह से व्यर्थ है। लेकिन ये सभी तत्व किसी भी तरह से जादूगर की कार्यक्षमता को प्रभावित नहीं करते हैं। पृष्ठ के व्यक्तिगत तत्वों को छिपाना संभव था, लेकिन चूंकि हमारे पास उनमें से बहुत सारे हैं, इसलिए हमने जावास्क्रिप्ट का उपयोग करके, परीक्षण किए गए जादूगर के अलावा, पृष्ठ के सभी तत्वों को छिपाने का फैसला किया। इससे अप्रत्यक्ष लाभ भी होते हैं: पृष्ठ "संकुचित" होता है, स्क्रीनशॉट लिया जाता है और नेटवर्क पर तेजी से प्रेषित होता है, मेमोरी में कम जगह लेता है। इसके अलावा, फिर से जावास्क्रिप्ट का उपयोग करते हुए, हमने उस क्षेत्र के निर्देशांक को निर्धारित करना सीखा, जिसमें जादूगर सीधे स्थित है, और केवल इस क्षेत्र की तुलना करने के लिए।

लेकिन पिक्सेल-दर-पिक्सेल तुलना द्वारा भी मानव आँख के लिए एक ही स्क्रीनशॉट अलग-अलग थे। ब्राउज़रों के इस व्यवहार के कारणों को जाने बिना, हमने RGB चैनलों में अंतर के लिए एक प्रायोगिक दहलीज पेश की, जिस पर ट्रिगरिंग केवल मानव आँख को दिखाई देने वाले अंतर के लिए होती है।

क्रॉस-ब्राउज़र परीक्षण को पूरा करने के रास्ते पर, कई समस्याएं हल हो गईं, जो मुख्य रूप से ओपेराड्राइवर और आईड्राइवर (इस लेख के दायरे से बाहर का वर्णन) की विशेषताओं के कारण हुई हैं।

लेकिन, सभी प्रयासों के बावजूद, मामलों के एक महत्वपूर्ण प्रतिशत में परीक्षणों ने यादृच्छिक कारणों के लिए झूठी सकारात्मकता दी: नेटवर्क अंतराल, जावास्क्रिप्ट में देरी और AJAX निष्पादन। यद्यपि फ़ंक्शनल परीक्षणों के साथ समान त्रुटियां होती हैं, स्क्रीनशॉट-आधारित परीक्षणों में उनका प्रभाव अधिक होता है: यदि कोई कार्यात्मक परीक्षण तत्व A और समस्या B में होता है, तो गलत सकारात्मकताएँ नहीं हो सकती हैं, जो कि स्क्रीनशॉट-आधारित परीक्षण के बारे में नहीं कहा जा सकता है।

हम एक उदाहरण देते हैं। जब आप "बारटेंडर" जादूगर में एक और कॉकटेल का चयन करते हैं, तो एक नया नुस्खा आकर्षित करना तुरंत नहीं होता है: यह जादूगर के तत्वों के AJAX और जावास्क्रिप्ट का उपयोग करके नेटवर्क पर डेटा प्राप्त करने में समय लेता है। नतीजतन, बीटा में स्क्रिप्ट ने जादूगर को वांछित स्थिति में नहीं लाया:



जबकि उत्पादन में स्क्रिप्ट की कोई समस्या नहीं थी और जादूगर अलग दिखता है:



यादृच्छिकता के तत्व को खत्म करने के लिए, हम कई बार परीक्षणों को फिर से शुरू करते हैं जब तक कि हम समस्या के एक स्थिर प्रजनन के बारे में आश्वस्त न हों। इससे सेलेनियम ग्रिड के लिए एक और आवश्यकता होती है: आपके पास प्रत्येक प्रकार के कई ब्राउज़र होने चाहिए। क्योंकि केवल समानांतर चलने से परीक्षणों की स्वीकार्य अवधि मिल सकती है। हमारे मामले में, एक क्रमिक शुरुआत में तीन घंटे से अधिक 12-12 मिनट के समानांतर होने के बाद बदल गया। हम स्वतंत्र परिदृश्यों में लंबे परिदृश्यों को विभाजित करने की भी सलाह देते हैं: यादृच्छिक संचालन की संभावना कम हो जाएगी, और रिपोर्ट का विश्लेषण करना आसान होगा।

उल्लिखित रिपोर्ट के लिए विशेष आवश्यकताएं भी हैं: जब परीक्षण बहुत सारे स्क्रीनशॉट लौटाता है, तो उन्हें सही ढंग से प्रस्तुत करना महत्वपूर्ण है। रिपोर्ट उपपृष्ठों पर अंतहीन क्लिकों को मैनुअल सेवा की जाँच में लगभग उतना ही समय लगेगा। रिपोर्ट के लिए कोई सार्वभौमिक नुस्खा नहीं है, हम निम्नलिखित पर बसे हैं:

1. रिपोर्ट में एक html पृष्ठ है।
2. जादूगर ब्लॉकों में वर्गीकृत किए गए हैं। ब्लॉक की सामग्री को कम से कम किया जा सकता है। पहले त्रुटियों के साथ ब्लॉक आते हैं।
3. अंदर जादूगर स्क्रिप्ट के ब्लॉक प्रदर्शित किए जाते हैं। सफल स्क्रिप्ट को छोटा किया जाता है।
4. स्क्रिप्ट लॉग उपलब्ध हैं: किन तत्वों के साथ बातचीत की गई ताकि समस्या को फिर से प्रस्तुत किया जा सके।
5. जब आप माउस पॉइंटर को स्क्रीनशॉट के ऊपर ले जाते हैं, तो बीटा और प्रोडक्शन की छवियों को वैकल्पिक रूप से प्रदर्शित किया जाता है, ताकि एक व्यक्ति जल्दी से अंतर का पता लगा सके।

परीक्षण में केवल अपेक्षित परिणाम शामिल हैं: सफलता, मतभेदों का पता लगाना, स्क्रिप्ट निष्पादित करने में असमर्थता। किसी भी परीक्षण त्रुटियों को बाहर करना आवश्यक है जो इन परिणामों में से किसी एक में आने की अनुमति नहीं देता है।

कीड़े के उदाहरण मिले

जादूगर की राज्य छवियों की तुलना में, हम विभिन्न प्रकार के कीड़े का पता लगाने में सक्षम थे (इसके बाद पहला स्क्रीनशॉट बीटा है, दूसरा उत्पादन है):

• पाठ को बाहर करना (ज़िप कोड विज़ार्ड);

• छवि स्केलिंग बदलें (जादूगर घटना पोस्टर);

• सीएसएस में प्रतिगमन (गणितीय जादूगर के इनपुट क्षेत्रों में काला फ्रेम);

• डेटा में प्रतिगमन (अनुवाद जादूगर)।

एक बोनस के रूप में, हमें अनुवादों में परिवर्तन खोजने का अवसर मिला। खोज रूसी, यूक्रेनी, बेलारूसी, कजाख, तातार, अंग्रेजी, तुर्की में प्रस्तुत की गई है। सभी संस्करणों की शुद्धता को ट्रैक करना बहुत मुश्किल है, और स्क्रीनशॉट में ग्रंथों में अंतर तुरंत दिखाई देता है।

तो स्क्रीनशॉट-आधारित परीक्षण काफी उपयोगी हो सकता है। लेकिन मूल्यांकन में सावधान रहें: हर सेवा आपको इस दृष्टिकोण का उपयोग करने की अनुमति नहीं देती है, और आपके प्रयास बर्बाद हो सकते हैं। यदि आप उपयुक्त कार्यक्षमता खोजने का प्रबंधन करते हैं, तो मैन्युअल परीक्षण के लिए समय कम करने का हर मौका है।

सेंट पीटर्सबर्ग में 30 नवंबर को हम एक पर्यावरण परीक्षण करेंगे - विशेष रूप से परीक्षकों के लिए हमारी पहली घटना। वहां हम आपको बताएंगे कि हमारे परीक्षण कैसे काम करते हैं, हमने इसे स्वचालित करने के लिए क्या किया, हम त्रुटियों, डेटा और ग्राफ़ के साथ कैसे काम करते हैं, और बहुत कुछ। भागीदारी मुफ्त है, लेकिन केवल 100 स्थान हैं, इसलिए आपको समय में पंजीकरण करने की आवश्यकता है।