Yandex प्रयोग: कैसे रोबोट परीक्षण सेवाओं की सहायता करते हैं

एक रोबोट इंसानों को नुकसान नहीं पहुंचा सकता
या अनुमति देने के लिए निष्क्रियता से
ताकि किसी व्यक्ति को नुकसान पहुंचे।
इसाक असिमोव

मैं यैंडेक्स में परीक्षण में व्यस्त हूं और मैं आपको हमारे एक पायलट प्रोजेक्ट के बारे में बताना चाहता हूं। इसके ढांचे के भीतर, हमने वेब इंटरफेस - रोबोटस्टर के कार्यात्मक परीक्षण के लिए एक पूरी तरह से स्वचालित उपकरण बनाया है। हमारा रोबोट रोबोटिक्स के पहले नियम को संतुष्ट करता है: यह मनुष्यों को नुकसान नहीं पहुंचाता है और निष्क्रिय नहीं रहता है जब यह एक बग ढूंढता है जो लोगों के लिए समस्याएं पैदा कर सकता है।



हमने सोचा था कि लोगों के साथ-साथ इस सेवा का उपयोग एक निश्चित संख्या में परीक्षण रोबोट द्वारा किया जा सकता है जो तुरंत और स्पष्ट रूप से अपनी समस्याओं पर रिपोर्ट करेंगे। रोबोट कभी आराम नहीं करते हैं और सुनिश्चित करते हैं कि जितना संभव हो उतना कम लोगों को एक त्रुटि दिखाई दे।

हमें वास्तव में यह विचार पसंद आया, और हमने इसे लागू करना शुरू कर दिया।

कार्यात्मक परीक्षण के बारे में

किसी भी तरह के बग के लिए साइट की जांच करने का सबसे आसान तरीका उपयोगकर्ता के व्यवहार को अनुकरण करने और पाई गई त्रुटियों को ठीक करने के लिए लोगों के समूह को एक कार्य देना है। लेकिन इस समाधान में कमियां हैं। उदाहरण के लिए, आपको प्रत्येक रिलीज के साथ प्रक्रिया को दोहराना होगा और अधिक परीक्षकों को नियुक्त करना होगा जो नियमित संचालन करेंगे।

अपने आप को एक उच्च कुशल मैनुअल परीक्षक के जूते में रखने के लिए, बाजार के उन्नत खोज पृष्ठ पर जाएं । अपने लिए एक लैपटॉप चुनना शुरू करें, यह जांचते हुए कि लेआउट ब्लॉक कहीं भी स्थानांतरित नहीं होते हैं, सभी पृष्ठ तत्व लोड होते हैं, और फॉर्म भरने के बाद, आपको 404 त्रुटि प्राप्त करने के बजाय लैपटॉप की सूची वाले एक पृष्ठ पर मिलता है। इस प्रकार की त्रुटि को हम सामान्य कहते हैं। अब कल्पना करें कि आपको उन पर सभी यैंडेक्स सेवाओं की जांच करने की आवश्यकता है। यह खौफनाक हो रहा है।

लेकिन अफ्रीका में 404 भी 404 है, और js एक त्रुटि है, चाहे वह कोई भी सेवा हो, यह एक त्रुटि है, NaN किसी उत्पाद की कीमत नहीं हो सकती है, न ही बिंदु A से बिंदु B की दूरी। त्रुटियों का यह वर्ग सभी सेवाओं के लिए काफी समान है। उनके परीक्षण की प्रक्रिया को स्वचालित किया जा सकता है और फिर बढ़ाया जाना चाहिए, जो योग्य कर्मियों के साथ करना बहुत मुश्किल है।

ऑटोटेस्ट्स आंशिक रूप से ऐसी समस्याओं का सामना कर सकते हैं: एक बार लिखे जाने के बाद, आप जब चाहें उन्हें चला सकते हैं। लेकिन ऑटोटेस्ट को न केवल लिखे जाने की जरूरत है, बल्कि उसका समर्थन भी किया जाना चाहिए। और हमने मैन्युअल परीक्षण, और ऑटोटेस्ट से आगे जाने का फैसला किया।

रोबोट, जिसे स्वयं सेवाओं का परीक्षण करना चाहिए, को निम्नलिखित सिखाया जाना चाहिए:

1. लिंक और फ़ॉर्म दोनों का उपयोग करके क्रॉल साइटें।
2. पृष्ठ तत्वों को पहचानें और उनके साथ सहभागिता करें।
3. परीक्षण स्क्रिप्ट बनाएं और चलाएं।
4. त्रुटियों को पकड़ो।

साइट क्रॉल

यह आइटम तत्वों की मान्यता के साथ निकटता से संबंधित है: यदि हम यह नहीं समझते हैं कि शहर का नाम पाठ क्षेत्र में दर्ज किया जाना चाहिए, तो उच्च संभावना के साथ हम अगले पृष्ठ पर नहीं जा पाएंगे और पूरी साइट को पूरी तरह से बायपास करेंगे। रूपों के साथ काम करने के लिए परीक्षण में, WebDriver, PhantomJS, आदि जैसी प्रौद्योगिकियों को अच्छी तरह से जाना जाता है।

यह कहने योग्य है कि केवल एक क्रॉलर है जो ajax साइटों को क्रॉलजैक्स कर सकता है । वह सभी तत्वों के साथ काम करता है, लेकिन उन्हें बिल्कुल भी नहीं समझता है, इसलिए कम से कम एक जटिल साइट के लिए यह अविश्वसनीय रूप से लंबा काम करता है। पहले तो हम इस रोबोट के लिए एक "मस्तिष्क" बनाना चाहते थे, लेकिन हमने महसूस किया कि इसे हमारी आवश्यकताओं के अनुसार बदलने के लिए महत्वपूर्ण रूप से बदलना होगा। इसलिए, हमने अपना उत्पाद बनाने का फैसला किया।

हम "स्थिर" क्रॉलिंग और "डायनेमिक" क्रॉलिंग दोनों का उपयोग करते हैं। पहले मामले में, हम आवश्यक कुकीज़ (क्षेत्र, उपयोगकर्ता) सेट करते हैं और लिंक का पालन करते हैं। दूसरे में, हम फॉर्म के साथ इंटरैक्ट करते हैं, दूसरे पेज या उसके दूसरे राज्य में जाते हैं, जो एक नए इनपुट क्षेत्र को सक्रिय करके प्राप्त किया जाता है।

पृष्ठ तत्व मान्यता

रोबोट को उपयोगकर्ता के कार्यों का अनुकरण करना चाहिए, इसलिए उसे वेब पेजों के तत्वों के साथ उसी तरह से बातचीत करने की आवश्यकता है जैसे लोग करते हैं। यदि इसके सामने, कहते हैं, एक ड्रॉप-डाउन सूची है, तो कोई समस्या नहीं है - उसे विकल्पों में से एक को चुनने की आवश्यकता है। चेकबॉक्स और रेडियो बटन से भी कोई समस्या नहीं होगी। दो प्रकार के इनपुट क्षेत्रों के साथ कठिनाइयाँ उत्पन्न होती हैं:

1. जावास्क्रिप्ट के साथ जटिल इनपुट फ़ील्ड;
2. पाठ इनपुट फ़ील्ड।

अब तक, हमारा रोबोट एक अनियंत्रित क्षेत्र के साथ बातचीत करने में सक्षम नहीं है जो कि जावास्क्रिप्ट द्वारा संसाधित किया जाता है, क्योंकि इस तरह के क्षेत्र में जटिल तर्क "वायर्ड" हो सकते हैं। हमें तारीख का चयन करने के लिए फ़ील्ड में भरने के लिए रोबोट को पढ़ाने की ज़रूरत थी, और हमने ऐसे क्षेत्रों के साथ बातचीत के लिए एक काफी सार्वभौमिक मॉड्यूल बनाया। अब रोबोटस्टर सभी यैंडेक्स पृष्ठों पर तारीखों का चयन कर सकता है।

मैं दूसरे बिंदु पर अधिक विस्तार से ध्यान देना चाहूंगा। मान लें कि हमारे पास एक टेक्स्ट इनपुट फ़ील्ड है। यह स्पष्ट है कि ऐसे क्षेत्र हैं जहां आप लगभग किसी भी पाठ में प्रवेश कर सकते हैं (उदाहरण के लिए, ya.ru पर खोज स्ट्रिंग)। लेकिन कई मामलों में, मनमाने ढंग से पाठ दर्ज करने से यह तथ्य होता है कि कार्यक्षमता का एक महत्वपूर्ण हिस्सा उपयोग नहीं किया जाता है। गलत डेटा दर्ज करने के बाद, कुछ मामलों में रोबोट न केवल अगले पृष्ठ पर जाने में सक्षम होगा, बल्कि वर्तमान पर सभी इनपुट फ़ील्ड को सक्रिय करने के लिए भी होगा।

उदाहरण के लिए, यैंडेक्स पर उड़ान खोज फ़ॉर्म पर विचार करें। अनुसूचियां पृष्ठ। यदि किसी कारण से रोबोट निर्णय लेता है कि आपको पहले क्षेत्र में कुछ लोकप्रिय खोज क्वेरी दर्ज करने की आवश्यकता है और दूसरे क्षेत्र में किसी विशेष पेशे का नाम है, तो इससे अच्छा कुछ नहीं आएगा।



यदि रोबोट खोज फ़ॉर्म में एक समान गलती करता है, तो हम खोज परिणामों को कभी नहीं देखेंगे (और कभी नहीं देखेंगे)। यदि पंजीकरण प्रपत्र में - कभी भी सफलतापूर्वक पंजीकृत उपयोगकर्ता के पेज पर न जाएं, आदि। इसके अलावा, यदि फ़ील्ड गलत तरीके से भरे गए हैं, तो कुछ रूपों में आप बटन भी नहीं दबा पाएंगे, जिस पर क्लिक करके व्यक्ति को नए पृष्ठ पर जाना चाहिए या पुराने को नए राज्य में देखना चाहिए।

एक रोबोट कैसे समझ सकता है कि किसी विशिष्ट इनपुट क्षेत्र में प्रवेश करने की आवश्यकता है? इसी तरह के कार्य भी खोज इंजन को विकसित करते समय उत्पन्न होते हैं जो गहरी वेब को सूचकांक करते हैं। शब्द "डीप वेब" का उपयोग इंटरनेट पर जानकारी के उस हिस्से को इंगित करने के लिए किया जाता है जो "रूपों के पीछे छिपा हुआ है" - इसे एक्सेस करने के लिए, आपको कुछ खोज फ़ॉर्म भरना होगा। इस समस्या को हल करने के लिए कई दृष्टिकोण हैं, आप उनके बारे में पढ़ सकते हैं, उदाहरण के लिए, यहाँ , यहाँ या यहाँ ।

हम इस बारे में बात करेंगे कि यह हमारे परीक्षण में कैसे हल किया जाता है। लेकिन पहले, हम ध्यान दें कि हालांकि हमारे मामले में, और खोज रोबोट के मामले में, हमें पाठ क्षेत्र के प्रकार का निर्धारण करना चाहिए, हमारे कार्यों में महत्वपूर्ण अंतर हैं:
खोज इंजन सभी इंटरनेट साइटों को क्रॉल करते हैं। इन साइटों में एक बहुत अलग लेआउट है, और उन पर पाठ दर्जनों विभिन्न भाषाओं में लिखा गया है। हम केवल कुछ यैंडेक्स पृष्ठों के लिए एक रोबोट का निर्माण कर रहे हैं।

दूसरी ओर, एक खोज रोबोट के लिए, आपको केवल फ़ील्ड पहचान को अधिकतम करने की आवश्यकता है। यदि 90% फ़ील्ड सही रूप में मान्यता प्राप्त हैं, तो पहले से ही कुछ खोज परिणाम प्राप्त किए जा सकते हैं। लेकिन हम "पूर्ण" 100% से नीचे के मान्यता स्तर से संतुष्ट नहीं हैं। इसके अलावा, हम न केवल खोज प्रपत्रों के साथ काम करते हैं। इसलिए, एक रोबोट बनाने के लिए जो पृष्ठ पर मानव व्यवहार को गुणात्मक रूप से अनुकरण करेगा और सही जानकारी भेजेगा, हमें सबसे सटीक पहचान एल्गोरिथ्म विकसित करना होगा। हम सार्वभौमिकता का त्याग करने के लिए तैयार थे।

हमारा एल्गोरिथ्म एक प्रकार के शब्दकोश पर आधारित है। शब्दकोश इस प्रकार है:



नतीजतन, क्षेत्र प्रकार की मान्यता शब्दकोश में निहित तैयार प्रकारों में से एक के चयन के लिए कम हो जाती है (फिलहाल हमारे पास उनमें से 27 हैं)। इसके लिए, प्रत्येक इनपुट प्रकार के लिए, हमने कीवर्ड की एक सूची तैयार की है। सूची में उन लोगों को शामिल किया गया है जो इंटरफ़ेस में इस क्षेत्र के बगल में मौजूद हैं, इस प्रकार की संभावना को बढ़ाते हैं। बेशक, सभी कीवर्ड समान रूप से उपयोगी नहीं हैं। प्रत्येक कीवर्ड एक वजन के साथ जुड़ा हुआ है, लेकिन बाद में उस पर और अधिक। एल्गोरिथ्म को कई भागों में विभाजित किया जा सकता है।

विभाजन। हम इनपुट फ़ील्ड के अनुरूप भागों में इंटरफ़ेस को विभाजित करते हैं।



इसमें हम उस इनपुट फ़ील्ड के सापेक्ष पाठ और उसके स्थान में रुचि रखते हैं जिसका हम अध्ययन कर रहे हैं। लेकिन, सबसे पहले, यह बहुत स्पष्ट नहीं है कि एक "पाठ" क्या है - केवल दृश्यमान पाठ पर्याप्त नहीं हो सकता है, और तुरंत पूरे लेआउट पाठ लेने के लिए बुरा है, क्योंकि इसमें बहुत सारा कचरा हो सकता है। इसलिए, हम एक और दूसरे पाठ का उपयोग करते हैं, लेकिन अलग-अलग वजन के साथ।

पड़ोसी (दृश्य या अदृश्य) पाठ निकालने का कार्य हम इस तरह से हल करते हैं:

• element.innerHTML + = "@ # @ $ @ #!"
• हम पूरे फॉर्म से टेक्स्ट (दृश्य / अदृश्य) निकालते हैं
• element.innerHTML- = "@ # @ $ @ #!"

इसके अलावा, हमें प्राप्त टेक्स्ट में "@ # @ $ @ #!" लिखा हुआ मिलता है। यह प्राप्त पाठ में हमारे इनपुट क्षेत्र की स्थिति का प्रतीक होगा। हम jQuery का उपयोग करके टेक्स्ट को निकालते हैं।

वेटिंग वेटिंग। परिणामी पाठ को शब्दों में विभाजित किया जाता है, जिसके बाद प्रत्येक शब्द का वजन होता है। यह इस पर निर्भर करता है कि शब्द दिखाई दे रहा है या नहीं और इसके और इनपुट क्षेत्र के बीच की दूरी पर है।

चयन का प्रकार। बहुतायत में "मूल्य" प्रकार के कीवर्ड मूल्य प्रविष्टि क्षेत्र के बगल में स्थित हैं।



एक प्रकार की प्रासंगिकता के मूल्यांकन के लिए एल्गोरिथ्म इस प्रकार है। सबसे पहले, शब्दों को अवरोही क्रम में वजन द्वारा आदेश दिया जाता है। हम इस सूची को एक्स कहते हैं। अब हम क्षेत्र के प्रकारों के वजन पर विचार करेंगे। प्रत्येक प्रकार के वजन के साथ शब्दों का अपना सेट होता है - यह एक सूची होगी वाई। इस सेट को एक सूची एक्स के साथ क्रॉस करें और एक सूची प्राप्त करें जेड। एक सूची में शब्दों के भार Z को सूची X और Y में गुणा करके प्राप्त किया जाएगा। अगला, हमें उन स्थितियों से छुटकारा पाने की आवश्यकता है जिनमें पृष्ठ के दूसरे भाग में स्थित "दूर" शब्दों से इस प्रकार का "वजन" प्रभावित होता है। इसलिए, आइए Z को संख्या 2 के साथ सूची में शब्द को 2 ^{i से} विभाजित करें, जिसके बाद हम सूची Z में शब्दों के सभी भार जोड़ते हैं - इसे इस प्रकार का भार माना जाएगा।

जैसा कि पहले ही उल्लेख किया गया है, इस पद्धति का एक महत्वपूर्ण तत्व प्रत्येक प्रकार के वजन वाले खोजशब्दों का एक समूह है। वजन इसलिए चुना जाना चाहिए ताकि अधिकतम कुल वजन "सही" फ़ील्ड प्रकार पर हो। ऐसे वज़न कैसे चुनें? कई तरीके हैं, हमने एक सरल "फिट" चुना। यही है, हम किसी तरह से वजन सेट करते हैं, और फिर उन्हें ऐसी स्थिति में सही करते हैं जहां रोबोट ने कुछ फ़ील्ड के प्रकार को गलत तरीके से पहचान लिया था जिसे हमें संसाधित करने की आवश्यकता थी। रोबोट को प्रशिक्षित करने के लिए एक विशेष इंटरफ़ेस बनाया गया था, और यदि ऑपरेटर ने संकेत दिया कि रोबोट ने "शब्द" के आधार पर "मूल्य" शब्द को गलत तरीके से चुना है (और "मार्ग" शब्द के आधार पर "पता" प्रकार चुनना आवश्यक था, तो वजन) "मूल्य" प्रकार के लिए "से" शब्द कम हो गए, और "पता" प्रकार के लिए "मार्ग" शब्द का वजन बढ़ गया।

हालाँकि, इस दृष्टिकोण की सार्वभौमिकता निम्न स्तर पर है। परीक्षण सेवाओं की संख्या में वृद्धि के साथ, एक स्थिति अनिवार्य रूप से उत्पन्न होगी जब हम मैन्युअल रूप से वजन का चयन नहीं कर सकते हैं ताकि वे सभी साइटों पर काम करें। फिर कुछ नया करने का समय आ जाएगा: उदाहरण के लिए, कुछ पृष्ठों के लिए ऑपरेटर द्वारा निर्धारित "सही" प्रकार के क्षेत्रों के आधार पर मशीन सीखने का उपयोग करें। दरअसल, शुरू में हमें नहीं लगता था कि इस तरह का एक सरल एल्गोरिथ्म हमारे ऊपर सूट करेगा, लेकिन जैसा कि यह निकला, यह पूरी तरह से हमारी आवश्यकताओं के अनुरूप है - फिलहाल, रोबोट सफलतापूर्वक सभी रूपों के सभी क्षेत्रों को पहचानता है जिसके लिए हम इसे चलाते हैं। ये 5-6 अलग-अलग यांडेक्स सेवाएं हैं।

परिणामों के बारे में

रोबोट परीक्षक पांच महीने से अधिक समय से Yandex.Market परीक्षकों की मदद कर रहा है। उत्पादन पर्यावरण पर इस दौरान पाए जाने वाले 12% कीड़े रोबोट के हैं। वह सोता नहीं है, नहीं खाता है (वह हार्डवेयर समय खाता है), और सबसे महत्वपूर्ण बात - वह अकेला है, लेकिन उसके कई हैं। 32 कोर के लिए धन्यवाद! मैं यह मानना ​​चाहता हूं कि परीक्षण में नियमित रूप से मैनुअल श्रम को यांत्रिक द्वारा प्रतिस्थापित किया जाएगा।

बेशक, ऐसे रोबोट मैन्युअल परीक्षकों और ऑटोटेस्ट से श्रम नहीं लेंगे, क्योंकि किसी व्यक्ति के लिए व्यावसायिक तर्क और सेवा की बारीकियों को समझना भी मुश्किल है। बस इतना है कि योग्य कर्मियों के काम में कम दिनचर्या होगी, और इंटरनेट सेवाओं में कम गलतियाँ होंगी।

रोबोट पर काम करते समय, हमारे पास कई अन्य दिलचस्प कार्य थे। उदाहरण के लिए, मुझे रेंगने के लिए अपने स्वयं के एल्गोरिथ्म के साथ आना पड़ा, क्योंकि उचित समय में वह बाज़ार की मोबाइल साइट पर लाखों पृष्ठों वाले रेंगने का सामना नहीं कर सकता था। या, उदाहरण के लिए, रोबोट ने बहुत सारे समान त्रुटि संदेश उत्पन्न किए। हमने एक विशेष रिपोर्टिंग प्रणाली विकसित की है जिसमें समान त्रुटियाँ "एक साथ छड़ी" एक में हैं। ऐसे दिलचस्प कार्य भी हैं जो अभी तक "नहीं पहुंचे हैं" - उदाहरण के लिए, पाठ में ध्यान देने योग्य कार्यात्मक त्रुटियों से उपयोगकर्ता टिप्पणियों में टाइपोस को कैसे अलग किया जाए। हम इस सब के बारे में अगली श्रृंखला में बात करेंगे।