स्वचालित मोबाइल अनुप्रयोग परीक्षण

मैंने मोबाइल एप्लिकेशन इंटरफ़ेस के स्वचालित परीक्षण के साथ स्थिति का वास्तविक अध्ययन किया। यह परीक्षण मॉड्यूल के बारे में नहीं है, बल्कि अंतिम एप्लिकेशन के इंटरफेस के परीक्षण के बारे में है। और, हाँ, फोन पर ही सही!

इसकी आवश्यकता क्यों है? सबसे पहले, अपने सॉफ़्टवेयर की गुणवत्ता में सुधार की गारंटी देने और परीक्षकों के मूड में सुधार करने के लिए।

क्या विचार है? सबसे अधिक बार, मोबाइल एप्लिकेशन का परीक्षण लोगों द्वारा किया जाता है: परीक्षक एप्लिकेशन, iPhone 3, iPhone 4, iPad ले लेता है, यदि वह अशुभ है, तो वह कुछ Android और GalaxyTab लेता है, और आपके आवेदन का परीक्षण करता है, 80% परीक्षण ऐसे परिदृश्यों के बारे में है:
- एप्लिकेशन को चलाएं, सुनिश्चित करें कि यह क्रैश नहीं करता है;
- जगह टैब पर जाएं, सुनिश्चित करें कि सभी बिंदु जगह में हैं;
- बिंदुओं में से एक पर जाएं, सुनिश्चित करें कि विवरण जगह में है;
...

प्रत्येक परीक्षण के बाद इस तरह के परीक्षण किए जाते हैं और बहुत लंबा समय लगता है।

एक समय में, सेलेनियम वेब पर बचाव के लिए आया, जिसने हमें एक विशेष प्लग-इन ब्राउज़र के माध्यम से परीक्षक की क्रियाओं को रिकॉर्ड करने की अनुमति दी (हर कोई एमएस वर्ड में मैक्रोज़ को याद करता है?) और फिर उन्हें परिणाम के सत्यापन के साथ स्वचालित रूप से खेलते हैं। आप विभिन्न ब्राउज़रों पर भी परीक्षण चला सकते हैं! हमने अपनी कंपनी में इस समाधान का उपयोग किया, और यह वास्तव में काम करता है। परीक्षण विकास के प्रयासों ने भुगतान किया है।

वेब की तुलना में, मोबाइल विकास अभी भी एक बहुत ही युवा क्षेत्र है, और मुझे इंटरफेस के स्वचालित परीक्षण के लिए अच्छे समाधान देखने की उम्मीद नहीं थी। यह पता चला कि उनमें से पर्याप्त से अधिक हैं। मैं आपको उनमें से कुछ के बारे में बताना चाहता हूं।

iPhone

UIAutomation

मैं ऐप्पल के मानक समाधान के साथ शुरू करूंगा, जो इंस्ट्रूमेंट्स का हिस्सा है।


UIAutomation आपको एमुलेटर और डिवाइस में दोनों में जावास्क्रिप्ट में लिखी गई परीक्षण स्क्रिप्ट चलाने की अनुमति देता है। आप उत्पादन असेंबली सहित अपने किसी भी अनुप्रयोग का परीक्षण कर सकते हैं। अतिरिक्त पुस्तकालयों के संकलन की आवश्यकता नहीं है। आप कंसोल से स्क्रिप्ट चला सकते हैं।

Apple ने परीक्षण के लिए एक विशेष जावास्क्रिप्ट एपीआई विकसित किया है। यह सभी मानक इंटरफ़ेस तत्वों का वर्णन करता है। तत्वों को एक पेड़ द्वारा दर्शाया जाता है; प्रकार (बटन, टेबल व्यू, टेक्स्टफिल्ड ...) द्वारा तत्वों के त्वरित चयन के लिए विशेष कार्य हैं। जब तक विशेष रूप से एक्सेसिबिलिटी लेबल कोड में निर्दिष्ट नहीं किया जाता है, तब तक तत्वों को केवल संख्या द्वारा चुना जा सकता है।

  window.tableViews () [०]। अदृश्य चैनल () [१] .tap () 

पहली तालिका में दूसरी सेल का चयन करें।

मैंने हमारे गूज़ी एप्लिकेशन के लिए एक परीक्षण स्क्रिप्ट लिखी, यह लॉग इन करता है, जांचता है कि "ऑल" टैब चयनित है, "सेटिंग" टैब पर जाता है और लॉग आउट होता है।



इस पटकथा को लिखने में मुझे एक घंटे का समय लगा, जबकि इसके बगल में मैंने खुला Xcode रखा और देखा कि कैसे डिज़ाइनर में तत्वों का प्रतिनिधित्व किया गया, कैसे वे गतिशील रूप से उत्पन्न हुए। इसके अलावा, स्क्रिप्ट एक छोटी सी विंडो में लिखी जाती है (दाईं ओर दिखाए गए UIAutomation के स्क्रीनशॉट पर), कोई सिंटैक्स चेक नहीं है, संस्करण नियंत्रण प्रणालियों के लिए कोई समर्थन नहीं है।

[हाइलाइट किया गया कोड: paste.ly/7mnG ]

निचला रेखा: प्लेटफ़ॉर्म शक्तिशाली और सही है, लेकिन परीक्षकों को अपने दम पर परीक्षण लिखने में सक्षम होने की संभावना नहीं है, यदि आप इंटरफ़ेस की आंतरिक संरचना को बदलते हैं, तो आपको परीक्षणों को फिर से लिखना होगा।

UPD: Xcode 4.3 परीक्षण रिकॉर्ड करने की क्षमता का परिचय देता है। कंसोल से शुरू करना लगभग असंभव है।

UPD2: यूआईयूटोमेशन के साथ काम करते समय, यह दृढ़ता से अनुशंसा की जाती है कि सभी एक्सेसबिलिटी लेबल घटक सेट किए जाएं

FoneMonkey

रिकॉर्ड और प्ले समाधान, दिलचस्प है कि परीक्षण दर्ज किए गए हैं और संपादित किए गए हैं (!) सीधे फोन या एमुलेटर पर परीक्षण आवेदन से।



हालाँकि, परीक्षण को बचाने के लिए फ़ोन को कंप्यूटर से कनेक्ट होना चाहिए। और हां, आवेदन में आपको कई अतिरिक्त पुस्तकालयों को संकलित करने की आवश्यकता है।

Fonemonkey UIAutomation प्रारूप में परीक्षणों को सहेज सकता है, इसलिए आप रिकॉर्डिंग के बाद उन्हें "क्लीन" एप्लिकेशन पर चला सकते हैं।

मेरी राय में, यह एकमात्र समाधान है जो परीक्षक अपने दम पर उपयोग कर सकते हैं। एक शर्त के तहत, परीक्षण या तो डेवलपर्स द्वारा लॉन्च किए जाएंगे, या वे स्वचालित रूप से कॉन्टीन्यूअस इंटीग्रेशन सिस्टम में मिल जाएंगे।

UPD: UIAutomation के लिए निर्यात बहुत कुटिलता से काम करता है, मैं प्राप्त लिपियों को नहीं चला सकता।

सगे भाइयों

squish

स्क्विश विंडोज, मैक, क्यूटी और आईओएस अनुप्रयोगों के परीक्षण के लिए एक समाधान है। एक विशिष्ट डेवलपर लागत (लाइसेंस का नाम) के लिए एक लाइसेंस $ 2400।



सिस्टम एचपी गुणवत्ता केंद्र, सिपनी टीसीएम के साथ एकीकृत करता है या एक ग्रहण आधारित आईडीई प्रदान करता है। आप एक एमुलेटर या डिवाइस पर अनुप्रयोगों का परीक्षण कर सकते हैं, रिकॉर्डिंग परीक्षण (रिकॉर्ड और प्ले) उपलब्ध है। स्क्रिप्ट जावास्क्रिप्ट, पायथन, पर्ल या Tcl में हो सकते हैं।

सिस्टम में दो minuses हैं: डिवाइस पर काम करने के लिए (यहां तक ​​कि परीक्षण चलाने के लिए), आपको उनकी लाइब्रेरी के साथ एक अलग संस्करण संकलित करने की आवश्यकता है; दूसरा माइनस ग्रहण है, यदि आप एचपीक्यूसी पर टूट नहीं गए, तो यह संभावना नहीं है कि परीक्षक पूरी तरह से ग्रहण-आधारित आईडीई के साथ काम कर पाएंगे।

सामान्य तौर पर, मुझे फ्री फोनेकी से मूलभूत अंतर दिखाई नहीं देता है। जब तक, स्क्विश मल्टीटच (स्वचालित इशारों के लिए समर्थन) का समर्थन करता है।

JamoSolution

सबसे आशाजनक प्लेटफार्मों में से एक। JamoSolution आपको iPhone, Android, विंडोज मोबाइल और ब्लैकबेरी ऐप का परीक्षण करने देता है। उसी समय, रिकॉर्ड रिकॉर्डिंग (प्ले और प्ले) सभी प्लेटफार्मों के लिए समर्थित है और आप विंडोज पर iPhone अनुप्रयोगों का परीक्षण कर सकते हैं !

उनके पास शानदार डेमो वीडियो हैं, यहाँ iPhone के लिए परीक्षण किया जा रहा है:


Android के लिए:


मैं आईडीई में फोन की स्क्रीन देखकर बहुत खुश हूं। JamoSolution फोन पर एक विशेष एजेंट के माध्यम से काम करता है, अर्थात, आपके एप्लिकेशन अनमॉडिफाइड रहेंगे। फोन को तार या वाईफाई के माध्यम से जोड़ा जा सकता है।

एंड्रॉयड

Robotium

सबसे लोकप्रिय समाधान रोबोटियम है । डेवलपर्स कहते हैं, "यह सेलेनियम की तरह है, लेकिन एंड्रॉइड के लिए है।" रोबोटियम रिकॉर्डिंग परीक्षणों (रिकॉर्ड और प्ले) का समर्थन नहीं करता है और स्क्रीनशॉट नहीं ले सकता है।



परीक्षण जावा में लिखे गए हैं, वास्तव में, रोबोटियम साधारण यूनिट परीक्षणों के लिए एक पुस्तकालय है, डिवाइस (रिमोट कंट्रोल) पर परीक्षण चलाने की कोई संभावना नहीं है। अनुप्रयोगों का परीक्षण करने के लिए, आपको उन्हें इस लाइब्रेरी के साथ बनाने की आवश्यकता है। स्रोत के बिना अनुप्रयोगों का परीक्षण करना संभव है, लेकिन प्रक्रिया तुच्छ नहीं है।

TestDroid

जब मैं अनुसंधान कर रहा था, एक नया Android समाधान दिखाई दिया। TestDroid एक ग्रहण प्लगइन है जो आपको रोबोटियम प्रारूप में परीक्षण (रिकॉर्ड और प्ले) रिकॉर्ड करने की अनुमति देता है। सिस्टम मानक एंड्रॉइड डीबगर के माध्यम से फोन के साथ इंटरैक्ट करता है।

एक TestDroid रिकॉर्डर लाइसेंस की लागत $ 600 प्रति वर्ष है। डेवलपर्स TestDroid सर्वर को भी जारी करने का वादा करते हैं, यह आपको परीक्षण के लिए क्लस्टर बनाने की अनुमति देगा। कई एंड्रॉइड फोन को सर्वर से कनेक्ट करें और समानांतर और दूरस्थ रूप से परीक्षण चलाएं।

दुर्भाग्य से, समाधान अभी भी बीटा परीक्षण में है और मेरे खसखस ​​पर परीक्षण उत्पन्न नहीं करता है।



इसके अलावा, लॉग्स को देखते हुए, सभी क्रियाएं परीक्षणों में दर्ज नहीं की जाती हैं। समाधान आशाजनक है, लेकिन इंतजार के लायक है।

विंडोज फोन 7

लेखन के समय, WP7 इंटरफ़ेस के परीक्षण को स्वचालित करने के लिए कोई उपयोगिता नहीं थी।

बिलकुल ब्लैक बॉक्स

निश्चित रूप से आप " ब्लैक बॉक्स " की अवधारणा से परिचित हैं, और इसलिए, इस सिद्धांत पर कम से कम दो मोबाइल परीक्षण प्रणालियां काम कर रही हैं।

ये परफेक्टो मोबाइल और डिवाइस कहीं भी हैं ।

इन निर्णयों का सार यह है कि उनके पास केबल के माध्यम से जुड़े वास्तविक मोबाइल फोन का एक फार्म है, और एक वेब कैमरा जो फोन से छवियों को प्रसारित करता है। यह कुछ इस तरह दिखता है:



फ़ोन की फ़ोटो के अंदर एक वेबकैम छवि डाली गई है। पूरी तरह से माउस द्वारा नियंत्रित।

परफेक्टो मोबाइल और डिवाइस का मुख्य व्यवसाय कहीं भी स्वचालित परीक्षण नहीं है, लेकिन समय उपकरणों की बिक्री। उनके पास सैकड़ों विभिन्न फोन (iPhone / Android / Blackberry ...) हैं और एक घंटे में एक फोन की कीमत लगभग $ 15 है।

यह एक बहुत ही सुविधाजनक समाधान है यदि आप कई प्लेटफार्मों और विशेष रूप से एंड्रॉइड के साथ जुड़े हुए हैं, जिसके लिए दर्जनों विभिन्न डिवाइस हैं।

लेकिन, दुर्भाग्य से, जब मैंने रूस से दोनों प्रणालियों का परीक्षण किया, तो फोन के साथ बातचीत करते समय सब कुछ बहुत धीमा था, एक बड़ा अंतराल। इस मोड में परीक्षक बहुत घबराएंगे।

स्वचालन कहाँ है?

बहुत दिलचस्प तरीके से स्वचालित परीक्षण लागू किया गया ।

चित्रों की जाँच करके और ओसीआर स्क्रीन पर पाठ को पहचानकर परिणामों की जाँच की जाती है। प्लेटफार्मों में से एक प्रसिद्ध ABBYY :-) का उपयोग करता है

वैसे, परीक्षण केवल एंटरप्राइज़ क्लाइंट के लिए उपलब्ध है और हर बार व्यक्तिगत रूप से चर्चा की जाती है, इसलिए मैं इसे आज़मा नहीं सका।

आकर्षण आते हैं

• ब्लैक बॉक्स - आपके आवेदन के साथ लगभग कोई हस्तक्षेप नहीं;
• सभी मोबाइल प्लेटफार्मों के लिए एक उपकरण और परीक्षण स्क्रिप्ट;
• उपकरणों की विविधता;
• आप किसी भी एप्लिकेशन को टेस्ट कर सकते हैं: देशी, एचटीएमएल 5, मोबाइल साइट।

विपक्ष

• स्वचालित परीक्षण महंगा है;
• फोन के साथ बातचीत करते समय बड़े अंतराल।

मैं वास्तव में टिप्पणियों में चर्चा करना चाहता हूं। कौन मोबाइल एप्लिकेशन विकसित करता है, उत्तर, यदि मुश्किल नहीं है, तो कुछ प्रश्न:

1. आप किस मंच के लिए विकसित हो रहे हैं?
2. किस तरह का ऐप? (खेल, बैंकिंग, व्यावसायिक अनुप्रयोग, चिकित्सा)
3. क्या आप यूनिट परीक्षणों का उपयोग करते हैं, क्यों?
4. क्या आप UI परीक्षण को स्वचालित करते हैं, क्यों?
5. यदि आपने स्वचालित करना शुरू किया, तो आपके लिए कौन सा उपकरण आदर्श होगा?