यैंडेक्स से अनुभव। ऑटोटेस्ट के लिए अपनी रिपोर्ट कैसे बनाएं

1. वे बहुत अधिक कार्यक्षमता को प्रभावित करते हैं, जिससे समस्या को स्थानीय बनाना मुश्किल हो जाता है। इसलिए, उदाहरण के लिए, वेब इंटरफ़ेस के माध्यम से एक परीक्षण एपीआई की कार्यक्षमता को प्रभावित करता है, जो बदले में डेटाबेस की कार्यक्षमता को प्रभावित करता है, जो बदले में ... अच्छी तरह से, आप समझते हैं।
2. इस तरह के परीक्षण बिचौलियों के माध्यम से सिस्टम पर कार्य करते हैं। यह एक ब्राउज़र, http- सर्वर, प्रॉक्सी, थर्ड-पार्टी सिस्टम हो सकता है, जिसका अपना तर्क भी है।
3. इस तरह के परीक्षण आमतौर पर काफी होते हैं और अक्सर अतिरिक्त वर्गीकरण को लागू करना पड़ता है। ये घटक, कार्यक्षमता के क्षेत्र, महत्वपूर्णता हो सकते हैं।

• पृष्ठ टाइमआउट द्वारा लोड नहीं किया गया था;
• पृष्ठ पर कोई खोज बटन तत्व नहीं है।
• खोज बटन तत्व मौजूद है, लेकिन उस पर क्लिक करना असंभव है;
• एक उल्कापिंड डेटा सेंटर पर गिर गया जिसमें सेवा घूम रही है।

एक बार टेस्ट था

public class ScreenShotDifferTest { private final long DEVIATION = 20L; private WebDriver driver = new FirefoxDriver(); public ScreenShooter screenShooter = new ScreenShooter(); @Test public void originPageShouldBeSameAsModifiedPage() throws Exception { BufferedImage originScreenShot = screenShooter.takeScreenShot("http://www.yandex.ru", driver); BufferedImage modifiedScreenShot = screenShooter.takeScreenShot("http://beta.yandex.ru", driver); long diffPixels = screenShooter.diff(originScreenShot, modifiedScreenShot); assertThat(diffPixels, lessThan(DEVIATION); } @After public void closeDriver() { driver.quit(); } } 

• ड्राइवर को इनिशियलाइज़ करें;
• स्क्रीनशूटर को इनिशियलाइज़ करें;
• मूल पृष्ठ का स्क्रीनशॉट लें;
• उम्मीदवार पृष्ठ का स्क्रीनशॉट लें;
• विभिन्न पिक्सेल की संख्या गिनें;
• जांचें कि विभिन्न पिक्सेल की संख्या अनुमेय विचलन से अधिक नहीं है;
• ड्राइवर को बंद करें।

  @RunWith(Parameterized.class) public class ScreenShotDifferTest { ... private String originPageUrl; private String modifiedPageUrl; public ScreenShotDifferTest (String originPageUrl, String modifiedPageUrl) { this.modifiedPageUrl = modifiedPageUrl; this.originPageUrl = originPageUrl; } @Parameterized.Parameters(name = "{0}") public static Collection<Object[]> readUrlPairs () { return Arrays.asList( new Object[]{"Yandex Main Page", "http://www.yandex.ru/", "http://beta.yandex.ru/"}, new Object[]{"Yandex.Market Main Page", "http://market.yandex.ru/", "http://beta.market.yandex.ru/"} ); } ... } 

1. मूल पृष्ठ और उम्मीदवार का स्क्रीनशॉट।
2. फ़ंक्शनल स्क्रीनशॉट (आप, उदाहरण के लिए, लाल रंग के सभी अलग-अलग पिक्सेल को चिह्नित कर सकते हैं)
3. मूल पृष्ठ और उम्मीदवार के स्रोत।

रिपोर्ट कार्यान्वयन

1. मॉडल । इसमें रिपोर्ट में प्रदर्शित करने के लिए आवश्यक सभी जानकारी होगी।
2. एडाप्टर। उसे परीक्षण से मॉडल तक सभी आवश्यक जानकारी एकत्र करनी होगी।
3. रिपोर्ट जनरेशन एकत्रित आंकड़ों के आधार पर, हम टेम्पलेट्स के आधार पर एक रिपोर्ट तैयार करते हैं।

आदर्श

 <?xml version="1.0" encoding="UTF-8"?> <xsd:schema attributeFormDefault="unqualified" elementFormDefault="unqualified" xmlns:xsd="http://www.w3.org/2001/XMLSchema" xmlns:ns="urn:report.examples.qatools.yandex.ru" targetNamespace="urn:report.examples.qatools.yandex.ru" version="2.1"> <xsd:element name="testCaseResult" type="ns:TestCaseResult"/> <!--  --> <xsd:complexType name="TestCaseResult"> <xsd:sequence> <xsd:element name="description" type="xsd:string"/> <!--      --> <xsd:element name="origin" type="ns:ScreenShotData" nillable="false"/> <!--   (   )--> <xsd:element name="modified" type="ns:ScreenShotData" nillable="false"/> <!--     (  )--> <xsd:element name="diff" type="ns:DiffData" nillable="false"/> <!--   --> <xsd:element name="message" type="xsd:string"/> <!--  ,   --> </xsd:sequence> <xsd:attribute name="uid" type="xsd:string"/> <!--ID- --> <xsd:attribute name="title" type="xsd:string"/> <!--  ,    --> <xsd:attribute name="status" type="ns:Status"/> <!--  --> </xsd:complexType> <xsd:complexType name="ScreenShotData"> <xsd:sequence> <xsd:element name="pageUrl" type="xsd:string"/> <!-- ,    --> <xsd:element name="fileName" type="xsd:string"/> <!--   --> </xsd:sequence> </xsd:complexType> <xsd:complexType name="DiffData"> <xsd:sequence> <xsd:element name="pixels" type="xsd:long" default="0"/> <!--  --> <xsd:element name="fileName" type="xsd:string"/><!--   --> </xsd:sequence> </xsd:complexType> <xsd:simpleType name="Status"> <xsd:restriction base="xsd:string"> <xsd:enumeration value="OK"/> <xsd:enumeration value="FAIL"/> <xsd:enumeration value="ERROR"/> </xsd:restriction> </xsd:simpleType> </xsd:schema> 

 /** * <p>Java class for TestCaseResult complex type. * * <p>The following schema fragment specifies the expected content contained within this class. * * <pre> * <complexType name="TestCaseResult"> * <complexContent> * <restriction base="{http://www.w3.org/2001/XMLSchema}anyType"> * <sequence> * <element name="message" type="{http://www.w3.org/2001/XMLSchema}string"/> * <element name="description" type="{http://www.w3.org/2001/XMLSchema}string"/> * <element name="origin" type="{urn:report.examples.qatools.yandex.ru}ScreenShotData"/> * <element name="modified" type="{urn:report.examples.qatools.yandex.ru}ScreenShotData"/> * <element name="diff" type="{urn:report.examples.qatools.yandex.ru}DiffData"/> * </sequence> * <attribute name="uid" type="{http://www.w3.org/2001/XMLSchema}string" /> * <attribute name="title" type="{http://www.w3.org/2001/XMLSchema}string" /> * <attribute name="status" type="{urn:report.examples.qatools.yandex.ru}Status" /> * </restriction> * </complexContent> * </complexType> * </pre> * * */ @XmlAccessorType(XmlAccessType.FIELD) @XmlType(name = "TestCaseResult", propOrder = { "message", "description", "origin", "modified", "diff" }) public class TestCaseResult { @XmlElement(required = true) protected String message; @XmlElement(required = true) protected String description; @XmlElement(required = true) protected ScreenShotData origin; @XmlElement(required = true) protected ScreenShotData modified; @XmlElement(required = true) protected DiffData diff; @XmlAttribute(name = "uid") protected String uid; @XmlAttribute(name = "title") protected String title; @XmlAttribute(name = "status") protected Status status; /** * Gets the value of the message property. * * @return * possible object is * {@link String } * */ public String getMessage() { return message; } /** * Sets the value of the message property. * * @param value * allowed object is * {@link String } * */ public void setMessage(String value) { this.message = value; } /** * Gets the value of the description property. * * @return * possible object is * {@link String } * */ public String getDescription() { return description; } /** * Sets the value of the description property. * * @param value * allowed object is * {@link String } * */ public void setDescription(String value) { this.description = value; } /** * Gets the value of the origin property. * * @return * possible object is * {@link ScreenShotData } * */ public ScreenShotData getOrigin() { return origin; } /** * Sets the value of the origin property. * * @param value * allowed object is * {@link ScreenShotData } * */ public void setOrigin(ScreenShotData value) { this.origin = value; } /** * Gets the value of the modified property. * * @return * possible object is * {@link ScreenShotData } * */ public ScreenShotData getModified() { return modified; } /** * Sets the value of the modified property. * * @param value * allowed object is * {@link ScreenShotData } * */ public void setModified(ScreenShotData value) { this.modified = value; } /** * Gets the value of the diff property. * * @return * possible object is * {@link DiffData } * */ public DiffData getDiff() { return diff; } /** * Sets the value of the diff property. * * @param value * allowed object is * {@link DiffData } * */ public void setDiff(DiffData value) { this.diff = value; } /** * Gets the value of the uid property. * * @return * possible object is * {@link String } * */ public String getUid() { return uid; } /** * Sets the value of the uid property. * * @param value * allowed object is * {@link String } * */ public void setUid(String value) { this.uid = value; } /** * Gets the value of the title property. * * @return * possible object is * {@link String } * */ public String getTitle() { return title; } /** * Sets the value of the title property. * * @param value * allowed object is * {@link String } * */ public void setTitle(String value) { this.title = value; } /** * Gets the value of the status property. * * @return * possible object is * {@link Status } * */ public Status getStatus() { return status; } /** * Sets the value of the status property. * * @param value * allowed object is * {@link Status } * */ public void setStatus(Status value) { this.status = value; } } 

 TestCaseResult testCaseResult = ... JAXB.marshal(testCaseResult, file); 

 TestCaseResult testCaseResult = JAXB.unmarshal(file, TestCaseResult.class) 

अनुकूलक

 public abstract class TestWatcher implements org.junit.rules.TestRule { //     protected void starting(org.junit.runner.Description description) {...} //        protected void succeeded(org.junit.runner.Description description) {...} //  ,  // // !!()!! assumeThat() protected void skipped(org.junit.internal.AssumptionViolatedException e, org.junit.runner.Description description) {...} //          protected void failed(java.lang.Throwable e, org.junit.runner.Description description) {...} //     protected void finished(org.junit.runner.Description description) {...} } 

•  protected void starting(org.junit.runner.Description description) 

  - इसे TestCaseResult मॉडल के प्रारंभ और सभी आवश्यक फ़ाइलों के निर्माण में जोड़ें।

•  protected void succeeded(org.junit.runner.Description description) 

  - इसमें हमने अपने टेस्ट की स्थिति ठीक है।

•  protected void skipped(org.junit.internal.AssumptionViolatedException e, org.junit.runner.Description description) 

  - हमें इस पद्धति में कोई दिलचस्पी नहीं है। इसे अपरिवर्तित छोड़ा जा सकता है।

•  protected void failed(java.lang.Throwable e, org.junit.runner.Description description) 

  - यहां हमारे पास सशर्त तर्क होंगे। अगर

   e instanceOf AssertionViolatedException 

  , तब परीक्षण (FAIL) में कोई त्रुटि हुई, किसी अन्य मामले में परीक्षण टूट गया है (ERROR)।

•  protected void finished(org.junit.runner.Description description) 

  - यहाँ हम xml में TestCaseResult ऑब्जेक्ट को क्रमबद्ध करते हैं।

•  public BufferedImage takeOriginScreenShot(String url) 

  - url द्वारा मूल पृष्ठ का स्क्रीनशॉट लें, स्क्रीनशॉट को फ़ाइल सिस्टम में सहेजें, डेटा से लिंक करें और BufferedImage पर वापस लौटें।

•  public BufferedImage takeModifiedScreenShot(String url) 

  - एक ही संचालन, केवल उम्मीदवार पृष्ठ के लिए।

•  public DiffData diff(BufferedImage original, BufferedImage modified) 

  - हम दो स्क्रीनशॉट का अंतर प्राप्त करते हैं, फाइल सिस्टम को सहेजते हैं, डेटा से लिंक करते हैं और अंतर के बारे में जानकारी के साथ एक ऑब्जेक्ट वापस करते हैं।

 @RunWith(Parameterized.class) public class ScreenShotDifferTest { private String originPageUrl; private String modifiedPageUrl; ... @Rule public ScreenShotDifferRule screenShotDiffer = new ScreenShotDifferRule(driver); public ScreenShotDifferTest(String title, String originPageUrl, String modifiedPageUrl) { this.modifiedPageUrl = modifiedPageUrl; this.originPageUrl = originPageUrl; } ... @Test public void originShouldBeSameAsModified() throws Exception { BufferedImage originScreenShot = screenShotDiffer.takeOriginScreenShot(originPageUrl); BufferedImage modifiedScreenShot = screenShotDiffer.takeModifiedScreenShot(modifiedPageUrl); long diffPixels = screenShotDiffer.diff(originScreenShot, modifiedScreenShot); assertThat(diffPixels, lessThan((long) 20)); } ... } 

 <?xml version="1.0" encoding="UTF-8" standalone="yes"?> <testCaseResult status="OK" title="originShouldBeSameAsModified[0](ru.yandex.qatools.examples.report.ScreenShotDifferTest)" uid="ru.yandex.qatools.examples.report.ScreenShotDifferTest.originShouldBeSameAsModified[0]"> <origin> <pageUrl>http://www.yandex.ru/</pageUrl> <fileName>{uid}-origin.png</fileName> </origin> <modified> <pageUrl>http://www.yandex.ru/</pageUrl> <fileName>{uid}-modified.png</fileName> </modified> <diff> <pixels>0</pixels> <fileName>{uid}-diff.png</fileName> </diff> </testCaseResult> 

रिपोर्ट जनरेशन

1. सभी परीक्षण डेटा फ़ाइलों का पता लगाएं।
   

    File[] testCasesFiles = listOfFiles(reportDirectory, ".*-testcase\\.xml"); 

2. उन्हें पढ़ें और वस्तुओं में परिवर्तित करें।
   

    List<TestCaseResult> testCases = convert(testCasesFile, new Converter<File, TestCaseResult>(){ public TestCaseResult convert (File file) { return JAXB.unmarshall(file, TestCaseResult.xml); } }); 

3. डेटा के आधार पर index.html उत्पन्न करें। आप फ्रीमार्कर और इस टेम्पलेट का उपयोग टेम्पलेट इंजन के रूप में कर सकते हैं।
   

    String source = processTemplate(TEMPLATE_NAME, testCases); 

4. इस रिपोर्ट की जानकारी एक ग्रुपिंग मावेन रिपोर्ट में जोड़ें।
   

    Sink sink = new Sink(); sink.setHtml(source); sink.close();(( 

परिणाम का सत्यापन

 <plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-site-plugin</artifactId> <version>3.2</version> <configuration> <reportPlugins> <plugin> <groupId>ru.yandex.qatools.examples</groupId> <artifactId>custom-report-plugin</artifactId> <version>${project.version}</version> </plugin> <plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-surefire-report-plugin</artifactId> <version>2.14.1</version> </plugin> </reportPlugins> </configuration> </plugin> 

परिणाम

आकर्षण आते हैं

1. हमें मुफ्त के लिए मुफ्त (समानांतर लॉन्च, मानकीकरण, श्रेणियां) चलाने और परीक्षण के आयोजन के लिए जनीट फ्रेमवर्क की सभी सुविधाएँ मिलती हैं।
2. स्पष्ट रूप से डेटा और प्रस्तुति साझा करें। आप एडाप्टर को किसी अन्य भाषा में (उदाहरण के लिए, अजगर में) बना सकते हैं, लेकिन दृश्य उत्पन्न करने के लिए उसी प्लगइन का उपयोग करें। या एक ही डेटा के लिए अलग-अलग प्लगइन्स का उपयोग करें।
3. मावेन वैगन प्लगिन का उपयोग करके रिपॉजिटरी (ssh, https, ftp, webdav, आदि) को रिपोर्ट देने के लिए हमें नि: शुल्क रिपोर्टिंग तर्क मिलता है।
4. हम एक "आंशिक रिपोर्ट" उत्पन्न कर सकते हैं। यह परीक्षण निष्पादन और रिपोर्टिंग के प्रवाह को अलग करके हासिल किया जाता है। एक थ्रेड परीक्षण करता है (जो डेटा उत्पन्न करता है), और दूसरा समय-समय पर एक रिपोर्ट बनाता है।

विपक्ष

1. तकनीक का अच्छा ज्ञान आवश्यक है (XSD, JAXB, jUnit Rules, Maven Reporting Plugin)। अगर कुछ गलत हो जाता है, तो आप बहुत समय खोने का जोखिम उठाते हैं।
2. एक जटिल रिपोर्ट (स्कीमा से html तक) के निर्माण के पूरे चक्र का परीक्षण करना काफी कठिन है

सिफारिशें

1. ऐसी प्रणालियों का विकास समय लेने वाला है। हमें लगभग 50 लीटर कॉफी, दो बैग कुकीज और 793 क्लिक्स बिल्ड बटन पर पहले एक को विकसित करने के लिए, खाता प्रौद्योगिकी विश्लेषण और रेक संग्रह में ले गया। अब एक विशिष्ट कार्य के लिए एक रिपोर्ट के निर्माण में लगभग दो दिन लगते हैं। इस रिपोर्ट का उपयोग करते हुए जीतने का समय निर्धारित करें। यह बड़ा होना चाहिए।
2. इस तरह की रिपोर्ट की समीक्षा में पूरी टीम के भाग लेने पर सबसे बड़ा प्रभाव प्राप्त होता है।