Badoo पर कोड कवरेज

कुछ महीने पहले, हमने कोड कवरेज की पीढ़ी को 70 से 2.5 घंटे तक तेज कर दिया था। इसे निर्यात / आयात कवरेज में एक अतिरिक्त प्रारूप के रूप में लागू किया गया था। और हाल ही में, हमारे पुल अनुरोधों ने आधिकारिक रिपॉजिटरी phpunit, phpcov और php-code-कवरेज को मारा।

हमने बार-बार सम्मेलनों में और लेखों में बताया है कि हम थोड़े समय में दसियों हज़ार यूनिट परीक्षणों की "ड्राइव" करते हैं। मल्टीथ्रेडिंग के कारण, मुख्य प्रभाव प्राप्त होता है, जैसा कि आप अनुमान लगा सकते हैं। और सब कुछ ठीक होगा, लेकिन एक महत्वपूर्ण परीक्षण मीट्रिक परीक्षण के साथ कोड को कवर कर रहा है।
आज हम आपको बताएंगे कि इसे बहुपरत के वातावरण में कैसे गिना जाए, इसे एकत्रित करें और इसे बहुत तेज़ी से करें। हमारी आशाओं के बिना, कवरेज की गणना केवल यूनिट परीक्षणों के लिए 70 घंटे से अधिक समय लेती थी। अनुकूलन के बाद, हम सभी यूनिट परीक्षणों के लिए कवरेज की गणना करते हुए केवल 2.5 घंटे खर्च करते हैं और 30 हजार से अधिक की कुल संख्या के साथ एकीकरण परीक्षणों के दो सेट करते हैं।

हम PHP में Badoo में परीक्षण लिखते हैं, हम सेबस्टियन बर्गमैन (सेबस्टियन बर्गमैन, phpunit.de ) से PHPUnit फ्रेमवर्क का उपयोग करते हैं।
इस ढांचे में कवरेज, कई अन्य लोगों की तरह, साधारण कॉल के रूप में Xdebug एक्सटेंशन का उपयोग करने पर विचार किया जाता है:

xdebug_start_code_coverage(); //…    … $codeCoverage = xdebug_get_code_coverage(); xdebug_stop_code_coverage(); 

आउटपुट एक नेस्टेड एरे है जिसमें फाइलें होती हैं जिन्हें कवरेज कलेक्शन के दौरान निष्पादित किया जाता है और विशेष झंडे वाली फाइलों में लाइन नंबर: चाहे कोड कहा जाता हो, या नहीं बुलाया गया था, बिल्कुल भी नहीं। Xdebug लेपित के संचालन के बारे में विवरण परियोजना की वेबसाइट पर पाया जा सकता है।

सेबेस्टियन बर्गमैन में एक PHP_CodeCoverage लाइब्रेरी है, जो विभिन्न स्वरूपों में कवरेज एकत्र करने, प्रसंस्करण और प्रदर्शित करने के लिए जिम्मेदार है। पुस्तकालय हमारे साथ सुविधाजनक, विस्तारणीय और काफी खुश है। उसके पास एक कंसोल फ्रंटेंड phpcov है ।
लेकिन सुविधा के लिए, विभिन्न स्वरूपों में कवरेज और आउटपुट की गणना पहले से ही PHPUnit कॉल में एकीकृत हैं:

  --coverage-clover <file> Generate code coverage report in Clover XML format. --coverage-html <dir> Generate code coverage report in HTML format. --coverage-php <file> Serialize PHP_CodeCoverage object to file. --coverage-text=<file> Generate code coverage report in text format. 

--Coverage-php विकल्प वह है जिसे हमें बहु-थ्रेडेड स्टार्टअप के लिए आवश्यक है: प्रत्येक थ्रेड कवरेज को अलग करता है और एक अलग * .cov फ़ाइल को निर्यात करता है। एक सुंदर HTML रिपोर्ट के लिए एकत्रीकरण और उत्पादन - ph फ्लैग को themerge ध्वज के साथ कॉल करके किया जा सकता है।

 --merge Merges PHP_CodeCoverage objects stored in .cov files. 

यह सब कुछ तह, सुंदर है और बॉक्स से बाहर काम करना चाहिए। लेकिन, जाहिर है, हर कोई इस तंत्र का उपयोग नहीं करता है, जिसमें पुस्तकालय के लेखक भी शामिल हैं, अन्यथा PHP_CodeCoverage में उपयोग किए जाने वाले निर्यात-आयात तंत्र की "गैर-इष्टतमता" जल्दी से सामने आएगी। चलिए इसे क्रम में लेते हैं, क्या बात है।

एक विशेष रिपोर्टर वर्ग PHP_CodeCoverage_Report_PHP * .cov प्रारूप में निर्यात करने के लिए जिम्मेदार है, जिसका इंटरफ़ेस बहुत सरल है। यह प्रक्रिया () विधि है, जो PHP_CodeCoverage वर्ग के इनपुट ऑब्जेक्ट को लेती है और इसे क्रमबद्ध () फ़ंक्शन के साथ अनुक्रमित करती है।

परिणाम फ़ाइल को लिखा जाता है (यदि फ़ाइल के लिए पथ पारित हो गया है), या विधि के परिणाम के रूप में लौटा।

 class PHP_CodeCoverage_Report_PHP { /** * @param PHP_CodeCoverage $coverage * @param string $target * @return string */ public function process(PHP_CodeCoverage $coverage, $target = NULL) { $coverage = serialize($coverage); if ($target !== NULL) { return file_put_contents($target, $coverage); } else { return $coverage; } } } 

Phpcov उपयोगिता के साथ आयात करना, इसके विपरीत, एक निर्देशिका में सभी फ़ाइलों को एक्सटेंशन * .cov के साथ लेता है और प्रत्येक के लिए ऑब्जेक्ट में unserialize () करता है। ऑब्जेक्ट को तब PHP_CodeCoverage ऑब्जेक्ट के मर्ज () विधि में पास किया जाता है जिसमें कवरेज एकत्र होता है।

  protected function execute(InputInterface $input, OutputInterface $output) { $coverage = new PHP_CodeCoverage; $finder = new FinderFacade( array($input->getArgument('directory')), array(), array('*.cov') ); foreach ($finder->findFiles() as $file) { $coverage->merge(unserialize(file_get_contents($file))); } $this->handleReports($coverage, $input, $output); } 

मर्ज प्रक्रिया स्वयं बहुत सरल है। यह array_merge () सरणियों का एक विलय है, जिसकी अनदेखी की गई छोटी-छोटी बारीकियों के साथ, जिसे पहले से आयात किया गया है, या phpcov (--blacklist और --whitelist) के लिए एक फिल्टर पैरामीटर के रूप में पारित किया गया है।

  /** * Merges the data from another instance of PHP_CodeCoverage. * * @param PHP_CodeCoverage $that */ public function merge(PHP_CodeCoverage $that) { foreach ($that->data as $file => $lines) { if (!isset($this->data[$file])) { if (!$this->filter->isFiltered($file)) { $this->data[$file] = $lines; } continue; } foreach ($lines as $line => $data) { if ($data !== NULL) { if (!isset($this->data[$file][$line])) { $this->data[$file][$line] = $data; } else { $this->data[$file][$line] = array_unique( array_merge($this->data[$file][$line], $data) ); } } } } $this->tests = array_merge($this->tests, $that->getTests()); } 

यह सीरियलाइजेशन और डिसिएरलाइजेशन एप्रोच का उपयोग था जो बहुत ही समस्या बन गई जिसने हमें जल्दी से कवरेज उत्पन्न करने की अनुमति नहीं दी। एक से अधिक बार समुदाय ने PHP में क्रमबद्ध और गैर-व्यवस्थित कार्यों के प्रदर्शन पर चर्चा की है:
http://stackoverflow.com/questions/1256949/serialize-a-large-array-in-php ;
http://habrahabr.ru/post/104069 आदि।

हमारे छोटे प्रोजेक्ट के लिए, PHP रिपॉजिटरी जिसमें 35 हजार से अधिक फाइलें हैं, कवरेज वाली फाइलें बहुत अधिक वजन करती हैं, कई सौ मेगाबाइट प्रत्येक। एक आम फाइल, विभिन्न धाराओं से "सन्निहित" का वजन लगभग 2 गीगाबाइट होता है। इस तरह के डेटा वॉल्यूम पर अनजाने में खुद को अपनी महिमा में दिखाया - हम कई दिनों तक कवरेज की पीढ़ी के लिए इंतजार कर रहे थे।

इसलिए, हमने सबसे स्पष्ट अनुकूलन विधि - var_export और बाद की फ़ाइलों को शामिल करने का प्रयास करने का निर्णय लिया।

ऐसा करने के लिए, एक नया रिपोर्टर वर्ग php- कोड-कवरेज रिपॉजिटरी में जोड़ा गया है, जो var_export के माध्यम से एक नए प्रारूप में निर्यात करता है:

 class PHP_CodeCoverage_Report_PHPSmart { /** * @param PHP_CodeCoverage $coverage * @param string $target * @return string */ public function process(PHP_CodeCoverage $coverage, $target = NULL) { $output = '<?php $filter = new PHP_CodeCoverage_Filter();' . '$filter->setBlacklistedFiles(' . var_export($coverage->filter()->getBlacklistedFiles(), 1) . ');' . '$filter->setWhitelistedFiles(' . var_export($coverage->filter()->getWhitelistedFiles(), 1) . ');' . '$object = new PHP_CodeCoverage(new PHP_CodeCoverage_Driver_Xdebug(), $filter); $object->setData(' . var_export($coverage->getData(), 1) . '); $object->setTests(' . var_export($coverage->getTests(), 1) . '); return $object;'; if ($target !== NULL) { return file_put_contents($target, $output); } else { return $output; } } } 

हमने फ़ाइल प्रारूप PHPSmart को मामूली रूप से कहा है। इस प्रारूप की फाइलों का विस्तार * .स्मार्ट है।

PHP_CodeCoverage वर्ग की वस्तु के लिए खुद को निर्यात करने और एक नए प्रारूप में आयात करने की अनुमति देने के लिए, इसके गुणों के बसने और पाने वाले जोड़े गए।
फ़ापुनिट और फ़ाप्पोव रिपॉजिटरी में कुछ सुधार, ताकि वे सीखें कि इस तरह की वस्तु के साथ कैसे काम किया जाए, और हमारा कवरेज केवल ढाई घंटे में एकत्र किया जाना शुरू हुआ।
यहाँ आयात है:

  foreach ($finder->findFiles() as $file) { $extension = pathinfo($file, PATHINFO_EXTENSION); switch ($extension) { case 'smart': $object = include($file); $coverage->merge($object); unset($object); break; default: $coverage->merge(unserialize(file_get_contents($file))); } } 

आप GitHub पर हमारे संपादन पा सकते हैं और अपने प्रोजेक्ट पर इस दृष्टिकोण को आज़मा सकते हैं।
github.com/uyga/php-code-coverage
github.com/uyga/phpcov
github.com/uyga/phpunit

हमने सेबस्टियन बर्गमैन को हमारे संपादनों के पुल अनुरोधों को भेजा, जिससे उन्हें निर्माता के आधिकारिक भंडार में जल्द ही देखने की उम्मीद थी।
github.com/sebastianbergmann/phpunit/pull/988
github.com/sebastianbergmann/phpcov/pull/7
github.com/sebastianbergmann/php-code-coverage/pull/185

लेकिन उन्होंने उन्हें यह कहते हुए बंद कर दिया कि वह एक अतिरिक्त प्रारूप नहीं चाहते थे, बल्कि हमारे अपने:



जिसे हमने खुशी-खुशी किया। और अब हमारे परिवर्तन * .cov फ़ाइलों में पहले से उपयोग किए गए प्रारूप की जगह, निर्माता के आधिकारिक रिपॉजिटरी में प्रवेश कर गए हैं।
github.com/sebastianbergmann/php-code-coverage/pull/186
github.com/sebastianbergmann/phpcov/pull/8
github.com/sebastianbergmann/phpunit/pull/989

इस तरह के एक छोटे अनुकूलन ने हमें लगभग 30 (!) टाइम्स द्वारा कवरेज के संग्रह को गति देने में मदद की। इसने हमें कवरेज की गणना के लिए न केवल इकाई परीक्षणों को चलाने की अनुमति दी, बल्कि एकीकरण परीक्षणों के दो सेट भी जोड़े। इससे आयात-निर्यात के समय और परिणामों के विलय पर काफी असर नहीं पड़ा।

पुनश्च:


इलिया आयु,
क्यूए लीड