निरंतर अजगर परियोजना परीक्षण

प्रोग्रामर एक आलसी जानवर है, इसलिए सब कुछ जो एक से अधिक बार किया जाएगा उसे स्क्रिप्टेड होना चाहिए।

मैं पिछले कुछ समय से TDD उठा रहा हूं और निरंतर गुणवत्ता नियंत्रण का कार्य मेरे लिए अधिक से अधिक जरूरी होता जा रहा है। विशेष रूप से टीम में नए डेवलपर्स को जोड़ने पर।

सबसे पहले, मैंने अपने हाथों से परीक्षण चलाए: बचाओ, स्विच करो, $ nosetests। फिर, कोड की गुणवत्ता की जाँच परीक्षणों में जोड़ी गई और मुझे सब कुछ स्क्रिप्ट में डालना पड़ा:
pyflakes *.py
pep8 *.py
pylint *.py
nosetests

हर बार स्क्रिप्ट चलाना बहुत ही आलसी होता है, इसलिए इनोटिफ़ाइवाइट छोटे शेल को प्रत्येक सेव के बाद टेस्ट और चेक चलाना शुरू किया जाता है:
while true; do
inotifywait -e modify project/*.py -qq; clear
./do_tests
done

फिर मैं कमोबेश इस बात से प्रसन्न हो गया कि क्या हो रहा है और थोड़ी देर के लिए आराम भी। लेकिन प्रोग्रामर, आलसी होने के अलावा, गर्व भी करता है, इसलिए मैं किसी को परिणाम दिखाना चाहता हूं। क्या हो रहा है की एक कहानी रखने के लिए (जो बॉस के आने पर बहुत मदद करता है और पूछता है: "ठीक है, आप पिछले महीने क्या रहे हैं?") पहले से ही एक संस्करण नियंत्रण प्रणाली है। लेकिन यह केवल दिखाता है कि क्या किया गया है और प्रत्येक संशोधन की सफलता का अवलोकन नहीं करता है। यह पता चला है कि कोड झूठ है, लेकिन यह स्पष्ट नहीं है कि यह किस स्थिति में है और इसे और क्या करने की आवश्यकता है।

इसके अलावा, उन सहयोगियों पर नज़र रखना काफी मुश्किल है, जो कुछ कर सकते हैं और परीक्षण चलाना भूल जाते हैं, परिणामस्वरूप, रिपॉजिटरी में टूटा हुआ कोड होता है जो कोड समीक्षा पास नहीं किया है और अगले पुल के दौरान क्लस्टरफ़क अचानक शुरू हो सकता है।

और फिर, बहुत समय में, kmmbvnr @ lj ने एक पेंचकस जारी किया जिसमें उन्होंने जेनकिन्स (पूर्व में हडसन) के विषय के साथ django परियोजनाओं के लिए परीक्षण एकीकरण का प्रदर्शन किया। मैंने इन सभी सुंदरियों, रेखांकन और रिपोर्टों को देखा और यह भी चाहता था कि सब कुछ खुद गाएं और बजाएं। लेकिन उनका django-jenkins, जैसा कि नाम से ही स्पष्ट है, जंग में सन्निहित है और एक मुश्किल प्रणाली का उपयोग करके रिपोर्ट उत्पन्न करता है। मेरी परियोजना dzhanga में नहीं बढ़ी है और सबसे अधिक संभावना नहीं बढ़ेगी - यह एक बल्कि तुच्छ WSGI- अनुप्रयोग है, जो सच्चाई तेजी से बढ़ रही है। मुझे खरोंच से सब कुछ उठाना पड़ा।

रविवार को मैंने इसे मार दिया, लेकिन सामान्य तौर पर सब कुछ बहुत सीधा है और अब मेरे पास अच्छी खबरें हैं:



अंदर क्या है?

0) स्वचालित रूप से शलजम से नवीनतम संस्करण प्राप्त करें। सिस्टम बहुत ही पारा के साथ एकीकृत है, इसलिए सभी एडिट और कमिट वहां दिखाई और पहुंच योग्य हैं।

1) स्क्रैच से प्रोजेक्ट को एसेम्बल करना, मानो इसे कॉम्बैट सर्वर पर रोल आउट किया जा रहा हो। एक वातावरण बनाया जाता है, मॉड्यूल पंप और स्थापित किए जाते हैं और वह सब। सिस्टम खुद ही डेवलपर के सर्वर पर स्थित परिस्थितियों से मुकाबला करने के लिए स्थित है: फ्राई, पायथन परियोजनाओं का अलगाव, स्थापना के साथ बकवास।

2) टेस्ट चलते हैं। उनके साथ मिलकर, कोड परीक्षणों का परीक्षण कवरेज तुरंत होता है। नतीजतन, विफल परीक्षणों और कवरेज के बारे में रिपोर्ट फ़ाइलें बनाई जाती हैं। शीर्ष पर हरा ग्राफ - वहां असफल परीक्षणों की संख्या को लाल रंग में दिखाया गया है। बॉटलमॉस्ट ग्राफ कवरेज दिखाता है। कवरेज को असत्यापित लाइनों के हाइलाइटिंग के साथ सीधे फाइलों में देखा जा सकता है।

3) एक गुणवत्ता जांच की जाती है: pep8 और पाइलिंट सावधानी से डेवलपर के दिमाग को दबाते हैं ताकि उसे कोड, वैरिएबल नामों और अन्य में आदेश प्राप्त हो सके। एक लाल टूटी हुई रेखा जो किसी तरह लगातार संकेत देती है कि यह कचरा पहले ही बाहर निकालने का समय होगा।

4) जो डेवलपर टूटे हुए कोड को प्रतिबद्ध करता है, उसे ईमेल और जैबर (व्यक्तिगत रूप से और एमयूसी) में सिस्टम द्वारा स्वचालित रूप से डांटा जाएगा, और फिर लीड प्रोग्रामर द्वारा, जिसे एक समान शिकायत भी प्राप्त होगी। क्योंकि किसी को भी स्पेनिश पूछताछ की उम्मीद नहीं है!

नतीजतन, हमारे पास एक प्रणाली है जो एक साथ कई लोगों की दिनचर्या का महत्वपूर्ण हिस्सा लेती है।

मुझे दो!

सिस्टम को ही जावा / युद्ध पैकेज के रूप में आपूर्ति की जाती है। आपको कुछ भी स्थापित करने की आवश्यकता नहीं है, लेकिन आपको JRE की आवश्यकता होगी (मुफ्त में मैंने Diablo-1.6 स्थापित किया है)। साइट पर, आप एक लिंक को रोक सकते हैं और तुरंत इसे अपनी साइट पर लॉन्च कर सकते हैं । यह बस शुरू होता है: जावा -जेन जेनकिंस.वर। पोर्ट और सभी निर्दिष्ट करने के लिए अभी भी विकल्प हैं। मैं एक लोकलहोस्ट को बांधने और नग्नेक्स में लपेटने की सलाह देता हूं। आप कभी नहीं जानते कि क्या। मैं जड़ से चलाने के खिलाफ दृढ़ता से सलाह देता हूं।

फ्राए पर, उसने प्रदर्शन करने से इनकार कर दिया, इसलिए मैंने इसे एक पर्यवेक्षक में लपेट दिया। तब यह काम आया। बस स्थापित करें - पाइप स्थापित पर्यवेक्षक।

सभी सेटिंग्स ब्राउज़र से प्रबंधित जेनकींस मेनू शुरू करने के बाद की जाती हैं।

पहली बात यह है कि प्लगइन्स में प्लग है। वे स्विंग करते हैं और खुद को सेट करते हैं, आपको बस बक्से की जांच करने की आवश्यकता है।

• जेनकिंस कोबर्तुरा प्लगइन - परीक्षण कवरेज रिपोर्ट
• हडसन इंस्टेंट-मैसेजिंग प्लगइन - सूचनाएं। जैबर के लिए चाहिए। ठीक है, या जरूरत नहीं है, अगर आप इसे नहीं डालते हैं।
• हडसन जेबर नोटिफ़ायर प्लगइन - वास्तविक गिल।
• हडसन मर्क्यूरियल प्लगइन - रिपॉजिटरी इंटीग्रेशन।
• हडसन वॉयलेशन प्लगइन - पाइलिंट हैंडलर

पहले से ही स्थापित बाकी, मैं बंद कर दिया, क्योंकि नेफिग।

बिना रीस्टार्ट के कुछ प्लगइन्स सेटिंग में दिखाई नहीं देंगे।

सेटिंग्स

आपको तुरंत सुरक्षा सक्षम करना चाहिए, और उपयुक्त प्राधिकरण विधि का चयन करना चाहिए। मैंने प्रोजेक्ट-आधारित मैट्रिक्स प्राधिकरण रणनीति ली। आपको उपयोगकर्ता बनाने की आवश्यकता नहीं है, लेकिन आपको पुनरारंभ करने की आवश्यकता है। जब आप फिर से दर्ज करते हैं, तो आपको तुरंत एक व्यवस्थापक बनाने के लिए संकेत दिया जाएगा। इसे कॉल करने के लिए बेहतर है कि - व्यवस्थापक अन्यथा, फिर आप भ्रमित हो सकते हैं कि कौन कौन है, क्योंकि यह परियोजना के प्रतिभागियों की एक सूची रखता है, जो कमिट में उल्लेखित हैं।

"क्रॉस साइट रिक्वेस्ट फॉरगिरी कारनामे रोकें" अच्छी बात है, लेकिन यह मेरे साथ काम नहीं करता, मुझे इसे शामिल नहीं करना था।

JDK और अन्य "इंस्टॉलेशन" को कॉन्फ़िगर करने की आवश्यकता नहीं है, सब कुछ इस तरह से काम करता है।

शैल निष्पादन योग्य को / usr / स्थानीय / bash या / usr / bin / bash पर सेट किया जाना चाहिए। संक्षेप में, शेल के लिए पूर्ण पथ, और फिर आप कभी नहीं जानते कि यह वहां कैसे लॉन्च होगा ... यदि आप चाहें, तो आप एक अजगर को भी असाइन कर सकते हैं, लेकिन यह असुविधाजनक है।

जाबर और ईमेल अनुभाग आपको कैप और उन्नत बटन को कॉन्फ़िगर करने में मदद करेंगे।

प्रोजेक्ट सेटअप

जिन्हें यहां जॉब कहा जाता है। नौकरी का नाम निर्दिष्ट करें और "फ्री-स्टाइल" चिह्नित करें। फिर सबसे स्वादिष्ट, जिसके लिए मैंने आधा सप्ताहांत मारा।

मेरे पास बहुत सारे बिल्ड हैं और मैं उन्हें अक्सर करता हूं, इसलिए 10 टुकड़े / 30 दिनों की भंडारण सीमा निर्धारित करना तर्कसंगत लगता था। यदि वह - आप हमेशा बिल्ड नाउ पर क्लिक कर सकते हैं।

मैंने एक निजी शलजम पर कोड को बिटकॉइन में डाल दिया क्योंकि वे स्वतंत्र और काफी चित्रित हैं। Git I नापसंद पूरे सिर के लिए एक अजगर और गिथब के पास कोई मुफ्त निजी रैप नहीं है।

रिपॉजिटरी यूआरएल इस तरह होगा (हाँ, आपको इसमें प्राधिकरण को स्थानांतरित करने की आवश्यकता है। यही कारण है कि आपको तुरंत अपने जेनकींस इंस्टॉलेशन को पासवर्ड-प्रोटेक्ट करना होगा): [कोड] https: // उपयोगकर्ता नाम: password@bitbucket.org/username-uniproxy [/ code]

रिपॉजिटरी ब्राउज़र - बिटबकेट।

ट्रिगर्स बनाएँ - पोल एससीएम। क्रोन प्रारूप में अनुसूची: [कोड] * / 5 * * * * [/ कोड]
शायद एक अभी भी दूर से ट्रिगर बना सकता है, लेकिन मैं बहुत आलसी हूं। ठीक है, यह हर डेवलपर के लिए होना चाहिए फिर इस ट्रिगर के साथ ड्रैगिंग कॉन्फिग हो जाएगा ... और बास्केट हमेशा एक जगह पर और हर जगह सुलभ है।

निष्पादन के अधिग्रहण के कदम

परियोजना फाइलों को इस प्रकार व्यवस्थित किया जाता है:
.
buildenv.sh
pip-reqs.txt
pylint.rc
project/*.py
reports/*
venv/*
आखिरी दो स्क्रिप्ट द्वारा बनाई गई हैं। मैंने मुख्य लोगों को गीथूब पर रखा।

स्क्रैंकास्ट में, मैंने देखा कि सब कुछ एक चरण में था, लेकिन मैंने इसे तीन तार्किक लोगों में तोड़ने का फैसला किया: निर्माण, जांच, परीक्षण।

पहला बहुत सरल है: "./buildenv.sh" वह है जो प्रोजेक्ट में निहित है और वर्चुअनव तैयार करता है। यहां इसे कॉपी करना संभव होगा, लेकिन यह श्रम DRY नहीं है। एक ही चीज़ के डुप्लिकेट रखने होंगे।

दूसरा अधिक कठिन है:
#!/usr/local/bin/bash
venv/bin/pep8 --repeat --ignore=E501,W391 project | perl -ple 's/: ([WE]\d+)/: [$1]/' > reports/pylint.report
venv/bin/pylint --rcfile pylint.rc project/*.py >> reports/pylint.report
echo "pylint complete"

पहली और आखिरी पंक्तियाँ इस तथ्य से संबंधित हैं कि यदि पाइलिंट को शिकायत करने के लिए कुछ मिलता है, तो पूरे कदम को फिसड्डी माना जाएगा। और pylint सबसे बुरे शिक्षक से भी बदतर है, ALWAYS को शिकायत करने के लिए कुछ मिलेगा। कॉन्फ़िगरेशन में, उन्होंने पंजीकृत किया कि कुछ त्रुटियां मेरे लिए दिलचस्प नहीं थीं। pep8 pylint को पूरक करता है, लेकिन डिज़ाइन पर अधिक ध्यान देता है। कुछ चेतावनियाँ अक्षम हैं (पाइलिंट लाइन की लंबाई की जाँच करता है और वहाँ इसे विन्यास में सेट किया जाता है)।

कृपया ध्यान दें कि सभी स्क्रिप्ट वेनव से चलाए जाते हैं, जो पिछले चरण में स्थापित किए गए थे। अगर वहाँ कुछ टूट जाता है, तो बाकी सब कुछ गिर जाएगा और एक बड़ी लाल गेंद शर्म के बोर्ड पर लटक जाएगी।

तीसरा परीक्षण चलाता है और कवरेज एकत्र करता है:
venv/bin/coverage run --include 'project/*.py' project/tests.py --with-xunit --xunit-file=reports/tests.xml --where=project
venv/bin/coverage xml -o reports/coverage.xml

यहां आपको रास्तों से बहुत सावधान रहना होगा। यदि वे भंडार के मूल से नहीं हैं, लेकिन परियोजना से, तो लाइन-बाय-लाइन कवरेज प्रदर्शित करने से काम नहीं चलेगा स्रोत को खोजने में सक्षम नहीं होगा। विकल्पों पर विचार करने, धूम्रपान करने और टिप्पणी करने के बाद, मैंने अभी भी एक काम करने का विकल्प चुना है।

रिपोर्ट

मेट्रिक्स एकत्र किए जाते हैं, अब उन्हें डाउनलोड करने और दिखाने की आवश्यकता है। यह अभी भी वहां बहुत सारी उपयोगी चीजें कर सकता है, लेकिन अभी हम सुंदर रेखांकन के लिए इसका दुरुपयोग कर रहे हैं। पहली विधानसभा से पहले, यह कहेगा कि ऐसी कोई रिपोर्ट फ़ाइलें नहीं हैं, लेकिन यह डरावना नहीं है।

हम "प्रकाशित JUnit परीक्षा परिणाम रिपोर्ट" और, हालांकि वे JUnit नहीं हैं, हम nosetests ** / रिपोर्ट / परीक्षण / xml, जिसका अर्थ है "रिपोर्ट निर्देशिका में शलजम / नौकरी की जड़ से" शामिल हैं।

अगला आइटम "रिपोर्ट उल्लंघन" है और वहाँ pylint है। इस तथ्य के बावजूद कि फ़ील्ड का नाम "XML फ़ाइलनाम पैटर्न" है, और पाइलिंट कोई गैर-xml नहीं पैदा करता है, हम फ़ाइल को भी इंगित करते हैं ** / रिपोर्ट / pylint.report, जहां वे हर संभव तरीके से pep8 के साथ जोड़ते हैं, एक व्यक्तिगत रिकॉर्ड के साथ मैला डेवलपर्स के कोड की आलोचना करते हैं । यह सुबह में काम पर जाने में बहुत मदद करता है: मैं आया था, उल्लंघन के कार्यक्रम को देखा और सही करते हुए, भले ही मुझे याद आया कि मैंने कल क्या लिखा था।

खैर, आखिरी। "** / रिपोर्ट / कवरेज / xml" में कोबेटुरा कवरेज रिपोर्ट प्रकाशित करें। मुझे कोई अंदाजा नहीं है कि कोबर्टा क्या है, लेकिन यह पायथन कवरेज के प्रारूप को सही ढंग से समझता है।

पाइलिंट और कवरेज के साथ, आप "मौसम" की सीमाओं को निर्धारित कर सकते हैं, जो परियोजना की समग्र स्थिति को प्रभावित करेगा। डिफ़ॉल्ट मान फिट होने लगते हैं।

कोडर एक अभिमानी पक्षी है - किक मत करो, उड़ नहीं जाएगा

बहुत अंत में ईमेल और जैबर द्वारा सूचनाएं हैं, आप स्वाद के लिए अनुकूलित कर सकते हैं। एकमात्र बात यह है कि उन्हें पहले एकीकरण सर्वर के मुख्य कॉन्फ़िगरेशन सर्वर में कॉन्फ़िगर किया जाना चाहिए, अन्यथा यह काम नहीं करेगा।

जाने दो और लहराएंगे

सेटिंग्स दर्ज की जाती हैं, आप विधानसभा को भेज सकते हैं। मैन्युअल रूप से बिल्ड नाउ बटन के माध्यम से या तो कमिट करें और किसी चीज़ को शलजम में डालें। साइडबार के नीचे, बिल्ड हिस्ट्री में, एक नया कार्य और एक प्रगति स्लाइडर दिखाई देगा, जिस पर क्लिक करके आप वर्तमान बिल्ड के "कंसोल आउटपुट" अनुभाग पर जा सकते हैं और इसे लाइव देख सकते हैं। जब सब कुछ समाप्त हो जाता है, तो स्थिति में सभी प्रकार की चीजें दिखाई देंगी, जिस पर आप चढ़ सकते हैं और देख सकते हैं कि कैसे क्या है।

बोनस!

हर बार जब आप वेन को फिर से बनाते हैं, तो यह सभी मॉड्यूलों को पिपी के साथ डाउनलोड करता है और बहुत लंबे समय तक करता है। इसके अलावा, यह यातायात है। थोड़ी खोज करने के बाद, मैंने pypi.python.org/simple के तहत एक कैशिंग प्रॉक्सी रिपॉजिटरी नकल करने वाले pypi कलेक्टिव में पाया। यह `eggproxy_run` की तरह ही शुरू होता है। इसकी कोई सहायता नहीं है और, डिफ़ॉल्ट रूप से, यह सब कुछ / var / www में डालता है, जो अच्छा नहीं है। साइट पर इसके डॉक को पढ़ने के बाद, आप सीख सकते हैं कि पथ और बंदरगाहों को कॉन्फ़िगर करने के लिए एक कॉन्फ़िगर फ़ाइल कैसे बनाई जाए। यह भी ध्वस्त नहीं होना चाहता था, इसलिए जेनकिंस को पर्यवेक्षक की बाहों में भेजने के बाद।

buildenv.sh पहले से ही इस प्रॉक्सी की उपस्थिति / अनुपस्थिति के अनुकूल होने के लिए प्रशिक्षित है, वहां सब कुछ सरल है।

क्रेडिट

kmmbvnr @ lj: परीक्षण कैसे शुरू करें और इसका आनंद लें । जेनकिंस के साथ एकीकरण के अलावा, django-any का भी वर्णन किया गया है। मैं दृढ़ता से सलाह देता हूं कि सभी dzhangists पढ़ें और उपयोग करें।

हडसन के साथ एक अजगर सीआई सर्वर की स्थापना , अभी भी सही युक्तियों के साथ एक अप-टू-डेट पोस्ट है, जिसके आधार पर मेरा यह व्याख्या आधारित है।

यहां तक ​​कि परियोजना के परीक्षण के लिए, WSGI अनुप्रयोगों पर एक साधारण आवरण का उपयोग किया गया था , जो कि अनावश्यक बवासीर के बिना ब्राउज़र में wsgi कंटेनरों और मैनुअल काम के बिना परीक्षण और डिबगिंग की अनुमति देता है।