फर्मवेयर का परीक्षण करने के लिए उपकरणों का मूल्यांकन कैसे करें

पद के लेखक से परिचय

8 से अधिक वर्षों के लिए महत्वपूर्ण प्रणालियों के लिए सॉफ्टवेयर विकसित करने का अनुभव होने के बाद, मैं समुदाय को महत्वपूर्ण प्रणालियों (एयरोस्पेस, चिकित्सा, परिवहन और उद्योग) के लिए सॉफ्टवेयर के विकास और सत्यापन से संबंधित कुछ सामग्रियों से परिचित कराना चाहता हूं। विदेशी सहयोगियों के कई दिलचस्प लेखों के अनुवाद और अनुकूलन के लिए सहमत होने के बाद, मैंने इस संसाधन का उपयोग करने का निर्णय लिया। मुझे खुशी होगी अगर लेख हमारे समुदाय के लिए रुचि का हो। लेख वेक्टर सॉफ्टवेयर, इंक से सामग्री का उपयोग करता है
मैं टिप्पणियों में या पीएम के सवालों का जवाब दूंगा

आप कौन से परीक्षण उपकरण का उपयोग करते हैं?

पिछले कुछ वर्षों में, स्वचालित परीक्षण उपकरणों के लिए बाजार निधियों से भरा हुआ है जो एक ही कार्य करने का दावा करते हैं - स्वचालित परीक्षण। विकीपीडिया केवल C / C ++ प्रोग्रामिंग भाषाओं के लिए 38 परीक्षण पर्यावरण मूल्यांकन उपकरण सूचीबद्ध करता है। दुर्भाग्य से, संभावित उपयोगकर्ता, इन उत्पादों के विवरण के साथ-साथ उनके सरलीकृत डेमो संस्करणों का अध्ययन करते हुए, निष्कर्ष निकाल सकते हैं कि अधिकांश उपकरण लगभग समान हैं।

इस दस्तावेज़ का उद्देश्य उन इंजीनियरों को जानकारी प्रदान करना है, जिन्हें स्वचालित सॉफ़्टवेयर परीक्षण टूल का मूल्यांकन करते समय ध्यान रखने की आवश्यकता होती है, विशेष रूप से स्वचालित गतिशील परीक्षण उपकरण के बारे में।

आप इसके विनिर्देशन को पढ़कर परीक्षण उपकरण का मूल्यांकन नहीं कर पाएंगे।

सभी विनिर्देश सुंदर समान दिखते हैं। कीवर्ड समान हैं: "उद्योग के नेता", "अद्वितीय तकनीक", "स्वचालित परीक्षण", "उन्नत तरीके"। स्क्रीनशॉट एक दूसरे के समान हैं: हिस्टोग्राम, ब्लॉक आरेख, HTML रिपोर्ट और प्रतिशत। यह सब आपको बोर करता है।

सॉफ्टवेयर परीक्षण क्या है?

हर कोई जिसने कभी सॉफ़्टवेयर परीक्षण किया है, वह जानता है कि इसमें कई घटक होते हैं। सादगी के लिए, हम तीन शब्दों का उपयोग करेंगे:

• सिस्टम टेस्टिंग - एक पूरी तरह से एकीकृत सॉफ्टवेयर अनुप्रयोग का परीक्षण
• एकीकरण परीक्षण - सॉफ्टवेयर मॉड्यूल के एकीकृत समूहों का परीक्षण
• यूनिट टेस्टिंग - एप्लिकेशन सोर्स कोड के व्यक्तिगत मॉड्यूल का परीक्षण करना

एक डिग्री या किसी अन्य के लिए, हर कोई सिस्टम परीक्षण करता है, जिसके दौरान वह कुछ ऐसी क्रियाएं करता है जो अंतिम उपयोगकर्ता द्वारा निष्पादित की जाएगी। ध्यान दें, हम कुछ क्रियाओं के बारे में बात कर रहे हैं, न कि "सभी संभव" के बारे में। किसी एप्लिकेशन में त्रुटियों के सबसे सामान्य कारणों में से एक अप्रत्याशित उपस्थिति है, इसलिए, इनपुट डेटा के अस्पष्टीकृत संयोजन।

बहुत से लोग एकीकरण परीक्षण नहीं करते हैं, और बहुत कम इकाई परीक्षण करते हैं। यदि आपने एकीकरण या इकाई परीक्षण किया है, तो आप जानते हैं कि आवेदन में अन्य सभी से एकल फ़ाइल या समूह को अलग करने के लिए आपको कितने परीक्षण कोड बनाने की आवश्यकता है। परीक्षण के सबसे अधिक मांग वाले स्तरों पर, एक स्थिति सामान्य होती है जब परीक्षण के लिए लिखित कोड की मात्रा परीक्षण की जा रही कोड से अधिक होती है। नतीजतन, ऐसे परीक्षण स्तर आमतौर पर विमानन, चिकित्सा उपकरणों और रेलवे उद्योग जैसे क्षेत्रों में कार्यक्षमता और सुरक्षा के लिए महत्वपूर्ण अनुप्रयोगों पर लागू होते हैं।

स्वचालित परीक्षण का क्या अर्थ है?

यह सर्वविदित है कि मैन्युअल रूप से एकीकृत करने और इकाई परीक्षण की प्रक्रिया बेहद महंगी और समय लेने वाली है; नतीजतन, बाजार पर दिखाई देने वाले प्रत्येक उपकरण को स्वचालित परीक्षण का उपयोग करते हुए तुरही दिया जाता है। लेकिन इसका क्या मतलब है - "स्वचालित परीक्षण"? विभिन्न लोग "स्वचालन" शब्द को अपने तरीके से समझते हैं। कई डेवलपर्स के लिए, स्वचालित परीक्षण का मतलब एक बटन दबाने और परिणाम प्राप्त करने की क्षमता है - एक "ग्रीन चेक", जिसका अर्थ है कि कोड सही है या "लाल एक्स", जिसका अर्थ है एक त्रुटि।

दुर्भाग्य से, ऐसा उपकरण मौजूद नहीं है। और यदि आप अस्तित्व में हैं, तो क्या आप इसका उपयोग करना चाहेंगे? इसके बारे में सोचो। यदि टूल ने दिखाया कि आपका कोड "क्रम में" है तो इसका क्या अर्थ होगा? क्या इसका मतलब यह होगा कि कोड त्रुटिपूर्ण स्वरूपित है? हो सकता है कि। क्या इसका मतलब यह होगा कि कोड आपके कोडिंग मानकों को पूरा करता है? हो सकता है कि। क्या इसका मतलब कोड सही होगा? निश्चित रूप से नहीं!

पूरी तरह से स्वचालित परीक्षण अप्राप्य है और, सिद्धांत रूप में, अवांछनीय है। स्वचालन को परीक्षण प्रक्रिया के एल्गोरिदम और समय लेने वाले भागों पर ध्यान केंद्रित करना चाहिए। यह सॉफ्टवेयर डेवलपर्स को लगातार अधिक उन्नत और जटिल परीक्षण बनाने से मुक्त करेगा।

परीक्षण उपकरणों का मूल्यांकन करते समय, एक तार्किक प्रश्न उठता है: यह परीक्षण उपकरण किस डिग्री के स्वचालन प्रदान करता है? यह अनिश्चितता का मुख्य क्षेत्र है जब एक संगठन परीक्षण उपकरणों में निवेश पर रिटर्न की गणना करने की कोशिश करता है।

परीक्षण उपकरण विश्लेषण

परीक्षण उपकरण आम तौर पर विभिन्न प्रकार की कार्यक्षमता प्रदान करते हैं। चूंकि विभिन्न कंपनियों द्वारा विभिन्न टूलकिट प्रदान किए जाते हैं, इसलिए किसी अन्य टूल का उपयोग करते समय कार्यक्षमता भिन्न हो सकती है। मानदंडों की व्यापक प्रणाली के अनुसार, हमने उन घटकों के लिए निम्नलिखित नाम चुने जो मूल्यांकन किए गए परीक्षण उपकरण में मौजूद हो सकते हैं:

• विश्लेषक - यह घटक आपके कोड को समझने के लिए परीक्षण उपकरण की अनुमति देता है। वह कोड पढ़ता है और कोड का एक मध्यवर्ती प्रतिनिधित्व बनाता है (आमतौर पर एक पदानुक्रमित संरचना के रूप में)। अनिवार्य रूप से, कंपाइलर एक ही काम करता है। इसका आउटपुट या "विश्लेषक डेटा" आमतौर पर एक मध्यवर्ती भाषा में एक फ़ाइल में संग्रहीत किया जाता है।
• कोड जनरेटर - कोड जनरेटर एक परीक्षण कार्यक्रम के लिए स्रोत कोड का निर्माण करने के लिए "विश्लेषक डेटा" का उपयोग करता है।
• परीक्षण कार्यक्रम - इस तथ्य के बावजूद कि परीक्षण कार्यक्रम, सख्ती से बोलना, परीक्षण उपकरण का अभिन्न अंग नहीं है, परीक्षण कार्यक्रम के निर्माण के दौरान किए गए निर्णय परीक्षण उपकरण की अन्य विशेषताओं को प्रभावित करते हैं। इसलिए, एक परीक्षण उपकरण के मूल्यांकन में इस तरह के कार्यक्रम की वास्तुकला का बहुत महत्व है।
• कंपाइलर - परीक्षण उपकरण को परीक्षण कार्यक्रम घटकों के संकलन और लिंकिंग शुरू करने की अनुमति देता है।
• लक्ष्य घटक - परीक्षण स्क्रिप्ट को विभिन्न प्रकार के वातावरण में चलाने की अनुमति देता है, जिसमें एमुलेटर प्रोग्राम, सिमुलेटर, एम्बेडेड डिबगिंग प्रोग्राम और व्यावसायिक रीयल-टाइम ऑपरेटिंग सिस्टम के लिए समर्थन शामिल है।
• टेस्ट एडिटर - टेस्ट एडिटर उपयोगकर्ता को एक स्क्रिप्टिंग भाषा और एक परिष्कृत ग्राफिकल यूजर इंटरफेस दोनों का उपयोग करने की अनुमति देता है ताकि परीक्षण परिदृश्य के लिए पूर्व शर्त और अपेक्षित मान (पास / पास न होने के मानदंड) निर्धारित किए जा सकें।
• कवरेज - उपयोगकर्ता को एक रिपोर्ट प्राप्त करने की अनुमति देता है कि कोड के किन हिस्सों का परीक्षण किया जाता है।
• रिपोर्ट घटक - आपको परीक्षणों के पारित होने के दौरान एकत्र किए गए डेटा को एक एकल परियोजना प्रलेखन में संयोजित करने की अनुमति देता है।
• कमांड लाइन दुभाषिया - स्क्रिप्ट का उपयोग करके उपकरण को सक्रिय करने, उपयोगिता बनाने आदि द्वारा परीक्षण उपकरण का उपयोग करते समय अतिरिक्त स्वचालन प्रदान करता है।
• प्रतिगमन घटक - सॉफ्टवेयर के एक संस्करण के लिए बनाए गए परीक्षणों को नए संस्करणों के लिए फिर से शुरू करने की अनुमति देता है।
• एकीकरण घटक - परीक्षण उपकरण में निवेश करने का निर्णय लेने के लिए तीसरे पक्ष के उपकरण के साथ एकीकरण एक महत्वपूर्ण कारक हो सकता है। एक नियम के रूप में, आवश्यकताओं के प्रबंधन उपकरण और स्थिर विश्लेषण उपकरण के साथ कॉन्फ़िगरेशन प्रबंधन प्रणालियों के साथ एकीकरण आम है।

निम्नलिखित अनुभाग अधिक विस्तार से वर्णन करते हैं कि कैसे उपर्युक्त घटकों का मूल्यांकन प्रश्न में परीक्षण उपकरण में किया जाना चाहिए।

परीक्षण उपकरण / स्वचालन स्तर के प्रकार

इस तथ्य के कारण कि परीक्षण के किसी भी उपकरण में ऊपर वर्णित परीक्षण घटकों की सभी कार्यक्षमता शामिल नहीं है, और, स्वचालन की डिग्री द्वारा उपकरणों के बीच महत्वपूर्ण अंतर के कारण, हमने परीक्षण उपकरणों के निम्नलिखित व्यापक वर्गीकरण का निर्माण किया है। मूल्यांकन किए गए उपकरण को निम्न समूहों में से एक के लिए जिम्मेदार ठहराया जा सकता है:

• मैनुअल - "मैनुअल" उपकरण परीक्षण कार्यक्रम के लिए एक खाली ढांचा बनाते हैं और आपको परीक्षण स्क्रिप्ट को निष्पादित करने के लिए मैन्युअल रूप से परीक्षण डेटा और तार्किक भाग के लिए कोड लिखने की आवश्यकता होती है। एक नियम के रूप में, वे एक स्क्रिप्टिंग भाषा और / या लाइब्रेरी फ़ंक्शंस का एक सेट प्रदान करते हैं जिनका उपयोग परीक्षण पुष्टिकरण या परीक्षण प्रलेखन के लिए सारणीबद्ध रिपोर्ट के निर्माण जैसी सामान्य प्रक्रियाओं के लिए किया जा सकता है।
• अर्ध-स्वचालित - अर्ध-स्वचालित उपकरण में एक ग्राफिकल इंटरफ़ेस और कुछ स्वचालित कार्यक्षमता हो सकती है, लेकिन फिर भी अधिक जटिल डिजाइनों का परीक्षण करने के लिए मैनुअल कोड लेखन और / या स्क्रिप्टिंग की आवश्यकता होती है। इसके अलावा, अर्ध-स्वचालित टूल में स्वचालित टूल के कुछ घटकों की कमी हो सकती है, उदाहरण के लिए, लक्ष्य प्लेटफ़ॉर्म पर सॉफ़्टवेयर को तैनात करने के लिए अंतर्निहित समर्थन।
• स्वचालित - स्वचालित उपकरण पिछले अनुभाग में सूचीबद्ध प्रत्येक कार्यात्मक क्षेत्र या घटक से जुड़े होते हैं। इस समूह के उपकरणों को मैनुअल कोडिंग की आवश्यकता नहीं होती है और सभी भाषा निर्माण और सॉफ़्टवेयर लक्ष्य दोनों को अलग-अलग लक्ष्य प्लेटफार्मों पर समर्थन करते हैं।

परीक्षण उपकरणों में निहित अंतर

उपकरण सुविधाओं और स्वचालन स्तरों की तुलना करने के अलावा, उपयोग किए गए परीक्षण दृष्टिकोणों का मूल्यांकन और तुलना करना महत्वपूर्ण है। उदाहरण के लिए, जब आप एक परीक्षण परियोजना बनाते हैं, तो उपकरण केवल फाइल को अपने एकीकृत विकास परिवेश में अपलोड करता है, लेकिन जब तक आप कुछ कार्य नहीं करते तब तक एक परीक्षण कार्यक्रम या परीक्षण स्क्रिप्ट नहीं बनाते हैं।

नतीजतन, परीक्षण उपकरण में छिपी हुई खामियां हो सकती हैं। इसलिए, न केवल अपने कोड को परीक्षण उपकरण में लोड करना महत्वपूर्ण है, बल्कि कक्षा में प्रत्येक विधि के लिए कुछ सरल परीक्षण मामलों का निर्माण करने का भी प्रयास करें जिन्हें आप परीक्षण कर रहे हैं। क्या उपकरण एक पूर्ण परीक्षण कार्यक्रम का निर्माण करता है? स्वचालित रूप से स्टब्स बनाए जाते हैं? क्या आप परीक्षण परिदृश्यों के लिए मापदंडों और सामान्य डेटा को परिभाषित करने के लिए ग्राफिकल यूजर इंटरफेस का उपयोग कर सकते हैं या क्या आपको मैन्युअल रूप से कोड लिखना होगा, जैसे कि आप मैन्युअल रूप से परीक्षण कर रहे थे?

इसी प्रकार, लक्ष्य प्लेटफ़ॉर्म समर्थन उपयोग किए गए टूल में भिन्न होता है। यदि प्रदाता कहता है कि सावधान रहें: "हम सभी संकलक और लक्ष्य का समर्थन करते हैं।" इसका मतलब केवल एक ही बात है: "आपको अपने काम के माहौल में काम करने के लिए हमारे उपकरण के लिए सभी काम करने होंगे।"

परीक्षण उपकरणों का मूल्यांकन कैसे करें

अगले कुछ खंडों में विस्तार से वर्णन किया जाएगा कि सॉफ्टवेयर परीक्षण उपकरण का मूल्यांकन करते समय आपको किस जानकारी का सावधानीपूर्वक अध्ययन करना चाहिए। आदर्श रूप में, आपको प्रत्येक प्रस्तावित उपकरण का परीक्षण करके व्यवहार में प्राप्त जानकारी की पुष्टि करनी चाहिए।

इस तथ्य के कारण कि इस दस्तावेज में बाद की सामग्री एक तकनीकी प्रकृति की होगी, हम कुछ सम्मेलनों को पेश करना चाहेंगे। प्रत्येक अनुभाग में एक हेडिंग होती है जो उस मुद्दे का वर्णन करती है जिसे संबोधित किया जाएगा, आगे इस बात का स्पष्टीकरण दिया गया है कि यह मुद्दा क्यों महत्वपूर्ण है, और आखिरकार, "महत्वपूर्ण बिंदुओं" पर विचार किए गए सामग्री के सारांश के रूप में।

साथ ही, सम्मेलनों की बात करते हुए, हमें शब्दावली पर ध्यान देना चाहिए। "फ़ंक्शन" शब्द का अर्थ प्रोग्रामिंग भाषा C के फ़ंक्शन और प्रोग्रामिंग भाषा C ++ की कक्षा की विधि दोनों से है, "मॉड्यूल" शब्द प्रोग्रामिंग भाषा C की फ़ाइल और प्रोग्रामिंग भाषा C ++ की कक्षा को संदर्भित करता है। अंत में, आपको याद रखना चाहिए कि लगभग सभी परीक्षण उपकरण किसी भी तरह से "मुख्य बिंदुओं" में वर्णित वस्तुओं का समर्थन करते हैं, आपका कार्य स्वचालन के स्तर, उपयोग में आसानी और समर्थन की डिग्री का आकलन करना है।

कोड विश्लेषक और जनरेटर

सी प्रोग्रामिंग भाषा के लिए एक विश्लेषक का निर्माण करना अपेक्षाकृत सरल है; C ++ प्रोग्रामिंग भाषा के लिए एक पूर्ण-विश्लेषक का निर्माण करना अधिक कठिन है। मूल्यांकन प्रक्रिया में जिन प्रश्नों के उत्तर देने की आवश्यकता है उनमें से एक यह है कि विश्लेषक तकनीक कितनी विश्वसनीय और अच्छी है। कुछ परीक्षण उपकरण विक्रेता लाइसेंस प्राप्त विश्लेषक तकनीक को खरीदते हैं और फिर से बेचना करते हैं, जबकि अन्य का अपना विश्लेषक होता है। विश्लेषक और कोड जनरेटर की विश्वसनीयता को जटिल कोड निर्माणों की मदद से जांचा जा सकता है - कोड के विशिष्ट नमूने जो आप अपनी परियोजना में उपयोग करेंगे।

टेस्ट ड्राइवर

टेस्ट ड्राइवर मुख्य प्रोग्राम है जो परीक्षण को नियंत्रित करता है। यहाँ एक सरल चालक उदाहरण है जो सी प्रोग्रामिंग भाषा के मानक पुस्तकालय से साइन के गणितीय कार्य का परीक्षण करता है:

#include <math.h> #include <stdio.h> int main () { float local; local = sin (90.0); if (local == 1.0) printf ("My Test Passed!\n"); else printf ("My Test Failed!\n"); return 0; } 

यद्यपि यह एक काफी सरल उदाहरण है, एक "मैनुअल" परीक्षण उपकरण के लिए आपको कोड के इस छोटे टुकड़े को टाइप (और डीबग) करने की आवश्यकता हो सकती है, अर्ध-स्वचालित उपकरण एक निश्चित प्रकार की स्क्रिप्टिंग भाषा या साइन तर्क में प्रवेश करने के लिए एक साधारण जीयूआई का उत्पादन करेगा। स्वचालित टूल में परीक्षण परिदृश्यों के निर्माण के लिए पूर्ण-विकसित GUI, कोड कवरेज का एक एकीकृत विश्लेषण, एक एकीकृत डिबगर प्रोग्राम और एक लक्ष्य मंच पर सॉफ़्टवेयर को तैनात करने की एक एकीकृत क्षमता शामिल होगी।

मुझे आश्चर्य है कि अगर आपने देखा कि इस ड्राइवर में कोई त्रुटि है। यह इस तथ्य में निहित है कि साइन की गणना करने का कार्य वास्तव में डिग्री के बजाय एक इनपुट मूल्य के रूप में रेडियन के कोण का उपयोग करता है।

आश्रित कार्यों के लिए स्टब्स का उपयोग करना

जब आप परीक्षण के दौरान आश्रित फ़ंक्शन द्वारा लौटाए गए मूल्यों को नियंत्रित करना चाहते हैं तो आश्रित कार्यों के लिए भवन प्रतिस्थापन आवश्यक है। स्टब्स का उपयोग एकीकरण और इकाई परीक्षण का एक महत्वपूर्ण हिस्सा है, क्योंकि यह आवेदन के अन्य भागों से परीक्षण कोड को अलग करने की अनुमति देता है और ब्याज की उप-प्रणाली का परीक्षण करना आसान है।

स्थैतिक स्केलर मान (रिटर्न 0) को छोड़कर स्टब के साथ कुछ और जटिल को पूरा करने के लिए कई उपकरणों को मैन्युअल रूप से टेस्ट कोड बनाने की आवश्यकता होती है;

डेटा का परीक्षण करें

परीक्षण परिदृश्य के कार्यान्वयन में अर्ध-स्वचालित और स्वचालित साधनों द्वारा उपयोग किए जाने वाले दो मुख्य दृष्टिकोण हैं। पहला एक डेटा संचालित वास्तुकला है, दूसरा एकल परीक्षण वास्तुकला है।

डेटा-संचालित आर्किटेक्चर के लिए, सभी परीक्षण किए गए मॉड्यूल के लिए एक परीक्षण कार्यक्रम बनाया जाता है और इन मॉड्यूल में परिभाषित सभी कार्यों का समर्थन करता है। जब परीक्षण चलाया जाता है, तो उपकरण एक सूचना स्ट्रीम के साथ डेटा की आपूर्ति करता है, जैसे कि फ़ाइल डिस्क्रिप्टर या एक भौतिक इंटरफ़ेस, जैसे कि UART।

एकल परीक्षण की वास्तुकला के लिए, हर बार जब परीक्षण चलता है, तो उपकरण एक परीक्षण चालक बनाता है और इसे एक निष्पादन योग्य कार्यक्रम में संकलित करता है। कुछ बिंदुओं पर ध्यान देना महत्वपूर्ण है; सबसे पहले, एकल परीक्षण के लिए आवश्यक अतिरिक्त कोड का निर्माण, साथ ही बाद में संकलन परीक्षण होने पर अधिक समय लगेगा; दूसरे, परिणामस्वरूप, आप प्रत्येक परीक्षण परिदृश्य के लिए अलग-अलग परीक्षण कार्यक्रम बनाते हैं।

इसका मतलब यह है कि मूल्यांकन किए जा रहे उपकरण सामान्य रूप से कुछ नाममात्र परिदृश्यों के लिए काम कर सकते हैं और अधिक जटिल परीक्षणों के लिए सही ढंग से काम नहीं कर सकते हैं।

स्वचालित परीक्षण डेटा पीढ़ी

विभिन्न स्वचालित उपकरण परीक्षण मामलों को बनाने के लिए कुछ निश्चित स्वचालन प्रदान करते हैं। इसके लिए विभिन्न दृष्टिकोणों का उपयोग किया जाता है, जिनमें से कुछ नीचे दी गई तालिका में दिए गए हैं:

• (एमएमएम) न्यूनतम-पर्यावरण-अधिकतम परीक्षण स्क्रिप्ट - एमएमएम इनपुट डेटा प्रकारों के सीमा मूल्यों के लिए परीक्षण कार्य करता है। प्रोग्रामिंग भाषाओं में कोड C और C ++ अक्सर स्वीकार्य सीमा के बाहर इनपुट डेटा से खुद की रक्षा नहीं करता है।
• (ईसी) समतुल्यता वर्ग - यूरोपीय संघ परीक्षण निम्नानुसार हैं: डेटा को समतुल्यता वर्गों में विभाजित किया गया है, इस सिद्धांत पर कि कार्यक्रम किसी विशेष वर्ग के प्रत्येक प्रतिनिधि के साथ समान व्यवहार करता है। इस प्रकार, सभी संभावित डेटा की जांच नहीं की जाती है, लेकिन वर्ग के व्यक्तिगत प्रतिनिधि।
• (आरवी) यादृच्छिक चर - आरवी परीक्षण प्रत्येक फ़ंक्शन पैरामीटर के लिए यादृच्छिक मूल्यों के संयोजन को निर्दिष्ट करते हैं।
• (बीपी) सशर्त बयान शाखाओं पर टेस्ट - बीपी परीक्षण स्वचालित रूप से सशर्त बयान शाखाओं पर उच्च-स्तरीय कवरेज बना सकते हैं।

परीक्षण परिदृश्यों के स्वचालित निर्माण के बारे में सोचते समय, यह याद रखना महत्वपूर्ण है कि वे किस उद्देश्य से सेवा करते हैं। स्वचालित परीक्षण आवेदन कोड की मजबूती (विश्वसनीयता) का मूल्यांकन करने के लिए अच्छे हैं, लेकिन शुद्धता नहीं (भले ही वे उच्च स्तर के कोड कवरेज प्रदान करते हैं)। शुद्धता के लिए, आपको आवेदन (अपेक्षा) और क्या नहीं करता है (कोड) की अपेक्षा के आधार पर परीक्षण बनाने चाहिए।

संकलक एकीकरण

संकलक एकीकरण का दोहरा अर्थ है। एक ओर, एकीकरण आपको कंपाइलर मापदंडों के उपयोगकर्ता इनपुट की आवश्यकता के बिना स्वचालित रूप से परीक्षण कार्यक्रम घटकों का निर्माण करने की अनुमति देता है। दूसरी ओर, एकीकरण परीक्षण उपकरण को प्रसंस्करण के लिए उपयोग किए जाने वाले कंपाइलर के लिए विशिष्ट किसी भी भाषा एक्सटेंशन को स्वीकार करने की अनुमति देता है। यह आम बात है कि क्रॉस-कंपाइलर एक्सटेंशन का समर्थन करते हैं जो C / C ++ प्रोग्रामिंग भाषा मानकों का हिस्सा नहीं हैं। कुछ उपकरण ऐसे एक्सटेंशन को एक खाली स्ट्रिंग के रूप में परिभाषित करते हैं। यह एक बहुत ही क्रूड दृष्टिकोण है और इसका मुख्य नुकसान यह है कि यह संकलक द्वारा उत्पन्न वस्तु कोड को बदल देता है। उदाहरण के लिए, GCC विशेषता के साथ निम्नलिखित वैश्विक बाहरी चर पर विचार करें:

 extern int MyGlobal __attribute__ ((aligned (16))); 

यदि प्रश्न में टूल वैश्विक MyGlobal वस्तु को परिभाषित करते समय विशेषता का समर्थन नहीं करता है, तो कोड परीक्षण के दौरान और काम करने की स्थिति में अलग-अलग व्यवहार करेगा, क्योंकि संरेखण समान नहीं होगा।

लक्ष्य प्लेटफ़ॉर्म परीक्षण समर्थन

इस अनुभाग में, हम "टूलबॉक्स" शब्द का उपयोग विकास के पर्यावरण के लिए लागू करेंगे, जिसमें क्रॉस-कंपाइलर, डीबगिंग इंटरफ़ेस (एमुलेटर), लक्ष्य प्लेटफ़ॉर्म और रीयल-टाइम ऑपरेटिंग सिस्टम (RTOS) शामिल हैं। यह पता लगाना महत्वपूर्ण है कि क्या उपकरण में आपके टूलबॉक्स के साथ उत्कृष्ट एकीकरण है और यह समझें कि टूल को किसी अन्य टूलबॉक्स में माइग्रेट करने के लिए क्या बदलना होगा।

लक्ष्य मंच के साथ स्वचालन के स्तर और एकीकरण की विश्वसनीयता का पता लगाना भी महत्वपूर्ण है। जैसा कि पहले उल्लेख किया गया है, अगर विक्रेता कहता है: "हम सभी संकलक और लक्ष्य प्लेटफार्मों का समर्थन करते हैं," इसका मतलब केवल एक ही है: "आपको अपने कार्य वातावरण में काम करने के लिए हमारे उपकरण के लिए सभी काम करने होंगे।"

आदर्श रूप से, आपके द्वारा चुना गया उपकरण "एक-क्लिक" परीक्षण करना चाहिए, और लक्ष्य प्लेटफ़ॉर्म पर सॉफ़्टवेयर डाउनलोड करने और एक कार्यशील मशीन पर परीक्षण के परिणाम एकत्र करने की सभी कठिनाइयों को संदेश "टेस्ट चल रहा है" के पीछे छिपा हुआ है ताकि उपयोगकर्ता से कोई विशेष कार्रवाई की आवश्यकता न हो ।

लक्ष्य मंच पर परीक्षण में एक अतिरिक्त चुनौती हार्डवेयर उपलब्धता का मुद्दा है। अक्सर, हार्डवेयर को सॉफ्टवेयर के समानांतर विकसित किया जा रहा है, या हार्डवेयर तक सीमित पहुंच है। एक महत्वपूर्ण बिंदु अपने स्वयं के वातावरण में परीक्षण शुरू करने और बाद में एक वास्तविक लक्ष्य मंच के लिए संक्रमण बनाने की क्षमता है। आदर्श रूप से, परीक्षण उपकरण कलाकृतियों को स्वतंत्र होना चाहिए।

टेस्ट स्क्रिप्ट एडिटर

जाहिर है, यह परीक्षण स्क्रिप्ट संपादक में है कि आप परीक्षण उपकरण का उपयोग करके अधिकांश समय बिताएंगे। यदि उपकरण वास्तव में ऊपर उल्लिखित वस्तुओं के स्वचालन का समर्थन करता है, तो परीक्षण वातावरण की स्थापना और लक्ष्य मंच के साथ संचार करने में खर्च होने वाला समय कम से कम होगा। याद रखें कि हमने शुरुआत में क्या कहा था - हमारा लक्ष्य इंजीनियरों के लिए अपने समय का उपयोग अधिक उन्नत और अधिक पूर्ण परीक्षण बनाने के लिए करना है।

एक महत्वपूर्ण प्रश्न जिसका मूल्यांकन के दौरान उत्तर दिया जाना आवश्यक है, यह गैर-तुच्छ निर्माणों के लिए परीक्षण इनपुट डेटा और अपेक्षित मूल्यों को स्थापित करना कितना मुश्किल है। बाजार पर मौजूदा उपकरण स्केलर मान सेट करने के लिए काफी सरल तरीका प्रदान करते हैं। उदाहरण के लिए, क्या कक्षाओं के निर्माण के लिए उपकरण का मूल्यांकन सरल और सहज तरीके से किया जा रहा है? वेक्टर या मानचित्र जैसे एसटीएल कंटेनर स्थापित करने के बारे में क्या। परीक्षण स्क्रिप्ट संपादक में ऐसी बारीकियों का मूल्यांकन किया जाना चाहिए।

कोड कवरेज

अधिकांश अर्ध-स्वचालित और सभी स्वचालित परीक्षण उपकरणों में एक अंतर्निहित कोड कवरेज उपकरण होता है जो आपको मेट्रिक्स देखने देता है जो सॉफ्टवेयर कोड की मात्रा दिखाता है जो आपकी परीक्षण स्क्रिप्ट चलने पर चलता है। कुछ उपकरण सारणीबद्ध रूप में यह जानकारी प्रदान करते हैं। अन्य एक फ्लो ग्राफ का उत्पादन करते हैं, और कुछ एक टिप्पणी स्रोत कोड लिस्टिंग का उत्पादन करते हैं। यद्यपि तालिका सारांश की एक अच्छी प्रस्तुति है, यदि आप कोड के 100% कवरेज को प्राप्त करने की कोशिश कर रहे हैं, तो एक टिप्पणी की गई लिस्टिंग सबसे अच्छा तरीका है। इस तरह की लिस्टिंग कवर, आंशिक रूप से कवर, और बिना ढंके संरचनाओं के लिए एक रंग स्रोत कोड फ़ाइल दिखाती है। इससे यह देखना आसान हो जाता है कि 100% कवरेज के लिए अतिरिक्त परीक्षण मामलों की क्या आवश्यकता है।

टूलकिट के प्रभाव का मूल्यांकन करना भी महत्वपूर्ण है, क्योंकि आपके सॉफ़्टवेयर में अतिरिक्त स्रोत कोड जोड़ा जाता है। दो बिंदु हैं जिन्हें ध्यान में रखा जाना चाहिए: एक वस्तु कोड के आकार में वृद्धि है, और दूसरा कार्यक्रम निष्पादन के दौरान अतिरिक्त लागत है। यह समझना महत्वपूर्ण है कि आपके सॉफ़्टवेयर में प्रोग्राम (या दोनों) के लिए मेमोरी या समय सीमा है या नहीं। यह आपके सॉफ़्टवेयर के लिए अधिक महत्वपूर्ण है पर ध्यान केंद्रित करने में मदद करेगा।

प्रतिगमन परीक्षण

परीक्षण उपकरण चुनते समय, हमें दो मुख्य लक्ष्यों को याद रखना चाहिए। पहला लक्ष्य परीक्षण समय की बचत करना है। यदि आप इन शब्दों को पढ़ते हैं, तो आप हमारे साथ सहमत हैं। दूसरा लक्ष्य सॉफ्टवेयर जीवन चक्र के दौरान बनाए गए परीक्षणों के प्रभावी उपयोग को सुनिश्चित करना है। इसका मतलब यह है कि परीक्षणों के निर्माण में लगाए गए समय और धन का परिणाम परीक्षणों के कई उपयोग की संभावना (जब समय के साथ सॉफ्टवेयर में परिवर्तन होता है) और इन परीक्षणों के विन्यास प्रबंधन में आसानी सुनिश्चित करना चाहिए। मुख्य बात यह है कि उस उपकरण का मूल्यांकन करें जिसमें आप रुचि रखते हैं जिसमें व्यक्तिगत संस्थाओं को भविष्य में समान परीक्षणों को पारित करने के लिए संग्रहीत किया जाना चाहिए, और पुनरारंभ को कैसे नियंत्रित किया जाए।

रिपोर्टिंग

अधिकांश उपकरण एक समान तरीके से रिपोर्टिंग कार्यक्षमता प्रदान करते हैं। कम से कम, उन्हें एक आसानी से समझने वाली रिपोर्ट बनानी चाहिए जो इनपुट, अपेक्षित आउटपुट, वास्तविक आउटपुट और अपेक्षित और वास्तविक मूल्यों की तुलना प्रदर्शित करती है।

अन्य उपकरणों के साथ एकीकरण

किसी भी एकल उपकरण की गुणवत्ता या व्यावहारिक उपयोगिता के बावजूद, सभी उपकरणों को ऐसे वातावरण में कार्य करना चाहिए जो विभिन्न निर्माताओं के सिस्टम को जोड़ती है। बड़ी कंपनियों ने छोटी कंपनियों को खरीदने में बहुत समय और पैसा खर्च किया जो एक ऐसा उपकरण विकसित किया जो "सभी के लिए सब कुछ करता है।" इन मेगा टूलकिट्स के लिए, यह विशेषता है कि "कुल राशि भागों के योग से कम है।" कंपनियां अक्सर 4-5 छोटे, लेकिन व्यावहारिक उपकरण लेती हैं, उन्हें एक भारी और बेकार उपकरण में एकीकृत करती हैं।

टूलबॉक्स के साथ एकीकरण के अलावा, जिसे हमने पहले ही जांच लिया है, परीक्षण उपकरण के लिए सबसे उपयोगी प्रकार के एकीकरण स्थैतिक विश्लेषण, कॉन्फ़िगरेशन प्रबंधन और आवश्यकताओं प्रबंधन उपकरण के साथ एकीकरण हैं। हर कोई एक कॉन्फ़िगरेशन प्रबंधन प्रणाली में परीक्षण उपकरण कलाकृतियों को रखना चाहता है (पुन: उपयोग के लिए), और अधिकांश लोग परीक्षण मामलों के लिए आवश्यकताओं का पता लगाना चाहेंगे।

अतिरिक्त वांछित परीक्षण उपकरण सुविधाएँ

हमने "परीक्षण उपकरणों के विश्लेषण" अनुभाग की समीक्षा पूरी कर ली है। पिछले अनुभागों ने कार्यात्मक सामग्री का वर्णन किया है जो किसी भी उपकरण में है जिसे स्वचालित माना जाता है। इन विशेषताओं के महत्व के लिए बहस करते हुए, निम्नलिखित वर्गों में, हम कुछ वांछित (और कम सामान्य) विशेषताओं को सूचीबद्ध करते हैं। इन विशेषताओं में आपकी परियोजना के लिए प्रयोज्यता के विभिन्न स्तर हो सकते हैं।

ट्रू इंटीग्रेशन टेस्टिंग / मल्टी-यूनिट टेस्टिंग

एकीकरण परीक्षण इकाई परीक्षण का एक निरंतरता है। इसका उपयोग मॉड्यूल के बीच इंटरफेस का परीक्षण करने के लिए किया जाता है और आपको एक विशिष्ट कार्यात्मक प्रक्रिया करने वाले मॉड्यूल को संयोजित करने की आवश्यकता होती है। कई उपकरणों का परीक्षण कार्यक्रम का उपयोग करके वास्तविक मॉड्यूल के लिए ऑब्जेक्ट कोड को जोड़कर एकीकरण परीक्षण का समर्थन करने का दावा किया जाता है। यह विधि एक निष्पादन योग्य परीक्षण कार्यक्रम के अंदर कई फ़ाइलों का निर्माण करती है, लेकिन इन अतिरिक्त मॉड्यूल के अंदर कार्यों को सक्रिय करने की क्षमता प्रदान नहीं करती है। आदर्श रूप में, आपको किसी भी क्रम में किसी भी फ़ंक्शन को किसी भी परीक्षण परिदृश्य में सक्रिय करने में सक्षम होना चाहिए। एक पूरे के रूप में मॉड्यूल के बीच इंटरफेस का परीक्षण करना सॉफ्टवेयर में कई छिपी हुई मान्यताओं और त्रुटियों को प्रकट करेगा। वास्तव में, एकीकरण परीक्षण उन परियोजनाओं के लिए पहला कदम हो सकता है जिनमें इकाई परीक्षण का इतिहास नहीं है।

गतिशील स्टब का उपयोग करना

डायनेमिक स्टब्स बनाने का अर्थ है कि आप अपने स्टब फ़ंक्शंस को गतिशील रूप से सक्षम और अक्षम कर सकते हैं। यह आपको अन्य सभी कार्यों को डुबो कर एकल फ़ंक्शन के लिए एक परीक्षण बनाने की अनुमति देता है (भले ही वे परीक्षण के तहत फ़ंक्शन के समान मॉड्यूल में मौजूद हों)। बहुत जटिल कोड के लिए, यह एक महत्वपूर्ण विशेषता है जो परीक्षण को बहुत सरल करता है।

पुस्तकालय और अनुप्रयोग परीक्षण

सिस्टम परीक्षण में एक जटिल समस्या यह है कि पूरी तरह से एकीकृत सॉफ्टवेयर के उद्देश्य से एक परीक्षण कार्रवाई के लिए उपयोगकर्ता को बटन और स्विच दबाने या कंसोल पर प्रिंट करने की आवश्यकता हो सकती है। यदि एप्लिकेशन एम्बेडेड है, तो इनपुट को नियंत्रित करना और भी मुश्किल होगा। मान लीजिए कि आप एक कार्यात्मक स्तर पर एकीकरण परीक्षण के समान बाहरी प्रभावों को प्रस्तुत कर सकते हैं। यह आपको परीक्षण स्क्रिप्ट का एक सेट बनाने की अनुमति देगा जो केवल सॉफ्टवेयर एपीआई पर निर्भर करता है।

कुछ सबसे उन्नत उपकरण आपको इस तरह से परीक्षण करने की अनुमति देते हैं। इस परीक्षण मोड का एक अतिरिक्त लाभ यह है कि आवेदन का परीक्षण करने के लिए स्रोत कोड की आवश्यकता नहीं है। आपको बस एक एपीआई परिभाषा (आमतौर पर हेडर फ़ाइलों) की आवश्यकता होती है। यह कार्यप्रणाली परीक्षक को सिस्टम परीक्षण करने के लिए एक स्वचालित और स्क्रिप्टेड तरीका प्रदान करती है।

परीक्षण के माध्यम से चुस्त परीक्षण और विकास (TDD)

परीक्षण के माध्यम से विकास का तात्पर्य निम्नलिखित है: आवेदन कोड लिखने के बजाय पहले और दूसरे मॉड्यूल का परीक्षण करना, आप पहले आवेदन कोड लिखने से पहले परीक्षण बनाते हैं। यह एक नया लोकप्रिय विकास दृष्टिकोण है - पहले एक परीक्षण विकसित करने के लिए। यदि आप चुस्त विकास पद्धति का उपयोग करने की योजना बनाते हैं तो आपके स्वचालित उपकरण को इस परीक्षण विधि का समर्थन करना चाहिए।

आवश्यकताओं प्रबंधन उपकरणों के साथ द्विदिश एकीकरण

यदि आप मामलों को परीक्षण करने के लिए आवश्यकताओं को जोड़ने से संबंधित हैं, तो आवश्यकताओं प्रबंधन उपकरण के साथ परीक्षण उपकरण का एकीकरण वांछनीय है। यदि आप इस सुविधा में रुचि रखते हैं, तो द्वि-दिशात्मक इंटरफ़ेस को नोट करना महत्वपूर्ण है; जब परीक्षण मामलों में आवश्यकताओं को चिह्नित किया जाता है, तो परीक्षण मामले की जानकारी, जैसे कि परीक्षण का नाम और पास / असफल स्थिति, आवश्यकताओं डेटाबेस में स्थानांतरित कर दी जाती है। यह आपको परीक्षण आवश्यकताओं को पूरा करने की भावना प्राप्त करने की अनुमति देता है।

उपकरण योग्यता

यदि आप एक विनियमित वातावरण में काम करते हैं, जैसे कि नागरिक उड्डयन या तृतीय श्रेणी के चिकित्सा उपकरणों का निर्माण, तो आपको अपने एप्लिकेशन के निर्माण और परीक्षण के लिए उपयोग किए जाने वाले विकास साधनों को योग्य बनाना होगा।

योग्यता में उपकरण के उद्देश्य (इसकी परिचालन आवश्यकताएं) का परीक्षण करना और यह साबित करना शामिल है कि उपकरण इन आवश्यकताओं के अनुसार काम करता है। आदर्श रूप से, आपूर्तिकर्ता के पास इन सामग्रियों को तैयार रूप में होना चाहिए, साथ ही उन ग्राहकों का इतिहास भी होगा जो अपने उद्योग में योग्यता डेटा का उपयोग करते थे।

निष्कर्ष

याद रखें कि लगभग हर फ़र्मवेयर टेस्टिंग टूल एक तरह से या दूसरे में प्रमुख बिंदुओं में वर्णित बिंदुओं का समर्थन करता है। यह समझना महत्वपूर्ण है कि यह कितना स्वचालित है, उपयोग करने में आसान है, और समर्थन की उपयोगिता का मूल्यांकन करता है।