कोड एनालाइज़र की तुलना: CppCat, Cppcheck, PVS-Studio, Visual Studio

लेखक: एवगेनी रेज़्कोव ( एवेंजिएरिज़कोव ), एंड्री कारपोव ( एंड्रे २०० )), पावेल एरेमीव ( पौल ), सियावातोस्लाव रज़मिसलोव ( svyatoslavmc )।


हमने चार C / C ++ कोड एनालाइज़र की विस्तृत तुलना की: CppCat, Cppcheck, PVS-Studio और Visual Studio 2013 में बनाया गया स्टैटिक एनालाइज़र। यह एक गंभीर अध्ययन है, जिसे हमने लगभग 170 मानव-घंटे और हमारी राय में खर्च किया है। , अच्छी तरह से इस समय मौजूद तस्वीर को दर्शाता है।

तुलना के बारे में

शोध के लिए, दस से अधिक ओपन-सोर्स प्रोजेक्ट का परीक्षण किया गया था।

नैदानिक ​​संदेशों के लिए विवरण का अनुशंसित स्तर निर्धारित किया गया था:

• CppCat: सभी निदान (कोई स्तर नहीं);
• कैपचेक: त्रुटियां और चेतावनी;
• पीवीएस-स्टूडियो: स्तर 1 और स्तर 2 सामान्य निदान;
• दृश्य स्टूडियो: Microsoft मूल निवासी अनुशंसित नियम।

परिणामस्वरूप, ऐसी रिपोर्टें प्राप्त हुईं कि हमने सावधानीपूर्वक विश्लेषण किया। उन संदेशों का चयन किया गया था, जो हमारी राय में, कोड में या किसी भी स्थिति में त्रुटियों को इंगित करते हैं। इस लेख में परिणामों को संक्षेप में प्रस्तुत किया गया था।

तुलना पद्धति को लेख में विस्तार से वर्णित किया गया है "हमने कोड एनालाइज़र CppCat, Cppcheck, PVS-Studio, Visual Studio" ( रूसी में , अंग्रेजी में ) की तुलना कैसे की। इसमें, परीक्षण किए गए परियोजनाओं के नाम ढूंढना संभव होगा, जो नैदानिक ​​संदेश चुने गए थे, त्रुटियों के उदाहरण, और इसी तरह। यह कारण भी बताता है कि झूठी सकारात्मक की संख्या के बारे में जानकारी को इंगित करना संभव नहीं था।

तुलना परिणाम

CppCat, Cppcheck, PVS-Studio, और Visual Studio analyzers के लिए तुलना परिणाम निम्नलिखित तीन तालिकाओं में प्रस्तुत किए गए हैं:

तालिका 1 - ज्ञात वास्तविक समस्याओं की संख्या, टुकड़ों में

तालिका 2 - ज्ञात वास्तविक समस्याओं की संख्या, प्रतिशत में

तालिका 3 - विश्लेषणकर्ताओं के संचालन समय, मिनटों में

समय

हम विश्लेषण के समय को तुलना के एक आवश्यक पैरामीटर के रूप में नहीं मानते हैं। लेकिन वे नियमित रूप से काम की गति के बारे में सवाल पूछते हैं, इसलिए हमने इस लेख में समय मापन को शामिल किया।

जैसा कि आप देख सकते हैं, सबसे तेज Cppcheck है। लेकिन ध्यान रखें कि यह कुल समय है। व्यक्तिगत परियोजनाओं पर, अन्य विश्लेषक Cppcheck की तुलना में तेज़ हैं। यह सब परियोजना पर निर्भर करता है।

CppCat वास्तव में पीवीएस-स्टूडियो की तुलना में थोड़ा तेज काम करता है, क्योंकि यह कम जांच करता है। लेकिन अंतर इतना महत्वहीन है (सेकंड के दसियों) कि यह तालिका में इसे चिह्नित करने के लिए कोई मतलब नहीं है।

का निदान

कुल मिलाकर, हमारी टीम ने परियोजनाओं में 965 अद्वितीय कोड अंशों की पहचान की, जो करीब ध्यान देने योग्य हैं।

तालिका से पता चलता है कि CppCat और PVS-Studio ने समान परिणाम दिखाए। तथ्य यह है कि अनुशंसित सेटिंग्स के साथ, पीवीएस-स्टूडियो विश्लेषक CppCat के समान संदेश प्रदर्शित करता है।

कुल मिलाकर, CppCat विश्लेषक, PVS-Studio की तरह, परियोजना कोड में 742 खतरनाक स्थानों का पता लगाता है। कैपचेक - 193, विजुअल स्टूडियो - 116।

यह कहा जा सकता है कि CppCat और PVS-Studio analyzers Cppcheck की तुलना में 4 गुना अधिक त्रुटियों का पता लगाते हैं और Visual Studio विश्लेषक की तुलना में 6 गुना अधिक है।

निष्कर्ष

CppCat और PVS-Studio विश्लेषक खोजे गए दोषों और संभावित दोषों की संख्या में स्पष्ट नेता साबित हुए।

इसके साथ ही

1. एव्जेनी रयज़कोव, एंड्री कारपोव, पावेल एरेमीव, सिवातोस्लाव रज़मिसलोव। "हम कोड का विश्लेषण करने वाले CppCat, Cppcheck, PVS-Studio, Visual Studio की तुलना कैसे करते हैं" ( रूसी में , अंग्रेजी में )।

दुर्भाग्य से, हम अब CppCat परियोजना का विकास या समर्थन नहीं करते हैं। आप यहां कारणों के बारे में पढ़ सकते हैं।