ओपनसीवी कैस्केड हैर सीखना

हबर पर पहले से ही कई लेख हैं और हारा कैस्केड ( एक , दो , तीन ) क्या है। यहां तक ​​कि एक भी है जहां सीखने की प्रक्रिया प्रभावित होती है, लेकिन वर्णित कार्य के संबंध में। प्रशिक्षण के विषय पर, अंग्रेजी ( पहले , दूसरे , तीसरे ) में कुछ अच्छे लेख हैं, लेकिन, मेरी राय में, वे भ्रमित कर रहे हैं: या तो वे हर चीज के बारे में बहुत कम या बहुत अधिक कहते हैं - आवश्यक विचार को बाहर करना मुश्किल है।

इस लेख में मैं यह दिखाने की कोशिश करूँगा कि वीडियो स्ट्रीम में एक साधारण विषय को खोजने के लिए प्रशिक्षण द्वारा कुछ घंटों में खरोंच से कैसकेड को कैसे प्रशिक्षित किया जाए (एक उदाहरण एक तस्वीर से एक आकर्षक उल्लू है)। सभी प्रशिक्षण नमूने और कार्यक्रम संलग्न किए जाएंगे।
यह सब क्यों जरूरी है? उच्च गति के साथ वस्तुओं के वर्गों को पहचानने का सबसे आसान तरीका है हर कैस्केड है। इनमें लोगों के चेहरे और हाथ, लाइसेंस प्लेट, पैदल यात्री शामिल हैं। Haar डिटेक्टर के साथ, फ्रेम में जानवरों को खोजना आसान है (वैसे, यह आश्चर्यजनक है कि मैंने रास्पबेरी पाई पर अभी तक कोई भी स्वचालित शीर्षक फीडर नहीं देखा है)। इसके अलावा, अधिकांश मौजूदा प्रणालियों के लिए रेडी-मेड ओपनसीवी कार्यान्वयन हैं (मैं ब्लैकफिन के लिए भी मिला)। यह सब Haar को वीडियो प्रसंस्करण कार्यों को हल करने के लिए सबसे सुविधाजनक तरीकों में से एक बनाता है, यहां तक ​​कि उन लोगों के लिए भी जिन्होंने वीडियो प्रसंस्करण के साथ काम नहीं किया है।

प्रक्रिया है

संपूर्ण नमूनाकरण सीखने की प्रक्रिया में प्रोग्रामिंग कौशल की आवश्यकता नहीं होती है। ऐसा करने के लिए, OpenCV की मुख्य असेंबली में पहले से तैयार कंसोल प्रोग्राम मौजूद हैं। कैस्केड का उपयोग करने के लिए न्यूनतम प्रोग्रामिंग कौशल की आवश्यकता होती है, यह समाप्त उदाहरण में कुछ पंक्तियों को बदलने के लिए पर्याप्त है, जो C, C ++, C #, Java, Python, आदि के अंतर्गत हैं।

हमें क्या जरूरत होगी?

• वास्तविक निवास स्थान में विषय की तस्वीरें। जितना अधिक नमूना हम पहचानते हैं, उतना ही बेहतर परिणाम है। यदि आप स्टूडियो से लोगों की तस्वीरों से चेहरा पहचानने वाले को प्रशिक्षित करते हैं, तो सड़क पर मान्यता स्तर स्टूडियो की तुलना में कम होगा। यह छाया, कपड़े और चेहरे की अभिव्यक्ति दोनों से प्रभावित होता है।
• उन नकारात्मक फ़ोटो का चयन जिनके पास कोई मान्यता प्राप्त ऑब्जेक्ट नहीं है। तस्वीरों को उसी वातावरण में लिया जाना चाहिए जहां मान्यता होगी। यदि उत्तरी ध्रुव पर तस्वीरों से प्रतिरूपों का नमूना लिया जाता है, और यदि आप इसे उष्णकटिबंधीय जंगल में पहचानते हैं, तो कुछ भी काम नहीं करेगा।
• OpenCV। इस लेख में वर्तमान 2.4.7 का उपयोग किया गया था। यहां स्थित सभी कार्यक्रम उदाहरण इसके साथ काम करेंगे। लेकिन अगर आप स्क्रैच से प्रोजेक्ट कर रहे हैं, तो नए OpenCV को डाउनलोड करना बेहतर है।

उदाहरण और प्रतिपक्ष कहां से लाएं?

कई तरीके हैं:

• कैमरा खुद ले लो।
• इंटरनेट पर उपलब्ध होने पर, तैयार डेटाबेस का उपयोग करें। व्यक्तियों, संख्याओं, आंखों, भावनाओं, लोगों, आदि के लिए। ऐसे कई आधार हैं।
• कैमकॉर्डर चालू करें और वीडियो स्ट्रीम से चित्रों का एक सेट लें।
• OpenCV से जुड़े सॉफ़्टवेयर का उपयोग करें और उपलब्ध 2-3 छवियों से नए चयन उत्पन्न करें। इस विकल्प को यहां विस्तार से वर्णित किया गया है, मैं उस पर नहीं रहूंगा। यह खराब काम करता है, गंभीर उद्देश्यों के लिए उपयुक्त नहीं है।

विकल्प 1-3 के लिए, कई कार्यक्रम हैं जो जीवन को सरल बनाते हैं। सबसे पहले, ये प्रोग्राम हैं जो आपको फ़ोटो को चिह्नित करने की अनुमति देते हैं। अंग्रेजी में लेख स्व-लिखित कार्यक्रम " इमेजक्लिपर " का उपयोग करते हैं। मुझे यह पसंद नहीं आया, क्योंकि यह बड़ी तस्वीरों के साथ सही ढंग से काम नहीं करता है। अपने लिए, मैंने एक कार्यक्रम लिखा, जो मेरे साथ काम करने के लिए सुविधाजनक था। स्रोत और कोड इस लेख के "डाउनलोड" अनुभाग (चित्रकार) में संलग्न हैं।

कितनी तस्वीरों की आवश्यकता है?

एक मज़बूती से काम करने वाले फेस डिटेक्टर के लिए, ये 3000-4000 सकारात्मक उदाहरण हैं और कई नकारात्मक हैं। 500 सकारात्मक और 1000 नकारात्मक में से, मैंने एक स्थिर संख्या डिटेक्टर बनाया। इस लेख में दिखाए गए डिटेक्टर के लिए, मैंने 250 सकारात्मक और 500 नकारात्मक तस्वीरें लीं।
नमूना जितना बड़ा और विविध होता है, वह उतना ही अधिक स्थिर होता है और सीखने में अधिक समय लेता है।

काम पर लगना।

प्रशिक्षण शुरू करने के लिए, हमें उदाहरणों के साथ 2 फ़ोल्डर्स रखने की आवश्यकता है। "अच्छा" सकारात्मक छवियों वाला एक फ़ोल्डर है, "बुरा" - नकारात्मक लोगों के साथ। महत्वपूर्ण ! प्रशिक्षण कार्यक्रम के पिछले संस्करणों में से कम से कम, यह फ़ाइल नाम में रिक्त स्थान और बिंदुओं की उपस्थिति के लिए खराब प्रतिक्रिया करता है। रूसी किसी भी संस्करण का अनुभव नहीं करता है। छवियों को "0.bmp" नाम देने की कोशिश करें, "1। bmp ”आदि। प्रारूप "bmp" और "jpg" stably काम करते हैं, मैंने बाकी के साथ जांच नहीं की।
प्रत्येक फ़ोल्डर के लिए, आपको एक पाठ फ़ाइल की आवश्यकता होती है जो उपयोग की गई छवियों का वर्णन करती है। चलो उन्हें "Good.dat" और "Bad.dat" कहते हैं। महत्वपूर्ण ! यह फ़ाइल उसी स्तर पर होनी चाहिए जिस फ़ाइल सिस्टम पर फ़ोल्डर निहित है।

\Good \1. bmp \2. bmp \.... bmp \N. bmp \Bad \1. bmp \2. bmp \.... bmp \N. bmp Good.dat Bad.dat 

नकारात्मक और सकारात्मक वस्तुओं के लिए विवरण फ़ाइलों की एक अलग संरचना है। एक नकारात्मक उदाहरण फ़ाइल के लिए, यह केवल सापेक्ष छवि पथों की एक सूची है:

 Bad\1. bmp Bad\2. bmp Bad\.... bmp Bad\N. bmp 

सकारात्मक उदाहरणों वाली फ़ाइलों के लिए, रिकॉर्डिंग थोड़ा मुश्किल है। पथ के अतिरिक्त, प्रश्न में वस्तु की स्थिति और उसके आकार को इंगित किया जाना चाहिए। सिद्धांत रूप में, प्रत्येक सकारात्मक छवि में वस्तुओं के कई उदाहरण हो सकते हैं। लेकिन मैं यह सलाह नहीं देता। सभी के सर्वश्रेष्ठ: एक फ्रेम - एक वस्तु।

 Good \0.bmp 1 0 0 414 148 Good \1.bmp 1 0 0 568 164 Good \....bmp 1 0 0 440 144 Good \N.bmp 1 0 0 590 182 

"Good \ 0.bmp" विवरण फ़ाइल के सापेक्ष ऑब्जेक्ट का पता है। "1" - छवि में सकारात्मक वस्तुओं की संख्या। "0 0 414 148" - छवि में आयत का निर्देशांक जिसमें ऑब्जेक्ट स्थित है। यदि कई ऑब्जेक्ट हैं, तो रिकॉर्ड फॉर्म लेता है: "Good \ 0.bmp 2 100 200 50 50 300 300 25 25"।
मैं दोहराता हूं कि जब प्रत्येक ऑब्जेक्ट एक अलग फ्रेम होता है तो यह सबसे सुविधाजनक होता है, जबकि ऑब्जेक्ट के निर्देशांक फ्रेम के आकार के बराबर होते हैं।

एक सकारात्मक नमूने का उदाहरण स्नैपशॉट:


नकारात्मक नमूना स्नैपशॉट का उदाहरण:

हम पढ़ाना शुरू करते हैं!

प्रशिक्षण दो चरणों में होता है। पहला चरण - सभी सकारात्मक छवियां एक सामान्य प्रारूप में कम हो जाती हैं। आपको इसे OpenCV फ़ोल्डर प्रोग्राम में स्थित करने की आवश्यकता है। वह लीजिए जो आपके सिस्टम से मेल खाता है। मेरे पास यह "opencv \ build \ x64 \ vc10 \ bin" है। कार्यक्रम को opencv_createsamples.exe कहा जाता है।
उपरोक्त सकारात्मक छवियों का एक पैकेट बनाने के लिए, कंसोल के माध्यम से opencv_createsamples चलाएं:

 opencv_createsamples.exe -info E:\BAZAS\Sova\Good.dat -vec samples.vec -w 20 -h 20 

-info ई: \ BAZAS \ Sova \ Good.dat - सकारात्मक छवियों का वर्णन करने के लिए फ़ाइल। या तो पूरा पता निर्दिष्ट है, या opencv_createsamples.exe प्रोग्राम के सापेक्ष है।
-vec नमूने.vec - फाइल जिसमें सामान्य प्रारूप में कम की गई सकारात्मक छवियों का डेटाबेस सहेजा जाएगा। पता opencv_createsamples.exe प्रोग्राम के सापेक्ष निर्दिष्ट किया जाना चाहिए (चलो सिस्टम में पूर्ण पथ कहते हैं)।
-w 20 -h 20 - टेम्पलेट का आकार। यह लगभग वांछित वस्तु के अनुपात को प्रतिबिंबित करना चाहिए। उदाहरण के लिए, चेहरे के लिए या एक उल्लू के लिए, चौड़ाई से ऊंचाई का सबसे उपयुक्त अनुपात 1 * 1 है। संख्याओं के लिए यह 3 * 1 है। और एक पेंसिल की खोज करने के लिए, 8 * 1 जैसी किसी चीज़ को रखना तर्कसंगत है। टेम्पलेट का आकार काफी छोटा होना चाहिए। इसे स्थापित करना आदर्श है ताकि एक व्यक्ति खुद को चित्रित वस्तु को भेद सके, लेकिन इससे अधिक नहीं। टेम्प्लेट जितना बड़ा होगा, प्रशिक्षण उतना लंबा होगा।
कार्यक्रम का परिणाम नमूनों.वेसी फ़ाइल है, जिसमें आपके सभी सकारात्मक चित्र बीएमपी के करीब और डब्ल्यू * एच के आकार के साथ एक प्रारूप में होंगे।

एक अंतिम झरना बनाएँ

अंतिम कैस्केड की गणना करने के लिए, "opencv_traincascade.exe" प्रोग्राम का उपयोग किया जाता है, जो opencv_createsamples.exe के समान फ़ोल्डर में निहित है। यह लंबे समय तक काम करता है। यहां तक ​​कि बहुत लंबे समय तक। 500-1000 वस्तुओं के लिए एक झरना का प्रशिक्षण लगभग पूरे दिन लगेगा। एक उदाहरण के बारे में 2 घंटे के लिए प्रशिक्षित किया गया था। जब कहा जाता है:

 opencv_traincascade.exe -data haarcascade -vec samples.vec -bg E:\BAZAS\Sova\Bad.dat -numStages 16 -minhitrate 0.999 -maxFalseAlarmRate 0.4 -numPos 200 -numNeg 500 -w 20 -h 20 -mode ALL -precalcValBufSize 1024 -precalcIdxBufSize 1024 

-data haarcascade - परिणाम डालने के लिए फ़ोल्डर का पता। इसे प्रोग्राम के रूट फोल्डर से गिना जाता है। अग्रिम में बनाना आवश्यक है, अन्यथा सब कुछ बाहर उड़ जाएगा।
-vec नमूने ।vec - अंतिम पैराग्राफ में गणना की गई सकारात्मक उदाहरणों के साथ फ़ाइल का पता
-b E: \ BAZAS \ Sova \ Bad.dat - नकारात्मक उदाहरणों के लिए विवरण फ़ाइल का पता
-numStages 16 - कैस्केड स्तर की संख्या जो कार्यक्रम को प्रशिक्षित करेगा। अधिक स्तर, अधिक सटीक, लेकिन लंबे समय तक। इनकी सामान्य संख्या 16 से 25 है।
-मिनिट्रेट 0.999 - प्रशिक्षण की गुणवत्ता का गुणांक निर्धारित करता है। वास्तव में, यह "सही" पता लगाने का प्रतिशत है। यदि .999 सेट किया जाता है, यानी शुरुआती नमूने के अनुसार, 1-0.999 = 0.1% से अधिक छूटे हुए लक्ष्य नहीं होंगे। अनुपात जितना अधिक होगा, झूठे अलार्म का स्तर उतना अधिक होगा। सिद्धांत रूप में, यदि नमूना अच्छा है, तो आप 0.99-0.999 सेट कर सकते हैं। यदि यह खराब है (कुछ ऑब्जेक्ट हैं, तो वे पृष्ठभूमि के साथ मिश्रित होते हैं), फिर इसे छोड़ दिया जाना चाहिए।
-MaxFalseAlarmRate 0.4 - गलत अलार्म स्तर। AdaBoost एक एल्गोरिथ्म है जो किसी नमूने पर झूठे अलार्म के किसी भी स्तर को खींच सकता है। लेकिन कुछ उचित करना बेहतर है। डिफ़ॉल्ट रूप से, सभी 0.5 पर सेट होते हैं। लेकिन यह खेलने के लिए समझ में आ सकता है। यदि नमूना बहुत अच्छा है, तो आवश्यक चिंता का स्तर जल्दी से पहुंच जाएगा और प्रशिक्षण रोक दिया जाएगा।
-numPos 200 - सकारात्मक उदाहरणों की संख्या। महत्वपूर्ण! ऐसा लगता है कि आपके पास जितनी फाइलें थीं, उतनी ही होनी चाहिए। लेकिन ऐसा नहीं है (ज्यादातर मैनुअल में यह नोट नहीं किया गया है)। माइनिट्रेट अनुपात जितना कम होगा, आपकी फाइलें उतनी ही बेकार मानी जाएंगी। ज्यादातर मामलों में, आपके पास मौजूद पॉजिटिव फ़ाइलों में से 80% संख्याओं को रखना पर्याप्त है। इसे सुरक्षित रूप से खेलना बेहतर है ताकि काम के एक दिन बाद कार्यक्रम एक त्रुटि के साथ क्रैश न हो :)
-NumNeg 500 - आपके पास नकारात्मक उदाहरणों की संख्या। क्या है - तो हम लिखते हैं।
-w 20 -h 20 - अंतिम आइटम से आदिम का आकार।
-ओमोड ऑल - Haar संकेतों का एक पूरा सेट का उपयोग करें या नहीं। ऑपरेशन की गति और एल्गोरिथ्म की सटीकता इस पर निर्भर करती है। लेकिन ऐसी स्थितियां हैं जब संकेतों के एक पूर्ण सेट की आवश्यकता नहीं होती है (उदाहरण के लिए, यदि आपकी वस्तु अभिविन्यास नहीं बदलती है)।
-precalcValBufSize 1024 -precalcIdxBufSize 1024 - प्रक्रिया के लिए आवंटित स्मृति। ऐसा लगता है कि OpenCV के नवीनतम संस्करण में, जैसा कि मैंने कहा, कार्यक्रम ने लगभग उतना ही खाया, लेकिन थोड़ा पहले के संस्करणों ने लगभग 2 गुना अधिक खाया। यदि प्रशिक्षण के दौरान आप कंप्यूटर का उपयोग करने की योजना बनाते हैं, तो इतनी मेमोरी लगाएं कि आपके पास आगे के काम के लिए पर्याप्त हो।

ज्ञात कीड़े

मुझे कहना होगा कि सीखने को प्रयोज्य से नुकसान नहीं होता है। बहुत सारे कीड़े हैं। लेकिन धीरे-धीरे ओपनसीवी तय हो गया है। नवीनतम OpenCV पर्याप्त विस्तार से बताता है कि कार्यक्रम क्रैश क्यों होता है। एक नियम के रूप में, यह सकारात्मक या नकारात्मक उदाहरणों, अप्राप्य विशेषताओं, कुटिल लिखित पतों की कमी है। सच है, प्रशिक्षण के निलंबन के साथ कुछ प्रकार की गड़बड़ थी, जब मैंने उल्लू पर नमूना प्रशिक्षित किया था। जाहिर है, बहुत कम परीक्षण मामले थे (मैंने तब 150 उल्लू और 200 प्रतिउत्तर का उपयोग किया था)।

परिणाम

वीडियो में एल्गोरिथ्म का एक उदाहरण। यह देखा जा सकता है कि अंतराल हैं। लेकिन एक नमूने के लिए जिसमें केवल दो सौ उदाहरण हैं, यह एक अच्छा परिणाम है।

स्रोत कोड

जैसा कि वादा किया गया था, एक उदाहरण परियोजना और कई कार्यक्रम जो जीवन को आसान बनाते हैं। आप पूरी चीज़ या तो यहाँ डाउनलोड कर सकते हैं (यांडेक्स-डिस्क पर रार-संग्रह), या यहाँ (गीथूब)। लेकिन एक गितुब पर, अधिकतम फ़ाइल आकार 100 megs है, और Emgu असेंबली (C # के लिए OpenCV) जो मैं उपयोग करता हूं दो बड़ी OpenCV फाइलें खींचता है जो उपयोग नहीं की जाती हैं, लेकिन जिन्हें परियोजना से बाहर नहीं किया जा सकता है। ये दोनों फाइलें बिन \ x86 फ़ोल्डर के अंदर हैं, जिसे "lredll.rar" संग्रह में संग्रहीत किया गया है, आपको बस उन्हें बाहर निकालने की आवश्यकता है।
पूरी परियोजना VS2010, विंडोज 7 पर है। सभी निष्पादन योग्य प्रोग्राम "बिन" फ़ोल्डर में हैं।
VideoCropper - एक वीडियो कैमरा से अनुक्रम बनाने के लिए एक कार्यक्रम। स्टार्टअप पर, आपको सहेजने के लिए फ़ोल्डर और ऑपरेशन के मोड को निर्दिष्ट करना होगा (सकारात्मक या नकारात्मक चयन करना)। माउस उस क्षेत्र का चयन करता है जिसे बचाया जाएगा, अंतरिक्ष एक अंतरिक्ष द्वारा बचाया जाता है।
पिक्चरक्रॉपर - तस्वीरों के मौजूदा डेटाबेस को कम करने के लिए एक कार्यक्रम। स्टार्टअप पर, काम करने वाले फ़ोल्डर को इंगित किया जाता है। कटा हुआ छवियों के साथ एक सबफ़ोल्डर बनाता है। माउस सहेजे जाने वाले क्षेत्र का चयन करता है। द्वारा "एस" एक बचत है। "आर" द्वारा - सहेजें और अगली छवि पर जाएं। स्पेसबार - बस अगली छवि पर जाएं।
OwlDetector - एक उल्लू की तलाश में अंतिम कार्यक्रम
खराब, अच्छा - नकारात्मक और सकारात्मक उदाहरण वाले फ़ोल्डर
haarcascade - कैस्केड सीखना
Bad.dat, Good.dat - छवि विवरण फ़ाइलें
sample.vec - प्रशिक्षण के लिए तैयार सकारात्मक छवियों के एक सेट के साथ फ़ाइल