🌂 🤦🏿 🐞 विज़ - ओपनसीवी लाइब्रेरी में नया 3 डी विज़ुअलाइज़ेशन मॉड्यूल 👩🏼‍🚒 🎒 ㊗️

शुभ दोपहर, आज का ब्लॉग पोस्ट मैं OpenCV लाइब्रेरी में 3D विज़ुअलाइज़ेशन विज़ के लिए नए मॉड्यूल की समीक्षा के लिए समर्पित करना चाहता हूं, जिसमें मैंने भाग लिया था। संभवतः मुझे यहां अपना परिचय देना चाहिए, मेरा नाम अनातोली बक्शीव है , मैं इटसेज़ में काम करता हूं , मैं अब 7 साल से ओपनसीवी लाइब्रेरी का उपयोग कर रहा हूं, और अपने सहयोगियों के साथ मिलकर मैं इसे विकसित कर रहा हूं।

कंप्यूटर विज़न के साथ 3D विज़ुअलाइज़ेशन का क्या करना है, आप पूछते हैं, और हमें ऐसे मॉड्यूल की आवश्यकता क्यों थी? और आप सही होंगे जब आप कंप्यूटर की दृष्टि को ऐसे क्षेत्र के रूप में देखेंगे जो छवियों के साथ काम करता है। लेकिन हम 21 वीं सदी में रहते हैं, और कंप्यूटर विज़न का दायरा सिर्फ प्रोसेसिंग इमेजेस से कहीं आगे निकल गया है, वस्तुओं की सीमाओं को उजागर करता है, या चेहरे को पहचानता है। विज्ञान और प्रौद्योगिकी ने पहले ही हमारी त्रि-आयामी दुनिया को अधिक या कम स्वीकार्य गुणवत्ता में मापना सीख लिया है। यह कुछ साल पहले बाजार पर सस्ते काइनेट सेंसर की उपस्थिति से सुगम हो गया था, जिससे तीन आयामी रंग बिंदु बादल के रूप में अच्छी सटीकता और गति के साथ दृश्य प्रतिनिधित्व प्राप्त करना संभव हो गया था, और छवियों की एक श्रृंखला से डेटा के 3 डी दुनिया के पुनर्निर्माण में प्रगति, और यहां तक कि छोड़ भी मोबाइल प्रौद्योगिकियां, जहां एकीकृत गायरोस्कोप और एक्सेलेरोमीटर 3 डी दुनिया में एक मोबाइल डिवाइस के कैमरे के आंदोलन का आकलन करने के कार्य को बहुत सरल करता है, और इसलिए दृश्य पुनर्निर्माण की सटीकता।

यह सब 3 डी डेटा के साथ काम करने वाले विभिन्न तरीकों और एल्गोरिदम के विकास को प्रेरित करता है। 3 डी विभाजन, 3 डी शोर फ़िल्टरिंग, वस्तुओं की 3 डी आकार मान्यता, 3 डी चेहरा पहचान, शरीर मुद्रा की 3 डी ट्रैकिंग, या गर्भ धारण पहचान के लिए हाथ। आप शायद जानते हैं कि जब XBox के लिए Kinect की बिक्री हुई, तो Microsoft ने गेम डेवलपर्स को मानव शरीर की स्थिति का निर्धारण करने के लिए SDK प्रदान किया, जिसके कारण एक दिलचस्प इंटरफ़ेस के साथ बड़ी संख्या में गेम की उपस्थिति हुई - जब, उदाहरण के लिए, एक गेम चरित्र, Kinect के सामने खड़े खिलाड़ी के आंदोलनों को दोहराता है । ऐसे 3D एल्गोरिदम के परिणामों की किसी न किसी तरह कल्पना की जानी चाहिए। वे तीन आयामी प्रक्षेपवक्र हैं, पुनर्निर्मित ज्यामिति, या, उदाहरण के लिए, 3 डी में मानव हाथ की गणना की गई स्थिति। इसके अलावा, इस तरह के एल्गोरिदम को डिबग किया जाना चाहिए, अक्सर विकसित एल्गोरिदम के अभिसरण की प्रक्रिया में मध्यवर्ती डेटा की कल्पना करना।

OpenCV विज़ में कैमरा पथ प्रदर्शित करने के विभिन्न तरीके

इस प्रकार, विकास वेक्टर 3 डी क्षेत्र में बदल जाता है, 3 डी डेटा के साथ काम करने वाले एल्गोरिदम ओपनसीवी में अधिक से अधिक दिखाई देंगे। और चूंकि इस तरह की प्रवृत्ति है, इसलिए हम इसके लिए एक सुविधाजनक बुनियादी ढांचा बनाने की जल्दी में हैं। विज़ मॉड्यूल इस दिशा में पहला कदम है। OpenCV हमेशा एक पुस्तकालय रहा है, जिसके आधार पर एल्गोरिदम और कंप्यूटर दृष्टि अनुप्रयोगों का विकास किया गया था। कार्यक्षमता के कारण यह सुविधाजनक है, क्योंकि इसमें छवियों और डेटा में हेरफेर करने के लिए लगभग सभी सबसे अधिक उपयोग किए जाने वाले ऑपरेशन शामिल हैं, और एपीआई (कंटेनर, बुनियादी प्रकार और उनके साथ संचालन) के कारण जो सावधानीपूर्वक वर्षों से विकसित किए गए हैं और बहुत कॉम्पैक्ट कार्यान्वयन की अनुमति देते हैं कंप्यूटर विज़न मेथड, डेवलपर समय की बचत। हमें उम्मीद है कि विज़ इन सभी आवश्यकताओं को पूरा करता है।

अधीर के लिए, मैं इस वीडियो को मॉड्यूल की क्षमताओं को प्रदर्शित करते हुए यहां ला रहा हूं।

विज़ दर्शन

इस तरह के एक मॉड्यूल बनाने का विचार मेरे पास आया जब मुझे किसी तरह एक सीमित समय की स्थितियों में एक दृश्य ओडोमेट्री एल्गोरिदम ( vslam ) को डीबग करना पड़ा, जब मैंने अपनी त्वचा में महसूस किया कि इस तरह के मॉड्यूल से मुझे कैसे मदद मिलेगी और मैं इसमें क्या कार्यक्षमता देखना चाहूंगा। । और सहकर्मियों ने कहा कि ऐसा मॉड्यूल होना स्वस्थ होगा। सब कुछ इसके विकास की शुरुआत का कारण बना, और फिर इसे कम या ज्यादा परिपक्व अवस्था में लाकर ओज़ान टोंकल , हमारे Google समर ऑफ़ कोड छात्र के साथ मिला। विज़ को बेहतर बनाने पर काम जारी है।

डिजाइन विचार यह है कि त्रि-आयामी विजेट की एक प्रणाली होना अच्छा होगा, जिनमें से प्रत्येक को एक 3D विज़ुअलाइज़र में प्रदान किया जा सकता है, बस इस विजेट की स्थिति और अभिविन्यास को पार करके। उदाहरण के लिए, किनेक्ट के साथ आने वाला बिंदु बादल अक्सर कैमरे की स्थिति से जुड़ी एक समन्वय प्रणाली में संग्रहीत होता है, और विज़ुअलाइज़ेशन के लिए अक्सर कैमरे के विभिन्न पदों से लिए गए सभी बिंदु बादलों को किसी प्रकार के वैश्विक समन्वय प्रणाली में परिवर्तित करना आवश्यक होता है। और यह सुविधाजनक होगा कि वैश्विक प्रणाली में हर बार डेटा को पुनर्गठित न किया जाए, लेकिन बस इस बिंदु बादल की स्थिति निर्धारित करने के लिए। इस प्रकार, ओपनसीवी विज़ में, प्रत्येक समर्थित विजेट ऑब्जेक्ट अपने समन्वय प्रणाली में बनता है, और फिर इसे रेंडरिंग प्रक्रिया के दौरान पहले से ही स्थानांतरित और उन्मुख किया जाता है।

लेकिन कोई भी अच्छा विचार केवल एक व्यक्ति के दिमाग में नहीं आता है। जैसा कि यह निकला, वैज्ञानिक डेटा में हेरफेर और विज़ुअलाइज़ेशन के लिए VTK पुस्तकालय भी उसी दृष्टिकोण को लागू करता है। इसलिए, टास्क वीटीके के एक उप-आवरण पर लिखने के लिए उबला हुआ है, ओपनसीवी शैली में एक इंटरफ़ेस और डेटा संरचनाओं के साथ और भविष्य में इस सेट का विस्तार करने की क्षमता के साथ कुछ मूल विजेट के कुछ सेट लिख रहा है। वर्णित के अलावा, वीटीके क्रॉस-प्लेटफॉर्म की आवश्यकता को संतुष्ट करता है, इसलिए इसका उपयोग करने का निर्णय लगभग तुरंत चुना गया था। मुझे लगता है कि VTK निर्भरता के कारण थोड़ी असुविधा भविष्य में प्रयोज्य और विस्तार से ऑफसेट से अधिक है।

विज़ में वस्तुओं की स्थिति का प्रतिनिधित्व

यूक्लिडियन अंतरिक्ष में स्थिति रोटेशन और अनुवाद द्वारा निर्धारित की जाती है। एक रोटेशन मैट्रिक्स के रूप में, एक रोटेशन वेक्टर ( रोड्रिग्स वेक्टर ) के रूप में या एक चतुर्भुज के रूप में प्रतिनिधित्व किया जा सकता है। अनुवाद केवल एक त्रि-आयामी वेक्टर है। रोटेशन और ट्रांसलेशन को अलग-अलग वेरिएबल्स में स्टोर किया जा सकता है या विस्तारित 4x4 एफाइन ट्रांसफॉर्मेशन मैट्रिक्स में सीवन किया जा सकता है। दरअसल, यह विधि उपयोग में आसानी के लिए प्रस्तावित है। लेकिन ... "यह मेरे लिए भी सुविधाजनक है!", आप कहते हैं, "प्रत्येक बार जब आप किसी भी वस्तु को प्रदान करते समय ऐसा मैट्रिक्स बनाते हैं!" और मैं आपसे सहमत हूं, लेकिन केवल तभी जब आप इस प्रारूप में पोज़ बनाने और हेरफेर करने के लिए एक सुविधाजनक साधन प्रदान नहीं करते हैं। यह उपकरण एक विशेष रूप से लिखित वर्ग cv :: Affine3d है, जो, विज़ुअलाइज़ेशन के अलावा, मैं ओडोमेट्री एल्गोरिदम के विकास में उपयोग करने की सलाह देता हूं। हां, चतुर्भुज प्रेमी मुझ पर पत्थर फेंक सकते हैं। मैं इसे उचित ठहराने के लिए भविष्य में इसका समर्थन करने की योजना बना रहा हूं।

तो चलिए एक परिभाषा देते हैं। विज़ में प्रत्येक वस्तु की स्थिति एक निश्चित वैश्विक यूक्लिडियन समन्वय प्रणाली से वस्तु से जुड़े यूक्लिडियन समन्वय प्रणाली से एक परिवर्तन है। व्यवहार में, रूपांतरण क्या है और क्या परिवर्तित किया जा रहा है, इस पर विभिन्न समझौते हैं। हमारे मामले में, हमारा मतलब है कि वस्तु के समन्वय प्रणाली से बिंदुओं (पॉइंट ट्रांसफर) को वैश्विक एक में बदलना। अर्थात्:

जहां P ^G , P ^O वैश्विक समन्वय प्रणाली में बिंदु के निर्देशांक हैं और वस्तु के समन्वय प्रणाली में M, परिवर्तन मैट्रिक्स या वस्तु की मुद्रा है। आइए देखें कि आप किसी वस्तु की मुद्रा कैसे बना सकते हैं।

//        cv::Vec3d x_axis, y_axis, z_axis, origin; cv::Affine3d pose = cv::makeTransformToGlobal(x_axis, y_axis, z_axis, origin); //       cv::Vec3d position, view_direction, y_direction; Affine3d pose = makeCameraPose(position, view_direction, y_direction); //  ,       Affine3d pose1; Affine3d pose2 = Affine3d::Identity(); //      cv::Matx33d R; cv::Vec3d t; Affine3d pose = Affine3d(R, t); //             double rotation[9]; double translation[3]; Affine3d pose = Affine3d(cv::Matx33d(rotation), cv::Vec3d(translation));

या हो सकता है कि आप पहले से ही दृश्य ओडोमेट्री एल्गोरिदम विकसित कर चुके हों, और आपके प्रोग्राम में पहले से ही इन परिवर्तन मैट्रिक्स को cv :: Mat के अंदर संग्रहीत किया गया हो तब नए प्रारूप में मुद्रा आसानी से प्राप्त की जा सकती है:

 //   4x4  43 cv::Mat pose_in_old_format; Affine3d pose = Affine3d(pose_in_old_format); //   33    cv::Mat R, t; Affine3d pose = Affine3d(R, translation); //      cv::Vec3d rotation_vector: Affine3d pose = Affine3d(rotation_vector, translation);

निर्माण के अलावा, यह वर्ग आपको पोज़ में हेरफेर करने और उन्हें तीन-आयामी वैक्टर और बिंदुओं पर लागू करने की भी अनुमति देता है। उदाहरण:

 //   90   Oy    5  Ox. Affine3d pose = Affine3d().rotate(Vec3d(0, CV_PI/2, 0,)).translate(Vec3d(5, 0, 0)); //   cv::Vec3d a_vector; cv::Point3d a_point; cv::Vec3d transformed_vector = pose * a_vector; cv::Vec3d transformed_point = pose * a_point; //    Affine3d camera1_to_global, camera2_to_global; Affine3d camera1_to_camera2 = camera2_to_global.inv() * camera1_to_global

इसे निम्नानुसार पढ़ा जाना चाहिए: यदि हम कैमरा 1 की समन्वय प्रणाली में दाईं ओर बिंदु को गुणा करते हैं, तो पहले (दाएं) रूपांतरण के बाद हमें वैश्विक प्रणाली में बिंदु मिलता है, और फिर इसे कैमरा 2 की समन्वय प्रणाली में अनुवाद करने के लिए वैश्विक प्रणाली से परिवर्तन को उल्टा करना है। हमें कैमरा 2 की समन्वय प्रणाली के सापेक्ष कैमरा 1 की मुद्रा मिलती है।

 //        double distance = cv::norm((cam2_to_global.inv() * cam1_to_global).translation()); double rotation_angle = cv::norm((cam2_to_global.inv() * cam1_to_global).rvec());

इस पर, शायद, हमें इस वर्ग की संभावनाओं में अपने भ्रमण को पूरा करना चाहिए। मुझे कौन पसंद आया, मैं सुझाव देता हूं कि इसे अपने एल्गोरिदम में उपयोग करें, जैसे इसके साथ कोड कॉम्पैक्ट और पढ़ने में आसान है। तथ्य यह है कि cv :: Affine3d उदाहरण स्टैक पर आवंटित किए गए हैं, और सभी विधियाँ इनलाइन विधियाँ हैं, आपके एप्लिकेशन के प्रदर्शन को अनुकूलित करने की संभावनाओं को खोलती हैं।

विज के साथ दृश्य

रेंडरिंग के सबसे महत्वपूर्ण वर्ग को cv :: viz :: Viz3d कहा जाता है। यह क्लास एक विंडो बनाने, उसे इनिशियलाइज़ करने, विजेट्स प्रदर्शित करने और यूजर इनपुट को मैनेज और प्रोसेस करने के लिए जिम्मेदार है। आप इसका उपयोग इस प्रकार कर सकते हैं:

 Viz3d viz1(“mywindow”); //     mywindow ...   ... viz1.spin(); // ;  ,

OpenCV में लगभग सभी उच्च-स्तरीय कार्यक्षमता की तरह, यह वर्ग अनिवार्य रूप से अपने आंतरिक कार्यान्वयन के लिंक की गिनती के साथ एक स्मार्ट पॉइंटर है, इसलिए इसे स्वतंत्र रूप से कॉपी किया जा सकता है, या आंतरिक डेटाबेस से नाम से पुनर्प्राप्त किया जा सकता है।

 Viz3d viz2 = viz1; Viz3d viz3 = cv::viz::getWindowByName(“mywindow”): Viz3d viz4(“mywindow”);

यदि अनुरोधित नाम वाली एक खिड़की पहले से मौजूद है, तो परिणामी विज़ 3 डी उदाहरण इसे इंगित करेगा, अन्यथा उस नाम के साथ एक नई विंडो बनाई जाएगी और पंजीकृत होगी। यह एल्गोरिदम की डिबगिंग को आसान बनाने के लिए किया जाता है - अब आपको हर बार कॉल स्टैक की गहराई में विंडो को पास करने की आवश्यकता नहीं है, कहीं पर कुछ प्रदर्शित करने की आवश्यकता है। यह मुख्य () फ़ंक्शन की शुरुआत में एक विंडो खोलने के लिए पर्याप्त है, और फिर कोड में कहीं भी नाम से इसे एक्सेस करें। यह विचार OpenCV में सिद्ध cv :: imshow (window_name, image) फ़ंक्शन से विरासत में मिला है, जो आपको कोड में कहीं भी नामित विंडो में एक चित्र प्रदर्शित करने की अनुमति देता है।

विजेट प्रणाली

जैसा कि पहले उल्लेख किया गया है, विभिन्न डेटा को रेंडर करने के लिए एक विजेट सिस्टम का उपयोग किया जाता है। प्रत्येक विजेट में कई बिल्डरों और कभी-कभी अपने आंतरिक डेटा के प्रबंधन के लिए तरीके होते हैं। प्रत्येक विजेट अपने स्वयं के समन्वय प्रणाली में बनता है। उदाहरण के लिए:

 //     WLine line(Point3d(0.0, 0.0, 0.0), Point3d(1.0, 1.0, 1.0), Color::apricot()); //          WCube cube(Point3d(-1.0, -1.0, -1.0), Point3d(1.0, 1.0, 1.0), true, Color::pink());

जैसा कि आप देख सकते हैं, हम एक मनमाना लाइन निर्दिष्ट कर सकते हैं, लेकिन एक घन के लिए केवल एक स्थिति निर्धारित करना संभव है, लेकिन समन्वय अक्षों के सापेक्ष अभिविन्यास नहीं। हालाँकि, यह एक सीमा नहीं है, बल्कि एक विशेषता भी है जो आपको विज़ की शैली में सोचना सिखाती है। जैसा कि हमने पहले चर्चा की थी, जब प्रतिपादन, आप वैश्विक समन्वय प्रणाली में कोई भी विजेट पोज सेट कर सकते हैं। इस प्रकार, एक साधारण निर्माता के साथ, हम इसकी समन्वय प्रणाली में एक विजेट बनाते हैं, उदाहरण के लिए, हम क्यूब के आयामों को इस तरह से सेट करते हैं। और फिर हम इसे प्रस्तुत करते हैं और इसे वैश्विक रूप से उन्मुख करते हैं।

 //      (1.0, 1.0, 1.0)  3  Vec3d rvec = Vec3d(1.0, 1.0, 1.0) * (3.0/cv::norm(Vec3d(1.0, 1.0, 1.0)); Viz3d viz(“test1”); viz.showWidget(“coo”, WCoordinateSystem()); viz.showWidget(“cube”, cube, Affine3d(rvec, Vec3d::all(0))); viz.spin();

और यहाँ परिणाम है:

जैसा कि हम देख सकते हैं, रेंडरिंग विज़ 3 डी :: शोविडगेट () विधि के लिए कॉल के माध्यम से होता है, यह ऑब्जेक्ट के स्ट्रिंग नाम, निर्मित विजेट का एक उदाहरण और वैश्विक समन्वय प्रणाली में इसकी स्थिति को पारित करता है। स्ट्रिंग नाम आवश्यक है ताकि आप 3D दृश्य में नाम से विजेट्स को जोड़, हटा और अपडेट कर सकें। यदि उस नाम वाला कोई विजेट पहले से मौजूद है, तो उसे हटा दिया जाता है और एक नए के साथ बदल दिया जाता है।

क्यूब और एक लाइन के अलावा, विज़ एक क्षेत्र, एक सिलेंडर, एक विमान, एक 2D सर्कल, 3 डी और 2 डी में चित्र और पाठ, विभिन्न प्रकार के पथ, कैमरा स्थिति, और निश्चित रूप से, बिंदु बादलों और एक जाल (रंगहीन, रंगीन या रंगीन) के साथ काम करने के लिए विजेट को लागू करता है। बनावट)। यह कई विजेट अंतिम नहीं है, और इसका विस्तार होगा। इसके अलावा, कस्टम विजेट बनाने की संभावना है, लेकिन इसके बारे में कुछ और समय। यदि आप इस सुविधा में रुचि रखते हैं, तो इस ट्यूटोरियल को यहाँ पढ़ें। अब आइए एक और उदाहरण देखते हैं कि बिंदु बादलों को कैसे आकर्षित किया जाए:

 //     .     CV_32FC3 cv::Mat cloud = cv::viz::readCloud(“dragon.ply”); //           cv::Mat colors(cloud.size(), CV_8UC3); theRNG().fill(colors, RNG::UNIFORM, 50, 255); //         NAN -     float qnan = std::numeric_limits<float>::quiet_NaN(); cv::Mat masked_cloud = cloud.clone(); for(int i = 0; i < cloud.total(); ++i) if ( i % 16 != 0) masked_cloud.at<Vec3f>(i) = Vec3f(qnan, qnan, qnan); Viz3d viz(“dragons”); viz.showWidget(“coo”, WCoordinateSystem()); //   viz.showWidget(“red”, WCloud(cloud, Color::red()), Affine3d().translate(Vec3d(-1.0, 0.0, 0.0))); //     viz.showWidget(“colored”, WCloud(cloud, colors), Affine3d().translate(Vec3d(+1.0, 0.0, 0.0))); //           viz.showWidget(“masked”, WCloud(masked_cloud, colors), Affine3d::Identity()); // A ,       viz.showWidget(“painted”, WPaintedCloud(cloud), Affine3d().translate(Vec3d(+2.0, 0.0, 0.0))); viz.spin();

इस कोड का परिणाम:

उपलब्ध विगेट्स के बारे में अधिक जानकारी के लिए, हमारे प्रलेखन पढ़ें।

गतिशील रूप से बदलते दृश्य

यह अक्सर केवल वस्तुओं को प्रदर्शित करने के लिए पर्याप्त नहीं है ताकि उपयोगकर्ता उन्हें देख सके, लेकिन कुछ गतिशीलता प्रदान करना आवश्यक है। वस्तुएं अपनी विशेषताओं को बदल सकती हैं, बदल सकती हैं। यदि हमारे पास Kinect के साथ एक वीडियो स्ट्रीम है, तो हम तथाकथित बिंदु क्लाउड वीडियो खेल सकते हैं। ऐसा करने के लिए, आप निम्न कार्य कर सकते हैं:

 cv::VideoCapture capture(CV_CAP_OPENNI) Viz3d viz(“dynamic”); //...  ... //      viz.setViewerPose(Affine3d().translate(1.0, 0.0, 0.0)); while(!viz.wasStopped()) { //...  ... // ,      // ,      Kinect // ,    capture.grab(); capture.retrieve(color, CV_CAP_OPENNI_BGR_IMAGE); capture.retrieve(depth, CV_CAP_OPENNI_DEPTH_MAP); Mat cloud = computeCloud(depth); Mat display = normalizeDepth(depth); viz.showWidget("cloud", WCloud(cloud, color)); viz.showWidget("image", WImageOverlay(display, Rect(0, 0, 240, 160))); //        30  viz.spinOnce(30 /*ms*/, true /*force_redraw*/)); }

यह चक्र तब तक निष्पादित किया जाएगा जब तक उपयोगकर्ता खिड़की बंद नहीं करता। एक ही समय में, लूप के प्रत्येक पुनरावृत्ति पर, पुराने बादल के साथ विजेट को एक नए बादल के साथ एक नए के साथ बदल दिया जाएगा।

नियंत्रण इंटरफ़ेस

फिलहाल, कैमरा नियंत्रण तथाकथित ट्रैकबॉल कैमरा शैली में बनाया गया है, जो विभिन्न 3D वस्तुओं को देखने के लिए सुविधाजनक है। कल्पना करें कि कैमरे के सामने 3D में कुछ बिंदु है जिसके चारों ओर यह कैमरा माउस से घूमता है। माउस पर घुमक्कड़ इस बिंदु से / के करीब आ जाता है। Shift / ctrl बटन और माउस का उपयोग करके, आप इस घुमाव बिंदु को 3D दुनिया में स्थानांतरित कर सकते हैं। भविष्य में, बड़े स्थानों पर नेविगेट करने के लिए एक फ्री-फ़्लाई मोड को लागू करने की योजना है। मैं 'H' हॉट बटन दबाने की भी सलाह देता हूं, जबकि विज़, कंसोल में छपे अन्य फीचर्स और फीचर्स के बारे में जानकारी पढ़ने के लिए चल रहा है, जिसमें स्क्रीनशॉट को सेव करने से लेकर एनाग्लिफिक स्टीरियो मोड ऑन करना है।

OpenCV विज़ मॉड्यूल का निर्माण कैसे करें

और अंत में, उन लोगों के लिए, जिन्होंने इस पाठ को पढ़ने के बाद, इस मॉड्यूल का उपयोग शुरू करने का आग्रह किया है, इस खंड का इरादा है। विज़ को सभी तीन प्रमुख पीसी प्लेटफार्मों - विंडोज, लिनक्स और मैक पर इस्तेमाल किया जा सकता है। आपको वीटीके स्थापित करने और वीटीके समर्थन के साथ ओपनसीवी संकलित करने की आवश्यकता होगी। विज़ मॉड्यूल के साथ ओपनसीवी केवल 2.4 और मास्टर शाखाओं में हमारी गिटहब रिपॉजिटरी https://github.com/Itseez/opencv से डाउनलोड किया जा सकता है। तो, निर्देश:

1. वीटीके स्थापना

लिनक्स के तहत, सबसे आसान उपाय है वीटीके को एप्टोस रिपॉजिटरी से एप्ट-गेट इंस्टॉल लिबावेटक 5-देव कमांड का उपयोग करना। विंडोज के लिए, आपको डेवलपर की साइट से वीटीके डाउनलोड करना होगा, सबसे अच्छा संस्करण 5.10 है, विजुअल स्टूडियो के लिए एक सीएमके प्रोजेक्ट तैयार करें और इसे रिलीज़ और डिबग कॉन्फ़िगरेशन में संकलित करें। मैं CMake BUILD_SHARED_LIBS को अनचेक करने की सलाह देता हूं, जिससे वीटीके स्टैटिक लाइब्रेरीज़ का संकलन होगा। इस मामले में, संकलन के बाद, बिना किसी निर्भरता के ओपनसीवी विज़ मॉड्यूल का आकार केवल 10 एमबी होगा।

Mac के लिए, OSX संस्करणों के लिए 10.8 और इससे पहले, VTK का कोई भी संस्करण उपयुक्त है। 10.9 Mavericks के लिए, VTK 6.2 को आधिकारिक रिपॉजिटरी github.com/Kitware/VTK.git से संकलित करना संभव होगा। इस ब्लॉग पोस्ट को लिखते समय कोई रिलीज़ 6.2 नहीं थी। मैक के लिए, सीएमके का उपयोग करके Xcode के लिए एक प्रोजेक्ट बनाने और रिलीज़ और डीबग कॉन्फ़िगरेशन में स्थिर लाइब्रेरी बनाने की भी सिफारिश की गई है।

वीटीके के साथ ओपनसीवी का संकलन

यह कदम सरल और तेज है। मैं लिनक्स के लिए कमांड देता हूं, विंडोज के तहत सब कुछ बहुत अलग नहीं है

git क्लोन github.com/Itseez/opencv.git
[वैकल्पिक] git चेकआउट-बी २.४ मूल / २.४
mkdir build && cd build
cmake -DWITH_VTK = ON -DVTK_DIR = <VTK निर्माण निर्देशिका के लिए पथ> ..

यदि आपने apt-get इंस्टॉल के माध्यम से VTK स्थापित किया है, तो आपको इसके लिए एक पथ निर्दिष्ट करने की आवश्यकता नहीं है - यह सीएमके द्वारा स्वचालित रूप से मिल जाएगा। अगला, आपको सीएमके कंसोल लॉग में यह सुनिश्चित करने की आवश्यकता है कि वह वीटीके पाया और जुड़ा हुआ है। और किसी भी असंगति की सूचना नहीं दी। उदाहरण के लिए, यदि आप QC5 समर्थन के साथ OpenCV संकलित करते हैं, और VTK Qt4 के साथ बनाया गया है, तो VTK के साथ जोड़ने से एप्लिकेशन मुख्य () फ़ंक्शन में प्रवेश करने से पहले आरंभीकरण चरण पर क्रैश हो जाएगा। इसका उपाय यह है कि आप एक चीज चुनें। या VTK के लिए CMake में चेकबॉक्स को अनचेक करके Qt4 के बिना VTK संकलित करें। या वीटीके 6.1 और उच्चतर लें और इसे Qt5 समर्थन के साथ बनाएं। अंत में, OpenCV का निर्माण करने के लिए, मेक -j 6 चलाएं

3. ग्रंथों का शुभारंभ (वैकल्पिक)

मैं यहां इस रिपॉजिटरी को डाउनलोड करने की भी सलाह देता हूं: github.com/Itseez/opencv_extra.git , पर्यावरण चर OPENCV_TEST_DATA_PADH में opencv_extra / testdata का पथ लिखें। और OpenCV के निर्माण निर्देशिका से opencv_test_viz फ़ाइल चलाएं। इस एप्लिकेशन पर, आप इस मॉड्यूल की सभी वर्तमान विशेषताओं से परिचित हो सकते हैं, और इसके स्रोत का उपयोग एपीआई का अध्ययन करने के लिए किया जा सकता है।

निष्कर्ष

खैर, फिर मैं निष्कर्ष पर पहुंचा। मुझे उम्मीद है कि यह दिलचस्प था। इस पोस्ट के साथ मैं यह दिखाना चाहता था कि मुख्य बिंदु, मेरे दृष्टिकोण से, अब कंप्यूटर दृष्टि में मनाया जाता है, और यह कि OpenCV लाइब्रेरी समय के साथ आगे बढ़ रही है। और कि OpenCV में 3D दुनिया के साथ काम करने के लिए एल्गोरिदम दिखाई देगा। क्योंकि हम स्वयं उन्हें या तो Google समर ऑफ़ कोड छात्रों की मदद से विकसित करेंगे, या हमारे डेटाबेस का उपयोग करने वाले आभारी उपयोगकर्ता, OpenCV में ऐसे एल्गोरिदम के निर्माण और विकास में भी भाग लेंगे।

और मैं भी इस विकसित उपकरण में रुचि लेना चाहता था, या शायद अनुसंधान के लिए भी यह क्षेत्र। वैसे, यदि आप OpenCV के लिए एक समान विकास का नेतृत्व करने की इच्छा रखते हैं - तो आपका स्वागत है! हम GitHub के माध्यम से पुल अनुरोध स्वीकार करते हैं। निर्देश यहां पोस्ट किए गए हैं । हमें एक नया काम करने का तरीका देखकर खुशी होगी :-)

और यद्यपि अब आवश्यक मूल आधार बनाया गया है, मुझे लगता है कि भविष्य में नई सुविधाओं को विज़ में जोड़ा जाएगा। उदाहरण के लिए, एक मानव हाथ के कंकाल का एक मॉडल और इसके दृश्य। या PTAM जैसे एल्गोरिदम से 3 डी दुनिया के नक्शे। या हो सकता है कि एक नेटवर्क क्लाइंट, ताकि मोबाइल डिवाइस से विज़ुअलाइज़ेशन के लिए डेटा भेजना संभव हो, जब उस पर एल्गोरिदम डीबग करना :) लेकिन ये अब तक पागल विचार हैं :-)। यदि यह दिलचस्प है, तो अगले ब्लॉग पोस्ट में मैं कुछ एल्गोरिथ्म के बारे में बात कर सकता हूं, उदाहरण के लिए, आईसीपी या किनेक्ट फ्यूजन, और विज़ को कैसे डिबग और कल्पना करने के लिए उपयोग किया गया था।

और उन लोगों के लिए जो अंत तक पढ़े हैं - एक बोनस। यहाँ PCL लाइब्रेरी में Kinect Fusion के अपने कार्यान्वयन के लिए मेरा अनुकूलित और हल्का रीमेक है।

विज़ - ओपनसीवी लाइब्रेरी में नया 3 डी विज़ुअलाइज़ेशन मॉड्यूल