आप ऑप्टिकल प्रवाह के बारे में क्या जानना चाहते थे, लेकिन पूछने के लिए शर्मिंदा थे

ऑप्टिकल फ्लो (ऑप्टिकल प्रवाह) - एक तकनीक जो कंप्यूटर विज़न के विभिन्न क्षेत्रों में पाली, विभाजन, वस्तुओं के चयन, वीडियो संपीड़न का निर्धारण करने के लिए उपयोग की जाती है। हालाँकि, अगर हम विकिपीडिया या अन्य जगहों पर इसके बारे में पढ़ने के बाद इसे जल्दी से अपनी परियोजना में लागू करना चाहते हैं, तो हम सबसे अधिक इस तथ्य पर ठोकर खाएंगे कि यह बहुत खराब तरीके से काम करता है और 1-2 के क्रम पर पहले से ही बदलाव का निर्धारण करने में विफल रहता है। पिक्सल (कम से कम यह मेरे साथ था)। फिर हम तैयार किए गए कार्यान्वयनों की ओर मुड़ते हैं, उदाहरण के लिए, ओपनसीवी में। वहां यह विभिन्न तरीकों से लागू किया जाता है और यह पूरी तरह से समझ में नहीं आता है कि संक्षिप्त नाम PyrLK पदनाम Farneback या उस जैसी किसी चीज़ से बेहतर या बदतर है, और आपको मापदंडों के अर्थ से निपटना होगा, जो कुछ कार्यान्वयन में बहुत अधिक है। और, दिलचस्प बात यह है कि ये एल्गोरिदम किसी तरह से काम करते हैं, इसके विपरीत जो हमने खुद लिखा था। राज क्या है?

प्रकाशीय प्रवाह क्या है?

ऑप्टिकल फ्लो (ओपी) दृश्यमान आंदोलन की एक छवि है, जो दो छवियों के बीच प्रत्येक बिंदु की एक पारी है। वास्तव में, यह एक वेग क्षेत्र है (चूंकि पैमाने पर सटीक बदलाव तात्कालिक वेग के बराबर है)। ओपी का सार यह है कि छवि में प्रत्येक बिंदु के लिए इस तरह की पारी (डीएक्स, डाई) में पाया जाता है कि दूसरी छवि पर बिंदु प्रारंभिक बिंदु से मेल खाती है । बिंदुओं के पत्राचार का निर्धारण कैसे करें यह एक अलग मुद्दा है। ऐसा करने के लिए, हमें बिंदु के कुछ फ़ंक्शन को लेने की आवश्यकता है, जो विस्थापन के परिणामस्वरूप नहीं बदलती है। यह आमतौर पर माना जाता है कि बिंदु तीव्रता (यानी, चमक या रंग छवियों के लिए रंग) को बरकरार रखता है, लेकिन ऐसे बिंदु जिनके समान ढाल मूल्य है, हेसियन, इसका मूल्य या इसके निर्धारक, लाप्लासियन और अन्य विशेषताओं को समान माना जा सकता है। जाहिर है, तीव्रता को बनाए रखने में विफल रहता है अगर रोशनी की घटनाओं की रोशनी या कोण। फिर भी, अगर हम एक वीडियो स्ट्रीम के बारे में बात कर रहे हैं, तो, सबसे अधिक संभावना है, प्रकाश व्यवस्था दोनों फ़्रेमों के बीच बहुत बदलाव नहीं करेगी, यदि केवल इसलिए कि उनके बीच एक छोटी सी अवधि गुजरती है। इसलिए, तीव्रता को अक्सर एक फ़ंक्शन के रूप में उपयोग किया जाता है जो बिंदु पर रहता है।

इस तरह के एक विवरण के अनुसार, ओपी को विशेषता बिंदुओं की खोज और तुलना के साथ भ्रमित किया जा सकता है। लेकिन ये अलग-अलग चीजें हैं, ऑप्टिकल स्ट्रीम का सार यह है कि यह किसी विशेष बिंदु की तलाश नहीं करता है, बल्कि उन छवियों के मापदंडों द्वारा निर्धारित करने की कोशिश करता है जहां एक मनमाना बिंदु स्थानांतरित हो गया है।

ऑप्टिकल फ्लक्स की गणना के लिए दो विकल्प हैं: घने और चयनात्मक (विरल)। विरल धारा व्यक्तिगत दिए गए बिंदुओं की शिफ्ट की गणना करती है (उदाहरण के लिए, कुछ फीचर डिटेक्टर द्वारा चुने गए बिंदु), घने धारा छवि में सभी बिंदुओं की शिफ्ट को मानती है। स्वाभाविक रूप से, नमूना धारा की गणना तेजी से की जाती है, लेकिन कुछ एल्गोरिदम के लिए अंतर इतना बड़ा नहीं है, और कुछ कार्यों के लिए छवि के सभी बिंदुओं पर धारा को खोजना आवश्यक है।

पतित मामलों के लिए, पारी का निर्धारण करने के सरल तरीके लागू किए जा सकते हैं। विशेष रूप से, यदि छवि के सभी बिंदुओं में एक ही शिफ्ट है (पूरी छवि को स्थानांतरित कर दिया गया है), तो चरण सहसंबंध विधि को लागू किया जा सकता है: दोनों छवियों के लिए फूरियर रूपांतरण की गणना करें, उनके चरणों का दृढ़ संकल्प खोजें और इसके लिए शिफ्ट निर्धारित करें (देखें en.wikipedia.org / विकी / फेज_कोरेल्टेशन )। आप ब्लॉक मिलान का उपयोग भी कर सकते हैं: एक ऐसी पारी ढूंढें जो विंडो में छवियों के अंतर के मान को कम करता है। अपने शुद्ध रूप में, इस तरह के एक एल्गोरिथ्म लंबे समय तक काम करेगा और झुकता और अन्य विकृतियों के लिए अस्थिर है। अंग्रेजी विकिपीडिया इन एल्गोरिदम को ऑप्टिकल प्रवाह की गणना के लिए विभिन्न विकल्पों के रूप में सूचीबद्ध करता है, लेकिन यह मुझे बहुत सही नहीं लगता है, क्योंकि इन एल्गोरिदम का उपयोग अन्य उद्देश्यों के लिए किया जा सकता है और इस समस्या को पूरी तरह से हल नहीं करता है। हम चित्रों की स्थानीय विशेषताओं (जिसे अंग्रेज़ी विकिपीडिया में अंतर विधियों कहा जाता है) के आधार पर ऑप्टिकल प्रवाह विधियों को कहेंगे।

मानक दृष्टिकोण (लुकास-कनाडा विधि)

एल्गोरिथ्म का गणितीय विवरण इस लेख में पर्याप्त विवरण में दिया गया है, लेकिन केवल सैद्धांतिक पहलू प्रभावित हैं।

ऑप्टिकल प्रवाह के गणितीय मॉडल पर विचार करें, यह मानते हुए कि विस्थापन के परिणामस्वरूप बिंदु की तीव्रता में बदलाव नहीं हुआ है।

चलो पहली छवि में कुछ बिंदु (x, y) पर तीव्रता है (यानी, समय टी पर)। दूसरी छवि में, यह बिंदु (dx, dy) में स्थानांतरित हो गया, जबकि dt पास हो गया, तब - हमने पहले कार्यकाल में टेलर के अनुसार तीव्रता फ़ंक्शन को विघटित कर दिया (यह बाद में उल्लेख किया जाएगा कि केवल पहले कार्यकाल के लिए ही क्यों) - निर्देशांक और समय के संबंध में आंशिक डेरिवेटिव, जो कि संक्षेप में है - दो फ्रेम के बीच बिंदु (x, y) पर चमक में परिवर्तन।

हम मानते हैं कि बिंदु ने तीव्रता बरकरार रखी है, जिसका अर्थ है
हमें दो अज्ञात (डीएक्स और डाई) के साथ एक समीकरण मिलता है, जिसका अर्थ है कि यह हल करने के लिए पर्याप्त नहीं है, अर्थात आप इस समीकरण पर दूर नहीं जा सकते।

समस्या का सबसे सरल समाधान लुकास-कनाडा एल्गोरिथम है। हमारे पास 1 पिक्सेल से बड़ी छवि ऑब्जेक्ट्स हैं, जिसका अर्थ है कि, सबसे अधिक संभावना है, वर्तमान बिंदु के आसपास के क्षेत्र में, अन्य बिंदुओं में लगभग समान बदलाव होंगे। इसलिए, हम इस बिंदु के चारों ओर एक विंडो लेते हैं और गॉस के अनुसार वितरित किए गए भारांक गुणांक के साथ इसमें कुल त्रुटि (न्यूनतम-चौकोर विधि के अनुसार) को कम करते हैं, ताकि अध्ययन के तहत सबसे पास वाले पिक्सल का सबसे बड़ा वजन हो। सरलतम परिवर्तनों के बाद, हमें 2 अज्ञात के साथ 2 समीकरणों की एक प्रणाली मिलती है:

जैसा कि आप जानते हैं, इस प्रणाली में हमेशा एक अनूठा समाधान नहीं होता है (यद्यपि बहुत बार): यदि सिस्टम का निर्धारक शून्य है, तो या तो कोई समाधान नहीं है या कोई अनंत संख्या है। इस समस्या को एपर्चर समस्या के रूप में जाना जाता है - आवधिक चित्रों के लिए सीमित क्षेत्र के साथ विस्थापन अस्पष्टता। यह उस मामले से मेल खाता है जब छवि का एक टुकड़ा जिसमें कुछ चक्रीयता देखने के क्षेत्र में प्रवेश करती है; यहां भी, कोई व्यक्ति स्पष्ट रूप से यह निर्धारित नहीं कर सकता है कि तस्वीर कहां स्थानांतरित हुई है। समस्या यह है कि इस तरह की अस्पष्ट परिस्थितियों में शोर के कारण, हम एक शून्य निर्धारक नहीं, बल्कि एक बहुत छोटे से प्राप्त करते हैं, जो कि शिफ्ट के बहुत बड़े मूल्यों को जन्म देने की संभावना है, जो विशेष रूप से वास्तविकता के साथ सहसंबद्ध नहीं हैं। तो एक निश्चित स्तर पर, आपको बस यह जांचने की आवश्यकता है कि क्या सिस्टम के निर्धारक पर्याप्त छोटे नहीं हैं, और यदि हां, तो ऐसे बिंदुओं पर विचार न करें या उन्हें गलत के रूप में चिह्नित करें।

काम क्यों नहीं करता है?

यदि हम इस चरण में रुक जाते हैं और इस एल्गोरिथ्म को लागू करते हैं, तो यह सफलतापूर्वक काम करेगा। लेकिन केवल अगर आसन्न छवियों के बीच बदलाव 1 पिक्सेल के क्रम के बहुत छोटा है, और फिर हमेशा नहीं। (गुणवत्ता सापेक्ष विश्लेषण के लिए विभिन्न सापेक्ष ऑफसेट के साथ सिंथेटिक अनुक्रम उत्पन्न किए गए थे, और इस बदलाव को पिक्सेल के एक गैर-पूर्णांक संख्या द्वारा व्यक्त किया जा सकता है, फिर परिणामी छवि तदनुसार प्रक्षेपित होती है) पहले से ही 2 पिक्सेल की एक पारी में त्रुटि बड़ी होगी, और यदि 3 या अधिक, तो परिणाम आम तौर पर अपर्याप्त होगा। मामला क्या है?

फिर एक गणित ने हमारे लिए व्यवस्था की। उसने हमें यह महसूस कराया कि आस-पास के सभी कार्य कई बार निरंतर और भिन्न होते हैं। सामान्य तौर पर, हमें टेलर सूत्र का उपयोग करके एक बिंदु के पड़ोस में एक फ़ंक्शन के सन्निकटन को लिखने के लिए संस्थान में पढ़ाया जाता था, और हर जगह हम बिना सोचे-समझे खुशी से इसका उपयोग करते हैं। अब विचार करते हैं कि इस स्थान पर व्युत्पत्ति का भौतिक अर्थ क्या है? हम उन्हें एक बिंदु के परिमित पड़ोस में एक फ़ंक्शन के मूल्य में परिवर्तन का निर्धारण करने के लिए उपयोग करना चाहते हैं, और व्युत्पन्न एक असीम रूप से छोटे पड़ोस का विचार देता है। इस पड़ोस का विस्तार करने के लिए, एक टेलर के विस्तार के लिए डेरिवेटिव का एक उच्च आदेश जोड़ सकता है, लेकिन इससे सिस्टम में गैर-अछूता हो जाएगा, जिससे इसे हल करना अधिक कठिन हो जाएगा, और फायदे संदिग्ध होंगे, खासकर जब से हम व्यवहार में निरंतर, बार-बार भिन्न नहीं हो रहे हैं। फ़ंक्शंस, और आम तौर पर यह स्पष्ट नहीं है कि क्या असतत कार्य करता है। इसलिए, फ़ंक्शन जी (x) की खोज करना अधिक तर्कसंगत होगा, जिसके लिए, हमारे असतत मामले में, f (x) + g (x) = f (x + 1), f (x) + 2g (x) = f (x) +2), f (x) - g (x) = f (x-1), और इसी तरह। इसलिए, इस मामले में हमें एक व्युत्पन्न की आवश्यकता नहीं है, लेकिन कुछ रैखिक फ़ंक्शन जो मूल फ़ंक्शन के बिंदुओं के सबसे करीब हैं। सरल गणितीय गणना से समाधान होता है जहाँ । यदि हम प्रत्येक पक्ष पर एक पड़ोसी बिंदु पर व्युत्पन्न का निर्माण करते हैं, तो हम भाग्यशाली थे: इस मामले में, सूत्र डेरिवेटिव की अनुमानित गणना के लिए सूत्र के साथ मेल खाता है: g (x) = (f (x + 1) - f (x-1)) / 2। ओपनसीवी में क्या विशिष्ट है, लुकास-कनाडा के ऑप्टिकल प्रवाह की गणना करते समय, इस सूत्र का उपयोग किया जाता है, हम इस पर बाद में वापस आएंगे। लेकिन अगर आप अधिक अंक लेते हैं, तो सूत्र पहले से ही व्युत्पन्न के लिए शास्त्रीय अंतर योजनाओं से पूरी तरह से अलग हो जाता है।

जाहिर है, अगर हम इस फ़ंक्शन का निर्माण करते हैं, उदाहरण के लिए, तीन पड़ोसी बिंदुओं से बाईं ओर और मूल एक के दाईं ओर, तो यह किसी भी तरह से दूर स्थित बिंदुओं पर निर्भर नहीं करता है, और, तदनुसार, जब तीन से अधिक बिंदुओं को स्थानांतरित करते हैं, तो हम अक्सर अपर्याप्त परिणाम प्राप्त करेंगे। । और यह भी, कि हम इस फ़ंक्शन का निर्माण करते हैं, उन बिंदुओं की अधिक से अधिक औसत उपयोग किए गए बिंदुओं से परिणामी लाइन का औसत विचलन, इस तथ्य के कारण कि हमारे पास रैखिक रूप से बदलती छवियां नहीं हैं, लेकिन शैतान जानता है कि कौन से हैं। व्यवहार में, 2 से अधिक पिक्सल की शिफ्ट पहले से ही एक बड़ी त्रुटि देती है, चाहे हम कितने भी अंक लें।

एल्गोरिथ्म का एक और कमजोर बिंदु यह है कि, फिर से, हम चिकनी निरंतर कार्यों से नहीं, बल्कि मनमाने ढंग से और यहां तक ​​कि असतत के साथ काम कर रहे हैं। इसलिए, छवि के कुछ अंशों पर, तीव्रता बिना किसी स्पष्ट नियमितता के "स्किप" कर सकती है, उदाहरण के लिए, वस्तुओं की सीमाओं पर, या शोर के कारण। इस स्थिति में, कोई फ़ंक्शन g (x) बिंदु के आसपास के क्षेत्र में छवि परिवर्तनों का सटीक वर्णन नहीं कर सकता है। इसे दूर करने के लिए (कम से कम आंशिक रूप से), यह मूल छवि को धूमिल करने के लिए प्रस्तावित है, और यह काफी दृढ़ता से धब्बा करने के लिए उपयोगी होगा, अर्थात, हर किसी के पसंदीदा गॉसियन ब्लर (वजन के साथ औसतन) का उपयोग करना बेहतर है, लेकिन बस एक ही बॉक्स फ़िल्टर (खिड़की के ऊपर एक समान औसत) ), और यहां तक ​​कि कई बार एक पंक्ति में। विस्तार की तुलना में छवि की चिकनाई हमारे लिए अधिक महत्वपूर्ण है।

हालाँकि, ये उपाय हमें 2-3 पिक्सल्स की खोज की गई शिफ्ट को सीमित करने से भी नहीं बचाएंगे। और वैसे, ओपनसीवी 1.0 में ऑप्टिकल स्ट्रीम का ऐसा कार्यान्वयन था, और इसने केवल बहुत छोटी पाली में आदर्श परिस्थितियों में काम किया।

क्या करें?

कुल, साधारण लुकास-कनाडा अच्छी तरह से छोटी पारियों को परिभाषित करता है, जैसे कि तस्वीर इसके रैखिक सन्निकटन के समान है। इसे दूर करने के लिए, हम मानक सीवी तकनीक - मल्टी-स्केलिंग का उपयोग करेंगे: हम विभिन्न पैमानों की छवियों के एक "पिरामिड" का निर्माण करेंगे (यह लगभग हमेशा प्रत्येक अक्ष पर 2 गुना पैमाने पर लिया जाता है, इसे गिनना आसान होता है) और एक छोटी छवि से बड़ी छवि तक ऑप्टिकल स्ट्रीम के माध्यम से जाना तब छोटी छवि में पाई गई छोटी पारी बड़ी छवि में बड़ी पारी के अनुरूप होगी। सबसे छोटी छवि पर, हम 1-2 पिक्सेल से अधिक नहीं की एक शिफ्ट पाते हैं, और छोटे पैमाने से बड़े पैमाने पर चलते हुए, हम पिछले चरण से परिणाम का उपयोग करते हैं और शिफ्ट मानों को परिष्कृत करते हैं। दरअसल, OpenCV में यह कैल्कोप्टफ्लोप्रिअरएलके फ़ंक्शन द्वारा कार्यान्वित किया जाता है। इस पिरामिड एल्गोरिथ्म का उपयोग करने से हमें कई बिंदुओं पर एक रेखीय सन्निकटन की गणना करने से परेशान नहीं होने की अनुमति मिलती है: पिरामिड के अधिक स्तरों को लेना आसान है, और प्रत्येक स्तर पर इस फ़ंक्शन का कोई मोटा अनुमान लगाना आसान है। इसलिए, OpenCV में और केवल दो पड़ोसी बिंदुओं की गणना है। और इसलिए, एल्गोरिथ्म के इस कार्यान्वयन के संबंध में, व्युत्पन्न से अधिक सन्निकटन समारोह के लाभ के बारे में हमारे निष्कर्ष बेकार हो गए: इस तरह के कई नियंत्रण बिंदुओं के लिए, व्युत्पन्न सबसे अच्छा सन्निकटन समारोह है।

और क्या हैं?

यह एल्गोरिथ्म ऑप्टिकल फ्लक्स की गणना करने का एकमात्र तरीका नहीं है। ओपनसीवी में, लुकास-कनाडा स्ट्रीम के अलावा, फ़ार्नबैक स्ट्रीम और सिम्पल फ़्लो भी है, जिसे अक्सर हॉर्न - स्कंक एल्गोरिदम भी कहा जाता है।

हॉर्न - स्कंक विधि लुकास-कनाडा विधि की तुलना में कुछ अधिक वैश्विक है। यह इस धारणा पर आधारित है कि पूरी छवि में ऑप्टिकल प्रवाह काफी चिकना होगा। उसी समीकरण से कार्यात्मक पर जाने का प्रस्ताव दिया , अर्थात्, एक भार गुणांक α के साथ पारियों में तेज बदलाव की अनुपस्थिति के लिए आवश्यकता जोड़ें। इस कार्यात्मक का न्यूनतमकरण हमें दो समीकरणों की एक प्रणाली की ओर ले जाता है:



इन समीकरणों में, लाप्लाशियन लगभग गणना करने का प्रस्ताव देते हैं: - औसत मूल्य के साथ अंतर। हमें समीकरणों की एक प्रणाली मिलती है जिसे हम प्रत्येक पिक्सेल के लिए लिखते हैं और सामान्य प्रणाली को हल करते हैं:



इस एल्गोरिथ्म में, मल्टी-स्केलिंग का उपयोग करने का भी प्रस्ताव है, और इसे 2 बार नहीं, बल्कि 0.65 के गुणांक के साथ स्केल करने की सिफारिश की गई है

यह एल्गोरिथ्म OpenCV के पहले संस्करणों में लागू किया गया था, लेकिन बाद में छोड़ दिया गया था।

फ़र्नबैक ने एक द्विघात रूप का उपयोग करते हुए पड़ोस में तीव्रता में परिवर्तन का अनुमान लगाया : I = xAx + bx + c एक सममित मैट्रिक्स A के साथ (वास्तव में, पहले कार्यकाल में टेलर के विस्तार को देखते हुए, हमने रैखिक सन्निकटन I = bx + c लिया, अर्थात अब हम जैसे हैं। समय ने अनुमान की सटीकता को बढ़ाने का फैसला किया) यदि छवि इस पड़ोस में स्थानांतरित हो गई है, तो , द्विघात विस्तार में स्थानापन्न, कोष्ठक खोलें, हमें मिलता है


।

अब हम दोनों चित्रों में A, b, c के मानों की गणना कर सकते हैं, और फिर यह प्रणाली d (विशेष रूप से पहला समीकरण भ्रामक) के संबंध में निरर्थक हो जाएगी, और सामान्य रूप से दूसरे समीकरण से प्राप्त किया जा सकता है: । हमें निम्नलिखित सन्निकटन का सहारा लेना होगा: । सादगी के लिए प्रचार करें फिर हमें बस मिलता है ।

गणना में शोर के लिए क्षतिपूर्ति करने के लिए, हम फिर से इस धारणा की ओर मुड़ते हैं कि अध्ययन के तहत बिंदु के आसपास के क्षेत्र में, सभी बिंदुओं में कमोबेश यही बदलाव होता है। इसलिए, हम फिर से त्रुटि को एकीकृत करते हैं गॉसियन वेटिंग फैक्टर्स के साथ विंडो के ऊपर, और हम वेक्टर डी को इस कुल त्रुटि को कम करते हुए पाते हैं। तब हमें इष्टतम मूल्य मिलता है और इसी न्यूनतम त्रुटि । यही है, हमें प्रत्येक बिंदु के लिए गणना करने की आवश्यकता है , विंडो पर औसत, मैट्रिक्स को पलटना और परिणाम प्राप्त करना। तदनुसार, इन उत्पादों की गणना पूरी तस्वीर के लिए की जा सकती है और विभिन्न बिंदुओं के लिए पूर्व-परिकलित मानों का उपयोग किया जा सकता है, अर्थात्, यह केवल मामला है जब यह घने धारा पर विचार करने के लिए समझ में आता है।

हमेशा की तरह, इस एल्गोरिथ्म में कई संशोधन और सुधार हैं, जो प्राथमिक रूप से ज्ञात प्राथमिकताओं का उपयोग करने की अनुमति देता है - प्रवाह का एक दिया गया प्रारंभिक सन्निकटन - और फिर, मल्टी-स्केलिंग।

SimpleFlow विधि निम्नलिखित विचार पर आधारित है: यदि हम अभी भी यह नहीं जानते हैं कि जिस विंडो के द्वारा हमने डेरिवेटिव की खोज की थी, उसके आकार से अधिक शिफ्ट का निर्धारण कैसे किया जाए, तो डेरिवेटिव की गणना से परेशान क्यों हों? चलो बस खिड़की में सबसे समान बिंदु पाते हैं! और अस्पष्टताओं को हल करने के लिए और शोर की भरपाई करने के लिए, हम इस बात को ध्यान में रखते हैं कि प्रवाह निरंतर है और इस बिंदु के आसपास के क्षेत्र में सभी बिंदुओं में लगभग समान बदलाव है। और खिड़की के आकार के साथ समस्या फिर से बहु-स्केलिंग द्वारा हल की गई है।

अधिक सख्ती से, एल्गोरिथ्म निम्नानुसार है: खिड़की में सभी बिंदुओं के लिए "ऊर्जा" का एक फ़ंक्शन है जो इस बिंदु पर प्रारंभिक बिंदु के संक्रमण की संभावना से मेल खाती है (उलटा लघुगणक निर्भरता के साथ): । इसके अलावा, एक गाऊसी खिड़की के साथ इस ऊर्जा का दृढ़ संकल्प माना जाता है और मान (डीएक्स, डाई) पाए जाते हैं जो इस फ़ंक्शन को कम करते हैं। सबपिक्सल सटीकता प्राप्त करने के लिए, हम पाए गए इष्टतम बिंदु (डीएक्स, डाई) के एक छोटे से पड़ोस पर विचार करते हैं और इसमें एक परवलय के शिखर के रूप में ऊर्जा फ़ंक्शन के शिखर की तलाश करते हैं। और, जैसा कि ऊपर उल्लेख किया गया है, यह प्रक्रिया स्केल की गई छवियों के पिरामिड के लिए की जाती है। उनके पास गणनाओं को गति देने के लिए चालाक तरीके भी हैं, लेकिन सभी के लिए यह दिलचस्प है कि वे खुद इसका पता लगाएं। हमारे लिए यह महत्वपूर्ण है कि इस वजह से, यह एल्गोरिथ्म (सैद्धांतिक रूप से) अच्छी सटीकता के साथ काफी तेज है। और वह पिछले वाले के रूप में ऐसी समस्या नहीं है, कि शिफ्ट जितना बड़ा होता है, उतना ही खराब होता है।

और अगर आप तीव्रता नहीं लेते हैं?

ऊपर कहा गया था कि अंकों के बीच पत्राचार को विभिन्न मूल्यों द्वारा निर्धारित किया जा सकता है, इसलिए हम केवल तीव्रता पर विचार क्यों करते हैं? और क्योंकि किसी भी अन्य मात्रा को इसे कम किया जा सकता है: हम बस छवियों को उचित फिल्टर के साथ फ़िल्टर करते हैं और फ़िल्टर की गई छवियों को ऊपर वर्णित एल्गोरिदम के इनपुट को खिलाते हैं। तदनुसार, यदि आप ऑप्टिकल स्ट्रीम का उपयोग करना चाहते हैं, तो पहले सोचें कि आपकी स्थितियों के तहत कौन सी छवि विशेषता सबसे स्थिर होगी, और उपयुक्त फ़िल्टरिंग करें ताकि एल्गोरिथ्म के इनपुट पर यह विशेषता तीव्रता न हो।

अभ्यास

आइए उन एल्गोरिदम का अभ्यास करने का प्रयास करें जो ओपनसीवी हमें प्रदान करता है।

यहां आप प्रत्येक एल्गोरिथ्म के कई अलग-अलग अध्ययन कर सकते हैं, मापदंडों को अलग-अलग कर सकते हैं, इनपुट अनुक्रमों को बदल सकते हैं - अलग-अलग पारियों, घुमावों, प्रक्षेप्य परिवर्तनों, खंडों, विभिन्न शोरों के साथ, आदि। इसमें बहुत समय लगेगा और वर्तमान लेख के आकार से अधिक होगा। इसलिए, मैं यहां एक निश्चित दूरी और छोटे शोर के थोपने के द्वारा समानांतर छवि परिवर्तन के सरल मामले में खुद को प्रतिबंधित करने का प्रस्ताव करता हूं। यह आपको सामान्य शब्दों में समझने की अनुमति देगा कि एल्गोरिदम को कैसे चलाना है और उनमें से कौन सा कूलर है।

प्रक्रियाओं का सिंटैक्स मैनुअल पेज पर विस्तार से वर्णित है, यहां मैं अपनी टिप्पणियों के साथ एक निचोड़-अनुवाद दूंगा।

क्लासिक लुकास-कनाडा को कैल्कोप्टिकलफ्लोप्रिअर एलके प्रक्रिया में एक पिरामिड के साथ लागू किया गया है। एल्गोरिथ्म विरल धारा की गणना करता है, अर्थात्, पहली छवि में बिंदुओं के एक सेट के लिए, दूसरे में उनकी स्थिति का अनुमान लगाता है। इनपुट पैरामीटर काफी स्पष्ट हैं: दो इनपुट इमेज, इनपुट और आउटपुट सेट ऑफ़ पॉइंट, स्टेटस - आउटपुट वेक्टर दिखा रहा है कि क्या संबंधित बिंदु सफलतापूर्वक पाया गया था, गलत - संबंधित पॉइंट्स की अनुमानित त्रुटियों का आउटपुट वेक्टर, WinSize - विंडो का आकार जिस पर गॉसियन औसत होता है, मैंने लिया। 21x21 और यह अच्छी तरह से काम किया, मैक्सवेल - पिरामिड माइनस एक में परतों की संख्या, अर्थात्, अंतिम परत की संख्या, मैंने 5 लिया, मानदंड - शिफ्ट निर्धारित करने की पुनरावृत्ति प्रक्रिया से बाहर निकलने की स्थिति (त्रुटि को कम करना पुनरावृत्ति है) - यह मैं डिफ़ॉल्ट रूप से झंडे विकल्प छोड़ दिया है, - वैकल्पिक झंडे,उदाहरण के लिए, आप प्रवाह के प्रारंभिक सन्निकटन का उपयोग कर सकते हैं या त्रुटि का अनुमान लगाने के लिए एक विधि चुन सकते हैं, minEigThreshold - नीचे की ढाल का मूल्य जो मैट्रिक्स को पतित माना जाता है, मैंने इसे डिफ़ॉल्ट रूप से छोड़ दिया। OpenCV 2.4.1 से शुरू करके, आप स्ट्रीम की गणना करने के लिए स्केल किए गए चित्रों के पूर्व-गणना पिरामिड का उपयोग कर सकते हैं।

कार्य का परिणाम यह है कि दोनों छोटी और बड़ी पारियों को सफलतापूर्वक और काफी हद तक पता चला है, काफी बड़े शोर के प्रतिरोधी हैं, ऑपरेटिंग समय 5-लेयर पिरामिड (कोर i7 950 पर) के साथ 400 अंकों के लिए लगभग 10 एमएस है।

वैसे, यह एल्गोरिथ्म Gpu (CUDA) पर भी लागू किया जाता है, दोनों घने और विरल संस्करण।

Farneback स्ट्रीम calcOpticalFlowFarneback प्रक्रिया द्वारा कार्यान्वित की जाती है, घनी धारा की गणना की जाती है, अर्थात प्रत्येक बिंदु की पारी। पैरामीटर: इनपुट छवियां, फ़्लोट्स के दो-चैनल मैट्रिक्स के प्रारूप में आउटपुट स्ट्रीम, pyr_scale पिरामिड की परतों के बीच तराजू के अनुपात को निर्धारित करता है, स्तर - पिरामिड में स्तरों की संख्या, जीत - विंडो का आकार औसत होने के लिए, पुनरावृत्तियों - प्रत्येक स्तर पर पॉलीनेशन, पॉलीनेशन की संख्या बहुपद का आकार जिसके द्वारा A और b के मानों का अनुमान लगाया जाता है, poly_sigma गौसियन धब्बा का सिगमा है जब डेरिवेटिव को सुचारू किया जाता है, तो अनुशंसित पैरामीटर मान मैन्युअल में इंगित किए जाते हैं, झंडे अतिरिक्त झंडे होते हैं, उदाहरण के लिए, आप प्रारंभिक सन्निकटन का उपयोग कर सकते हैं। ix प्रवाह या अन्यथा खिड़की का औसत है।

यह एल्गोरिथ्म बहुत कम स्थिर है (मेरी टिप्पणियों के अनुसार), यह काफी समान चित्रों पर याद करना आसान है (जाहिर है, समस्या असफल बिंदुओं को छानने की कमी है), बड़ी पारियों को खराब निर्धारित करता है। मैंने 512x512 छवि पर 600 एमएस के लिए काम किया।

SimpleFlow स्ट्रीम कैलक्ऑप्टिकल फ़्लॉफ़्फ़ प्रक्रिया (फिर, घनी धारा की गणना की जाती है) को लागू करता है, और इसमें डिफ़ॉल्ट मानों के बिना कई रहस्यमय पैरामीटर हैं, और सामान्य तौर पर इस समय पृष्ठ पर जानकारी बहुत ही संक्षिप्त तरीके से प्रदान की जाती है। आइए इसे जानने की कोशिश करें।पहले 3 इनपुट चित्र और आउटपुट दो-चैनल हैं; लेयर्स - पिरामिड में लेयर्स की संख्या, अर्थात, कितनी बार मूल छवि को स्केल किया जाता है; औसत_ब्लॉक_साइज़ - उस विंडो का आकार जिसमें हमने पिक्सेल ऊर्जा फ़ंक्शन की गणना की; max_flow - अधिकतम पारी जिसे हम प्रत्येक चरण पर निर्धारित करना चाहते हैं, वास्तव में यह खिड़की के आकार से निर्धारित होता है (हालांकि यह पूरी तरह से स्पष्ट नहीं है कि यह इंट क्यों है)। आप यहां रुक सकते हैं, या आप कुछ और पैरामीटर सेट कर सकते हैं, उनमें से कुछ का अर्थ मुझे निकाल देता है।

साइट इसके उपयोग का एक उदाहरण प्रस्तुत करती है जिसमें यह निम्नलिखित मापदंडों से शुरू होता है: calcOpticalFlowSF (फ्रेम 1, फ्रेम 2, प्रवाह, 3, 2, 4, 4.1, 25.5, 18, 55.0, 25.5, 0..5, 18, 55.0, 25.5, 10) ;

मेरा एल्गोरिथ्म दूसरों की तुलना में बहुत धीमा काम करता है, लगभग 9-12 सेकंड प्रति 512x512 चित्र। काम का नतीजा Farneback की तुलना में अधिक प्रशंसनीय लगता है, कम से कम वर्दी चित्रों में बदलाव बेहतर निर्धारित है, और यह बड़ी पारियों के साथ बेहतर काम करता है।

निष्कर्ष

यदि आप कहीं ऑप्टिकल धारा का उपयोग करना चाहते हैं, तो पहले सोचें कि क्या आपको इसकी आवश्यकता है: आप अक्सर सरल तरीकों से कर सकते हैं। प्रवाह को लागू करने के लिए खुद को केवल कुछ बार सोचने के लायक है: प्रत्येक एल्गोरिथ्म में कई चालें, सूक्ष्मताएं और अनुकूलन हैं; कोई फर्क नहीं पड़ता कि आप क्या करते हैं, यह सबसे अधिक संभावना ओपनसीवी में बेहतर काम करता है (स्वाभाविक रूप से, बशर्ते कि यह वहां हो)। इसके अलावा, वे तर्क और हार्डवेयर अनुकूलन का उपयोग करते हैं, जैसे SSE निर्देशों का उपयोग करना, मल्टीथ्रेडिंग, CUDA या OpenCL के साथ गणना करने की क्षमता, आदि। यदि आपको केवल अंकों के एक निश्चित सेट (यानी विरल स्ट्रीम) की शिफ्ट की गणना करने की आवश्यकता है, तो आप सुरक्षित रूप से उपयोग कर सकते हैं। समारोह calcOpticalFlowPyrLK, यह अच्छी तरह से, विश्वसनीय और तेजी से पर्याप्त काम करता है। घने प्रवाह की गणना करने के लिए कैल्कोप्टिकलफ्लोएसएफ फ़ंक्शन का उपयोग करना अच्छा है।लेकिन वह बहुत धीमी गति से काम करती है। यदि प्रदर्शन महत्वपूर्ण है, तो calcOpticalFlowFarneback, लेकिन आपको यह भी सुनिश्चित करना होगा कि इसके कार्य के परिणाम आपके अनुरूप होंगे।

साहित्य

docs.opencv.org/modules/video/doc/motion_analysis_and_object_tracking.html
लुकास कनाडे फ़ीचर ट्रैकर का पिरामिड कार्यान्वयन। एल्गोरिथ्म का वर्णन - जीन-यवेस बाउगेट
टू-फ्रेम मोशन एस्टीमेशन, पॉलिनोमियल एक्सपेंशन पर आधारित - गुन्नर फ़र्नेबैक सिंपल फ़्लो
: एक गैर-पुनरावृत्त, सब्लीनियर ऑप्टिकल फ्लो एल्गोरिदम - माइकल ताओ, जियामिन बाई, पुष्मीत कोहली, और सिल्वेन पेरिस
हॉर्न-शुनक ऑप्टिकल फ़्लो। मल्टी-स्केल रणनीति के साथ - एनरिक मीनहार्ट-लोपिस, जेवियर सांचेज़
en.wikipedia.org/wiki/Optical_flow