कंप्यूटर विज़न में पार्टिकल फ़िल्टर एलगोरिदम: स्टैरियोविज़न

कण फ़िल्टर एल्गोरिथ्म अपनी सादगी और सहजता के लिए उल्लेखनीय है। मैं दो छवियों में "एक ही बिंदु" की तुलना करने के लिए त्रिविम दृष्टि के कार्य में इसके उपयोग का अपना संस्करण प्रदान करता हूं - बाएं और दाएं कैमरों से। कार्यान्वयन के लिए (विशेष रूप से मनोरंजन प्रयोजनों के लिए), पायथन का उपयोग संख्यात्मक (मैट्रिक्स कंप्यूटिंग) और pygame (ग्राफिक्स और माउस इवेंट प्रोसेसिंग) पुस्तकालयों के साथ किया गया था। कण फ़िल्टर एल्गोरिथ्म ही, परिवर्तनों के बिना, उडासिटी पर प्रोग्रामिंग रोबोटिक कोर्स से लिया गया है। मेरा एकमात्र बहाना यह है कि मैंने ईमानदारी से पूरे पाठ्यक्रम को सुना और इस एल्गोरिथम के कार्यान्वयन सहित सभी होमवर्क किए।

स्टीरियोस्कोपिक दृष्टि के कार्य में, आपको बाएं और दाएं फ्रेम में छोटे क्षेत्रों (उदाहरण के लिए, 8x8 पिक्सेल) की तुलना करने की आवश्यकता होती है। कैमरों की एक आदर्श व्यवस्था के साथ सख्ती से क्षैतिज रूप से, बाएं और दाएं फ्रेम के बीच एक ही क्षेत्र के एक्स अक्ष पर समन्वय में अंतर को जानने के साथ, आप इस क्षेत्र में दिखाए गए ऑब्जेक्ट की दूरी की गणना कर सकते हैं। मैं समझता हूं कि यह भ्रामक लगता है, लेकिन वास्तव में यह समान त्रिकोण के नियम के अनुसार सरलतम ज्यामितीय निर्माणों द्वारा आसानी से कट जाता है। उदाहरण के लिए, एक अधूरा घंटी टॉवर के साथ एक वीडियो में, हम एक बाड़ देखते हैं जो समान रोम्बस के साथ दूरी में जाता है। हमारे निकटतम समीपस्थ सबसे अधिक दृढ़ता से बाएं के सापेक्ष दाएं फ्रेम में स्थानांतरित किया जाता है, अगला थोड़ा छोटा है, आदि।

इस समस्या को हल करने के लिए मानक योजना काफी कम्प्यूटेशनल रूप से कठिन है। कैमरों के सापेक्ष पदों में त्रुटियों को कैलिब्रेट करना आवश्यक है ताकि यह सुनिश्चित हो सके कि बाएं फ्रेम पर Y समन्वय के साथ क्षैतिज रेखा बिल्कुल सही फ्रेम पर समान समन्वय के साथ क्षैतिज से मेल खाती है। फिर, बाएं फ्रेम पर क्षैतिज रेखा के साथ प्रत्येक बिंदु (या क्षेत्र) को दाएं फ्रेम पर सबसे अच्छे बिंदु के साथ मिलाएं (यह हल किया गया है, उदाहरण के लिए, डायनामिक प्रोग्रामिंग विधि द्विघात जटिलता से)। फिर हम प्रश्न में क्षैतिज के साथ प्रत्येक बिंदु के लिए ऑक्सी के साथ विस्थापन की गणना करेंगे। और प्रत्येक क्षैतिज रेखा के लिए प्रक्रिया को दोहराएं। यह थोड़ा जटिल है, और यह बिल्कुल नहीं है कि यह मस्तिष्क में कैसे काम करता है (हम जानते हैं कि, ठीक है?)



देखें कि कैसे कण फ़िल्टर एल्गोरिथ्म उसी समस्या को हल करता है। मेरी राय में, यह जैविक मॉडल से बहुत मिलता-जुलता है, कम से कम माइक्रो-आई आंदोलनों को छवि के अलग-अलग टुकड़ों पर ध्यान केंद्रित करने के लिए अनुकरण किया जाता है, और इस तरह के सूक्ष्म आंदोलनों की "पृष्ठभूमि" को ध्यान में रखा जाता है।



कण फ़िल्टर एल्गोरिथ्म अपने आप में बहुत सरल है। हम एन अंक उत्पन्न करते हैं, उन्हें कण कहते हैं। कणों को मूल परिकल्पना के आसपास बेतरतीब ढंग से एक विमान पर रखा जाता है।



फिर प्रत्येक कण के लिए हम जांचते हैं कि यह "सही" कैसे है। यह जितना सही है, उतना ही इसका वज़न है (हर कोई समझता है कि हम वेट का एक मैट्रिक्स बना रहे हैं, यानी, एक वेक्टर, ठीक है, संक्षेप में, आप समझते हैं)।



अब हम परिकल्पना को आगे बढ़ा रहे हैं। कण फ़िल्टर एल्गोरिथ्म में, हमें कम से कम मोटे तौर पर पता होना चाहिए कि हम कहाँ परिकल्पना को आगे बढ़ा रहे हैं।



अब एल्गोरिथ्म का बहुत नमक। हम पुराने कणों से कणों का एक नया बादल बना रहे हैं। इस मामले में, हम दो क्रियाएं करते हैं: हम अपने वजन के अनुपात में "पुराने" कणों का चयन करते हैं और उन्हें उसी वेक्टर पर ले जाते हैं जिस पर परिकल्पना स्थानांतरित हो गई है।

यही है, "पुराने" कण का वजन जितना अधिक होगा, उतने ही अधिक एक नए बादल में जाने की संभावना है। एक और अति सूक्ष्म अंतर है, नए कणों को स्थानांतरित करते समय, हम विस्थापन वेक्टर में एक अराजक त्रुटि जोड़ना सुनिश्चित करते हैं।



वह सब है। साइकिल।

अब हम पूरे बादल से सबसे बड़े वजन वाले 10 कणों का चयन करते हैं (हम उन्हें ऊपरी दाहिने फ्रेम में दिखाते हैं)। हम उनके केंद्र के औसत मूल्य को सही फ्रेम पर हमारे ध्यान के समन्वय के रूप में मानते हैं। यही है, हमें दाएं और बाएं फ्रेम पर संबंधित क्षेत्र मिला है! हम समन्वय अंतर की गणना कर सकते हैं, इसे सूत्र में बदल सकते हैं (जिसमें कैमरों और लेंस की फोकल लंबाई के बीच की दूरी भी शामिल है) और जेड समन्वय प्राप्त करें - कैमरों से हमारे ध्यान के फोकस बिंदु तक दूरी।

वीडियो पर एक नज़र डालें क्योंकि कई फोकस आंदोलनों के बाद कणों का बादल घटता है। सबसे पहले, एल्गोरिथ्म को पता नहीं है कि "हम कहां हैं", लेकिन 2-3 पुनरावृत्तियों के बाद क्लाउड अनुबंध, और जैसा कि यह था, पृष्ठभूमि को ध्यान में रखते हुए, ध्यान का ध्यान केंद्रित करता है। यह हमारे एल्गोरिथ्म का एक बड़ा लाभ है। उदाहरण के लिए, एक मानक स्टीरियो दृष्टि एल्गोरिथ्म के लिए, क्षैतिज दोहराए जाने वाले तत्वों की एक श्रृंखला एक लगभग दुर्गम बाधा है। हमारे वीडियो में, यह एक बाड़ है जिसमें रंबल को दोहराया जाता है। इस तथ्य के कारण कि एल्गोरिथ्म पृष्ठभूमि को याद करता है, यह आत्मविश्वास से एक दूसरे से rhombs को अलग करता है।

हमारे काम का परिणाम खिड़की के निचले बाएं कोने में सफेद डॉट्स के साथ एक ब्लैक बॉक्स है। ऊपर से प्रक्षेपण में प्रदर्शित बिंदु हैं। देखो: 0 से 9 सेकंड तक, हम मानसिक रूप से बाड़ के साथ आगे बढ़ते हैं, और सफेद डॉट्स स्क्रीन के निचले किनारे के समानांतर दिखाई देते हैं, अर्थात ऊपर से बाड़ के दृश्य के अनुरूप हैं।

अगला, 13 से 32 सेकंड तक, हम बाड़ को हमसे दूर जाते हुए देखते हैं। ऊपर से प्रक्षेपण के बिंदु इस स्थिति को सही ढंग से दर्शाते हैं। फिर हम अभी भी बाड़ के साथ रास्ते पर चलते हैं, और सफेद डॉट्स हमें रास्ते की योजना बनाते हैं (रेत में कुछ घुमक्कड़ के निशान हैं, लेकिन वे कम-रिज़ॉल्यूशन वीडियो में दिखाई नहीं देते हैं)।

अंत में, जब हम अपनी आँखों को घंटी टॉवर पर शिफ्ट करते हैं, तो हम देखते हैं कि कणों का बादल अचानक "खो" गया था, अर्थात, फोकस आंदोलन बहुत बड़ा था, और छवियों के बीच एक स्पष्ट पत्राचार प्रकट करना संभव नहीं था। लेकिन शाब्दिक रूप से 3-4 पुनरावृत्तियों में, बादल फिर से सिकुड़ जाता है, और हम आत्मविश्वास से घंटी टॉवर की आकृति और खिड़कियों को ट्रैक करते हैं। इसी समय, कैमरे का रिज़ॉल्यूशन बाएं और दाएं फ्रेम के बीच निर्देशांक में अंतर प्रदर्शित करने के लिए पर्याप्त नहीं है, इसलिए बेल टॉवर से दूरी Z अनंत हो जाती है। ध्यान दें कि फ़्रेम का रिज़ॉल्यूशन वास्तव में खराब है, केवल 230x344 है।



इस वीडियो में, एल्गोरिथ्म को एक अलग छवि के साथ परीक्षण किया गया था। देखें कि हम विश्वास से 0-20 सेकंड में ग्रेवस्टोन से कैसे निपटते हैं। अगला, हम सफलतापूर्वक झाड़ी और झाड़ी से छाया आकृति खींचते हैं - ध्यान दें कि प्रक्षेपण पर यह सही ढंग से इसके द्वारा डाली गई छाया के मध्य भाग में आता है। और फिर फिर से हम पृष्ठभूमि में स्थानांतरित हो जाते हैं, कणों के एक बादल में खो जाते हैं, लेकिन जल्दी से बहाल हो जाते हैं और आत्मविश्वास से दीवार के समान टुकड़े पाते हैं। लेकिन वे पहले से ही हमसे बहुत दूर हैं ...

अद्यतन

स्रोत कोड pastebin.com/a8hDiyMc

आवश्यकताएँ:

• अजगर से python.org स्थापित करें
• Scipy.org से numpy स्थापित करें
• Pygame.org से pygame को स्थापित करें
• दो मापदंडों के साथ कार्यक्रम चलाएं: बाएं फ्रेम की जेपीईजी फ़ाइल का मार्ग और दाएं फ्रेम के जेपीईजी फ़ाइल का पथ

कोड की गुणवत्ता के लिए न्याय न करें, यह आपके अपने मनोरंजन के लिए लिखा गया था।