धुंधली छवियां फोटोग्राफी में सबसे अधिक कष्टप्रद दोषों में से एक हैं, साथ ही विक्षेपित चित्र। इससे पहले, मैंने धुंधली और विरूपित छवियों को पुनर्स्थापित करने के लिए डिकोनोवल्शन एल्गोरिदम के बारे में लिखा था। ये अपेक्षाकृत सरल दृष्टिकोण आपको मूल छवि को पुनर्स्थापित करने की अनुमति देते हैं यदि स्मीयर का सटीक प्रक्षेपवक्र (या धब्बा स्थान का आकार) ज्ञात हो।
ज्यादातर मामलों में, स्नेहन पथ को एक सीधी रेखा माना जाता है, जिसके मापदंडों को उपयोगकर्ता द्वारा स्वयं निर्धारित किया जाना चाहिए - इसके लिए कोर का चयन करने पर काफी श्रमसाध्य कार्य करना पड़ता है, इसके अलावा, वास्तविक तस्वीरों में, स्नेहन पथ लाइन से दूर है और चर घनत्व / चमक का एक जटिल वक्र है, जिसका आकार अत्यंत है हाथ से उठाना मुश्किल है।


पिछले कुछ वर्षों में, छवि पुनर्स्थापना के सिद्धांत में एक नई दिशा गहन रूप से विकसित हो रही है - ब्लाइंड डेकोनोवलिंग। इस विषय पर काफी काम किया गया है, और परिणामों का सक्रिय वाणिज्यिक उपयोग शुरू होता है।
आपमें से कई लोग Adobe MAX 2011 सम्मेलन को याद करते हैं, जिस पर उन्होंने सिर्फ ब्लाइंड डेकोवोल्विंग एल्गोरिदम का एक ऑपरेशन दिखाया था: फ़ोटोशॉप के नए संस्करण में धुंधली तस्वीरों को ठीक करें
इस लेख में मैं और अधिक विस्तार से बताना चाहता हूं कि यह अद्भुत तकनीक कैसे काम करती है, और स्मार्टडेब्लूर के व्यावहारिक कार्यान्वयन को भी दिखाती है, जिसके निपटान में अब यह एल्गोरिथ्म भी है।
ध्यान दें, कट के तहत बहुत सारी तस्वीरें!

शुरुआत

यह पोस्ट रिस्टोर्ड और ब्लरड इमेज को रिस्टोर करने पर मेरी पोस्ट की एक श्रृंखला है:
भाग 1. थ्योरी - डिफोकस की गई और धुंधली छवियां बहाल करना
भाग 2. प्रैक्टिस - रिजेक्टेड और ब्लर इमेज को रिस्टोर करना
भाग 3. गुणवत्ता में सुधार - Defocused और धुंधली छवियों को पुनर्स्थापित करना
यह समझने के लिए कम से कम पहले सैद्धांतिक भाग को पढ़ने की सिफारिश की जाती है ताकि यह समझने के लिए कि क्या दृढ़ संकल्प, विघटन, फूरियर रूपांतरण और अन्य शर्तें हैं। हालांकि मैंने वादा किया था कि तीसरा भाग अंतिम होगा, लेकिन मैं विरोध नहीं कर सका और छवि बहाली के क्षेत्र में नवीनतम रुझानों के बारे में नहीं बताया।
मैं अमेरिकी प्रोफेसर रॉब फर्गस के काम के एक उदाहरण के रूप में ब्लाइंड डेकोवोल्यूशन पर विचार करूंगा "सिंगल फोटोग्राफ से कैमरा शेक हटाना"। मूल लेख उनके पेज पर पाया जा सकता है: http://cs.nyu.edu/~fergus/pmwiki/pmwiki.php
यह सबसे नया काम नहीं है, हाल के समय में कई अन्य प्रकाशन हुए हैं जो सबसे अच्छे परिणाम दिखाते हैं - लेकिन यह कई चरणों में बहुत ही जटिल गणित ((बिना पढ़े पाठक के लिए) का उपयोग करता है और मूल सिद्धांत समान रहता है। इसके अलावा, फ़्यूज़स का काम उसका काम है। "क्लासिक" की तरह, वह एक मौलिक रूप से नए दृष्टिकोण का प्रस्ताव करने वाले पहले व्यक्ति थे, जिन्होंने बहुत जटिल मामलों के लिए भी स्नेहक कोर का स्वचालित रूप से पता लगाने की अनुमति दी थी।

विरूपण मॉडल

और इसलिए, चलो शुरू करें।
एक कैमरा ले लो और एक धुंधला शॉट ले लो - इस के लिए अच्छा है बहुत प्रयास की आवश्यकता नहीं है :)


हम निम्नलिखित संकेतन प्रस्तुत करते हैं:
बी - धुंधली छवि देखी गई
K - कोर ब्लर (प्रक्षेपवक्र धब्बा), कर्नेल
एल - मूल धुंधली छवि (छिपी)
एन - additive शोर

तब स्मीयर / विकृति प्रक्रिया को निम्नलिखित अभिव्यक्ति के रूप में वर्णित किया जा सकता है

बी = के * एल + एन

जहां प्रतीक "*" एक दृढ़ संकल्प ऑपरेशन है, सामान्य गुणन के साथ भ्रमित होने की नहीं!
सजा क्या है पहले भाग में पढ़ा जा सकता है
दृश्य रूप में, इसे निम्नानुसार दर्शाया जा सकता है (सादगी के लिए शोर घटक को छोड़ना):


तो सबसे मुश्किल क्या है?
एक सरल सादृश्य की कल्पना करें - संख्या 11 में दो कारक होते हैं। वे क्या हैं?
समाधान अंतहीन हैं:
११ = १ x ११
11 = 2 x 5.5
11 = 3 x 3.667
आदि
या, एक दृश्य प्रतिनिधित्व पर आगे बढ़ रहा है:

लक्ष्य समारोह

एक विशिष्ट समाधान प्राप्त करने के लिए, आपको प्रतिबंधों को लागू करने की आवश्यकता है, किसी तरह हम जिस चीज के लिए प्रयास कर रहे हैं उसके मॉडल का वर्णन करें।
यानी अधिक जानकारी की आवश्यकता है। इसके लिए विकल्पों में से एक उद्देश्य फ़ंक्शन सेट करना है - यह एक ऐसा फ़ंक्शन है जिसका मूल्य उच्च (सरल मामले में) है, परिणाम वांछित के करीब है।
अध्ययनों से पता चला है कि इस तथ्य के बावजूद कि वास्तविक छवियां व्यक्तिगत पिक्सल के मूल्यों में बड़ी फैली हुई हैं, इन मूल्यों के ग्रेडिएंट में धीरे-धीरे कम होने वाली सीमाओं ( भारी पूंछ वाले वितरण ) के साथ वितरण का रूप है । इस तरह के वितरण में शून्य के आसपास के क्षेत्र में एक चोटी होती है और, गौसियन वितरण के विपरीत, बड़े मूल्यों की अधिक संभावनाएं होती हैं (जैसे कि मक्खन)।
यह सहज विचार के साथ मेल खाता है कि ज्यादातर मामलों में वास्तविक छवियों में अधिक या कम निरंतर चमक के बड़े क्षेत्र होते हैं, जो चमक में तेज और मध्यम अंतर वाली वस्तुओं के साथ समाप्त होते हैं।

यहां एक तेज छवि के लिए एक ढाल हिस्टोग्राम का एक उदाहरण दिया गया है:


और धुंधली छवि के लिए:


इस प्रकार, हमें एक उपकरण मिला है जो हमें परिणाम की "गुणवत्ता" को स्पष्टता और एक वास्तविक छवि के समानता के रूप में मापने की अनुमति देता है।

अब हम एक पूर्ण मॉडल बनाने के लिए मुख्य बिंदुओं को तैयार कर सकते हैं:
1. विरूपण मॉडल बी = के * एल + एन द्वारा लगाए गए सीमाएं
2. पुनर्निर्माण परिणाम के लिए उद्देश्य समारोह धीरे-धीरे घटती सीमाओं के साथ सैद्धांतिक वितरण के लिए समान है। इसे p (L _P ) से निरूपित करें
3. विरूपण कोर के लिए उद्देश्य समारोह सकारात्मक मूल्य और सफेद पिक्सल का एक कम अनुपात है (चूंकि स्मीयर पथ आमतौर पर एक पतली रेखा द्वारा दर्शाया जाता है)। इसे p (K) से निरूपित करें

एक सामान्य उद्देश्य समारोह में इस सब को मिलाएं:


जहाँ q (L _P ) , q (K) वैरिएशन बायेसियन दृष्टिकोण द्वारा प्राप्त वितरण हैं

इसके अलावा, कुछ उद्देश्यों के साथ समन्वित वंश की विधि द्वारा इस उद्देश्य समारोह को कम से कम किया जाता है, जिसका वर्णन मैं उनकी जटिलता और सूत्रों की प्रचुरता के कारण नहीं करूंगा - यह सब फर्गस में पढ़ा जा सकता है।
यह दृष्टिकोण मौजूदा कोर की गुणवत्ता में सुधार करने की अनुमति देता है, लेकिन वे इस कोर को खरोंच से नहीं बना सकते हैं, क्योंकि एक समाधान खोजने की प्रक्रिया में सबसे अधिक संभावना है कि हम स्थानीय न्यूनतम स्थानों में से एक में गिर जाएंगे।

पिरामिड दृष्टिकोण

इस समस्या का समाधान विरूपण कोर के निर्माण के लिए एक पुनरावृत्त दृष्टिकोण है।
सबसे पहले, हम इनपुट धुंधली छवि से विभिन्न प्रस्तावों के साथ छवियों का एक पिरामिड बनाते हैं। सबसे छोटे आकार से मूल आकार तक।
अगला, हम एक सरल पैटर्न के साथ 3 * 3 कर्नेल का उपयोग करके एल्गोरिथ्म को आरंभ करते हैं - एक ऊर्ध्वाधर रेखा, एक क्षैतिज रेखा, या गौसियन स्पॉट। एक सार्वभौमिक विकल्प के रूप में, आप बाद वाला चुन सकते हैं - एक गाऊसी स्थान।
ऊपर वर्णित अनुकूलन एल्गोरिथ्म का उपयोग करके, हम निर्मित पिरामिड में सबसे छोटी छवि आकार का उपयोग करके कर्नेल अनुमान में सुधार करते हैं।
उसके बाद, हम परिणामी अपडेट किए गए कर्नेल को आकार देते हैं, कहते हैं, 5 * 5 पिक्सल और प्रक्रिया को अगले आकार की छवि के साथ पहले से ही दोहराएं।
इस प्रकार, प्रत्येक चरण पर, हम कोर को थोड़ा सुधारते हैं और परिणामस्वरूप हमें स्नेहक का एक बहुत सटीक प्रक्षेपवक्र प्राप्त होता है।

आइए एक उदाहरण का उपयोग करके कर्नेल के पुनरावृत्ति निर्माण को प्रदर्शित करते हैं।
मूल छवि:


कर्नेल शोधन प्रक्रिया:

पहली और तीसरी पंक्ति छवि पिरामिड के प्रत्येक स्तर पर कर्नेल स्कोर दिखाती है।
दूसरी और चौथी पंक्तियाँ अविभाजित छवि का अनुमान हैं।

परिणाम:

प्रवाह संचित्र

यह सब कुछ एक साथ इकट्ठा करने और पूरे एल्गोरिथ्म का वर्णन करने के लिए बना हुआ है:



अधिक आधुनिक दृष्टिकोणों में कर्नेल के अनुक्रमिक शोधन का लगभग एक ही विचार है, लेकिन पुनर्निर्माण परिणाम और विरूपण कर्नेल के लिए उद्देश्य फ़ंक्शन के अधिक परिष्कृत संस्करणों का उपयोग करें। इसके अलावा, परिणामी कोर के मध्यवर्ती और अंतिम फ़िल्टरिंग को अतिरिक्त शोर को हटाने और शोधन एल्गोरिथ्म में कुछ त्रुटियों को ठीक करने के लिए किया जाता है।

व्यावहारिक कार्यान्वयन

संभवतः सबसे दिलचस्प बात यह है कि वास्तविक छवियों पर ब्लाइंड डीकोनोवोलोजी एल्गोरिदम के साथ खेलना है!
हमने एक समान विकल्प लागू किया और SmartDeblur 2.0 में एक नई सुविधा के रूप में जोड़ा गया - सब कुछ अभी भी मुफ्त है :)
परियोजना का पता: smartdeblur.net
( पिछले संस्करण के स्रोत और बायनेरिज़ GitHub: github.com/Y-Vladimir/SmartDeblur पर देखे जा सकते हैं)

कार्य उदाहरण:


एक और उदाहरण:


और अंत में, एडोब मैक्स 2011 सम्मेलन से छवि पर काम का परिणाम:


जैसा कि आप देख सकते हैं, परिणाम लगभग सही है - लगभग उनके डेमो में एडोब की तरह।

तकनीकी विवरण

अब तक, संसाधित छवि का अधिकतम आकार 1200 * 1200 पर सेट है। यह इस तथ्य के कारण है कि एल्गोरिदम मेमोरी की बहुत खपत करते हैं। यहां तक ​​कि 1000 पिक्सेल वाली छवि गीगाबाइट से अधिक है। इसलिए, एक आकार प्रतिबंध पेश किया गया है।
हम deconvolution और पिरामिड निर्माण को अनुकूलित करने के बाद हम इसे बाद में बढ़ाएंगे।
इंटरफ़ेस इस प्रकार है:



कार्यक्रम के साथ काम करने के लिए, आपको केवल छवि डाउनलोड करने और "विश्लेषण ब्लर" पर क्लिक करने की आवश्यकता है और पूरी छवि की पसंद को स्वीकार करें - विश्लेषण में कई मिनट लग सकते हैं। यदि परिणाम आपको सूट नहीं करता है, तो आप दूसरे क्षेत्र का चयन कर सकते हैं (इसे ऊपर और नीचे ले जाने वाली छवि में माउस के साथ इसे उजागर करना थोड़ा स्पष्ट नहीं है, लेकिन अभी तक :))। सही बटन चयन का चयन करता है।
"एग्रेसिव डिटेक्शन" चेकबॉक्स केवल कर्नेल के सबसे महत्वपूर्ण तत्वों का चयन करने के लिए सेटिंग्स बदलता है।

अब तक, अच्छे परिणाम सभी छवियों पर प्राप्त होने से दूर हैं - इसलिए हम प्रतिक्रिया के बारे में बहुत खुश होंगे, इससे हमें एल्गोरिदम को बेहतर बनाने में मदद मिलेगी!

--
व्लादिमीर याज़िकोव (व्लादिमीर याज़िकोव)