तंत्रिका नेटवर्क का उपयोग करते हुए छवि पुनर्प्राप्ति

एक बार, एक मित्र ने एक थीसिस के साथ मदद मांगी और एक लेख के लिए एक लिंक दिया जो कोहेनन स्व-व्यवस्थित मानचित्रों का उपयोग करके छवियों को पुनर्स्थापित करने के बारे में बात करता है। लेख पढ़ने के बाद, सबसे पहले मैंने फैसला किया कि यह किसी प्रकार की बकवास थी, और यह कि तंत्रिका नेटवर्क वसूली के लिए फिट नहीं था। लेकिन, मैं थोड़ा गलत था, यह पता चला कि यह विधि बहुत ही आकर्षक है, और जब मैंने ऐसा किया, तो मैं लाचार नहीं हो सकता था।

यह कैसे काम करता है?

कोहेनन मानचित्र एक दो-आयामी ग्रिड NXxNY है, जिसमें न्यूरॉन्स शामिल हैं। ग्रिड में प्रत्येक न्यूरॉन को एक SxS वर्ग द्वारा दर्शाया जाता है - इस वर्ग को वेट वेक्टर कहा जाता है, जिसके मान संगत पिक्सेल के रंग के बराबर होते हैं।
प्रशिक्षण के लिए, SxS छवि टुकड़े नेटवर्क में खिलाए जाते हैं, जिसके बाद नेटवर्क इस टुकड़े के समान न्यूरॉन की खोज करता है, तथाकथित BMU (सर्वश्रेष्ठ मिलान इकाई), और इसके भारांक गुणांकों को समायोजित करता है ताकि आप आपूर्ति किए गए टुकड़े की तरह और भी अधिक हो सकें। और फिर वह पड़ोसियों को प्रशिक्षित करता है, लेकिन कम तीव्रता के साथ। न्यूरॉन बीएमयू से जितना दूर है, उतना ही कम योगदान जमा किए गए टुकड़े द्वारा किया जाता है। इसलिए नेटवर्क को तब तक प्रशिक्षित किया जाता है जब तक कि प्रत्येक दायर टुकड़े के लिए बीएमयू का विचलन एक निश्चित न्यूनतम मूल्य तक नहीं पहुंच जाता है।
यहाँ कुछ उदाहरण हैं। पहली तस्वीर में 3x3 न्यूरॉन्स के साथ 120x120 नेटवर्क और दूसरी तस्वीर में 15x15 न्यूरॉन्स के साथ 24x24 नेटवर्क दिखाया गया है। ब्यूटी!

बहाली एक समान तरीके से होती है, क्षतिग्रस्त छवि के SxS टुकड़े को लिया जाता है, और BMU को बिना पड़ी हुई पिक्सेल से खोजा जाता है, जिसके बाद क्षतिग्रस्त पिक्सेल को न्यूरॉन वेट वेक्टर से संबंधित मानों से बदल दिया जाता है।

कैसे एक तंत्रिका नेटवर्क एक तस्वीर "देखता है"?

यह देखने के लिए कि एक तंत्रिका नेटवर्क कैसे "चित्र" देखता है, मैं निम्नलिखित विधि के साथ आया था। हम एक प्रशिक्षित तंत्रिका नेटवर्क लेते हैं, और चित्र में प्रत्येक पिक्सेल के लिए हम एक SxS टुकड़ा बनाते हैं, इसे तंत्रिका नेटवर्क में फ़ीड करते हैं, उसमें से केंद्रीय पिक्सेल का रंग निकालते हैं और इस रंग को उसी निर्देशांक में लिखते हैं, लेकिन एक नई तस्वीर में। परिणामी छवि किसी दिए गए तंत्रिका नेटवर्क की छवि पुनर्प्राप्ति क्षमता को दर्शाती है। प्रयोग के लिए मैंने इस चित्र का उपयोग किया



इस पद्धति के लिए धन्यवाद, मैंने कई दिलचस्प गुणों की पहचान की है।

1. आकार S जितना बड़ा होगा, छवि उतनी ही कम साफ़ होगी।
   आंकड़ा 3x3 और 15x15 न्यूरॉन्स के साथ बनाई गई छवियों को दर्शाता है। जैसा कि आप देख सकते हैं, सामान्य रूप से 3x3 मूल से बहुत अलग नहीं है। 15x15 में यह पहले से ही धुंधला हो गया है।
   
   
2. नेटवर्क में जितने अधिक न्यूरॉन्स होंगे, रंग पैलेट उतना बड़ा होगा।
   पहली तस्वीर में, एक 4x4 ग्रिड का उपयोग किया गया था, और दूसरे में 120x120। जैसा कि आप देख सकते हैं, 4x4 नेटवर्क में, रंगों के बीच संक्रमण तेज हैं।
   
   
3. प्रशिक्षण के अधिक पुनरावृत्तियों, अधिक सटीक रूप से बहाल किए गए रंग वास्तविक तस्वीर के रंगों के अनुरूप होते हैं और बेहतर विवरण दिखाई देते हैं। पहली तस्वीर में, 10 टुकड़े पर प्रशिक्षित 10x10 तंत्रिका नेटवर्क का उपयोग किया गया था, और दूसरे पर, 10,000 टुकड़े।
   
   
   

वैसे, कृपया ध्यान दें कि 10x10 और 120x120 के एक अच्छी तरह से प्रशिक्षित नेटवर्क को नेत्रहीन रूप से बहुत अलग से पुनर्स्थापित करना, केवल यदि आप विवरणों को करीब से देखते हैं तो आप छोटे अंतर पा सकते हैं।
मैंने जनरेटर को एक छोटे अनुप्रयोग के रूप में डिज़ाइन किया है, इसलिए आप अपने आप को लिप्त कर सकते हैं (वेबकिट और एफएफ पर जाँच की गई है)।

मामूली आकस्मिक क्षति को पुनर्स्थापित करें।

छोटे न्यूरॉन्स के साथ नेटवर्क द्वारा छोटे यादृच्छिक क्षति की आसानी से मरम्मत की जाती है, उदाहरण के लिए 3x3 या 5x5 पर्याप्त है। वे जल्दी और कुशलता से काम करते हैं। यहां छवि बहाली का एक उदाहरण है जिसमें 25% पिक्सेल क्षतिग्रस्त हैं, 10x10 नेटवर्क और 5x5 न्यूरॉन्स हैं



आकस्मिक क्षति को बहाल करने के लिए भी एक अलग आवेदन किया ।

बड़े क्षेत्रों की वसूली

बड़े क्षतिग्रस्त क्षेत्रों की मरम्मत के लिए, यह आवश्यक है कि न्यूरॉन एस का आकार क्षतिग्रस्त क्षेत्र के आकार से अधिक हो। तदनुसार, क्षति का आकार जितना बड़ा होगा, उतना अधिक स्मीयर बहाल क्षेत्र होगा।
आंकड़ा 15x10 न्यूरॉन के साथ एक नेटवर्क द्वारा 10x10 टुकड़े की बहाली को दर्शाता है

ज्ञात पिक्सल के <20% पर रिकवरी

दुर्भाग्य से, ऐसी छवियों से एक नक्शा बनाना असंभव है, इसलिए अफसोस, उन्हें सीधे बहाल नहीं किया जा सकता है, लेकिन यदि आप पहले से ही प्रशिक्षित नेटवर्क लेते हैं तो उन्हें बहाल किया जा सकता है। आकृति 12% ज्ञात पिक्सेल से छवि पुनर्प्राप्ति का एक उदाहरण दिखाती है। मूल छवि पर प्रशिक्षित नेटवर्क।


मेरी राय में यह नुकसान की मात्रा के लिए बहुत अच्छी तरह से निकला।

UPD: मेरे द्वारा विकसित व्यावहारिक अनुप्रयोग, अनुप्रयोगों के बारे में:
मेरे शोध का उद्देश्य अवधारणा की जांच करना है, और सभी अवसरों के लिए एक कार्यशील अनुप्रयोग प्रदान नहीं करना है, इसलिए आज मौजूद संस्करण के किसी भी गंभीर व्यावहारिक अनुप्रयोग के बारे में सभी बात का कोई मतलब नहीं है।