पुनरावर्तन तंत्रिका नेटवर्क

रीसर्क्युलेशन न्यूरल नेटवर्क मल्टीलेयर न्यूरल नेटवर्क होते हैं जिनमें रिवर्स इनफार्मेशन डिसेमिनेशन होता है। इस मामले में, सूचना का रिवर्स वितरण द्विदिश संबंधों में होता है, जिनके अलग-अलग दिशाओं में अलग-अलग भार कारक होते हैं। संकेतों के पीछे प्रसार के साथ, ऐसे नेटवर्क में इनपुट छवि को पुनर्स्थापित करने के लिए उन्हें परिवर्तित किया जाता है। प्रत्यक्ष सिग्नल प्रसार के मामले में, इनपुट डेटा संकुचित है। रीसाइक्लिंग नेटवर्क एक शिक्षक के बिना प्रशिक्षित होते हैं।

रीसर्कुलेशन नेटवर्क को प्रत्यक्ष Y = f (X) और व्युत्क्रम X = f (Y) सूचना रूपांतरण दोनों द्वारा विशेषता है। इस तरह के परिवर्तन का कार्य वेक्टर एक्स के सर्वश्रेष्ठ ऑटो-पूर्वानुमान या आत्म-पुनरुत्पादन को प्राप्त करना है। पुनरावर्तन तंत्रिका नेटवर्क का उपयोग (प्रत्यक्ष परिवर्तन) को संपीड़ित करने और मूल (उलटा परिवर्तन) जानकारी को पुनर्स्थापित करने के लिए किया जाता है। इस तरह के नेटवर्क प्रक्रिया में आत्म-आयोजन कर रहे हैं। उन्हें 1988 में प्रस्तावित किया गया था। पुनरावर्तन तंत्रिका नेटवर्क का सैद्धांतिक आधार मुख्य घटकों का विश्लेषण है।

प्रधान घटक विधि

प्रिंसिपल कंपोनेंट्स की विधि का उपयोग सांख्यिकी में सूचना सामग्री के महत्वपूर्ण नुकसान के बिना जानकारी को संपीड़ित करने के लिए किया जाता है। इसमें आयाम n के आउटपुट वेक्टर Y में आयाम n के इनपुट वेक्टर X के रैखिक orthogonal परिवर्तन में शामिल हैं, जहां p <n। इसके अलावा, वेक्टर वाई के घटक असंबंधित हैं और परिवर्तन के बाद कुल फैलाव अपरिवर्तित रहता है। इनपुट पैटर्न का सेट मैट्रिक्स के रूप में प्रस्तुत किया जाता है:


जहाँ

के-वें इनपुट छवि से मेल खाती है, एल छवियों की कुल संख्या है।

हम मानते हैं कि मैट्रिक्स एक्स केंद्रित है, अर्थात, गणितीय अपेक्षा वेक्टर the = 0। यह निम्नलिखित परिवर्तनों का उपयोग करके प्राप्त किया जाता है:


इनपुट एक्स के सहसंयोजक मैट्रिक्स के रूप में परिभाषित किया गया है

जहां iij इनपुट छवियों के i-th और j-th घटक के बीच सहसंयोजक है।

सहसंयोजक मैट्रिक्स के तत्वों की गणना निम्नानुसार की जा सकती है:

जहां मैं, जे = 1, ..., एन।

प्रमुख घटकों की विधि में प्रारंभिक चर के ऐसे रैखिक संयोजनों की खोज होती है

कि


पिछले अभिव्यक्तियों से यह निम्नानुसार है कि चर यूरी असंबंधित हैं, जो बढ़ते फैलाव द्वारा आदेशित हैं, और इनपुट छवियों के प्रकारों का योग अपरिवर्तित रहता है। फिर पहले p वेरिएबल y का एक सबसेट कुल वेरिएशन के एक बड़े हिस्से को चिह्नित करता है। परिणाम इनपुट जानकारी का प्रतिनिधित्व है।

चर y, i = 1, ..., p मुख्य घटक कहलाते हैं। मैट्रिक्स के रूप में, मुख्य घटकों के परिवर्तन को इस रूप में दर्शाया जा सकता है

जहां मैट्रिक्स डब्ल्यूटी की पंक्तियों को ऑर्थोगोनलिटी की स्थिति को पूरा करना होगा, अर्थात्।

वेक्टर वाई के रूप में परिभाषित किया गया है


मुख्य घटकों को निर्धारित करने के लिए, वजन गुणांक वाई, जे = 1, ..., पी निर्धारित करना आवश्यक है।

पुनरुत्थान तंत्रिका नेटवर्क वास्तुकला

पुनरावर्तन तंत्रिका नेटवर्क तंत्रिका तत्वों की दो परतों का एक संयोजन है जो द्विदिश लिंक द्वारा परस्पर जुड़े हुए हैं।


तंत्रिका तत्वों की प्रत्येक परत का उपयोग इनपुट या आउटपुट के रूप में किया जा सकता है। यदि तंत्रिका तत्वों की एक परत इनपुट के रूप में कार्य करती है, तो यह वितरण कार्य करता है।

अन्यथा, परत के तंत्रिका तत्व प्रसंस्करण कर रहे हैं। प्रत्यक्ष और फीडबैक से संबंधित वेट को वेट W और W 'के मैट्रिक्स की विशेषता है। स्पष्टता के लिए, पुनर्रचना नेटवर्क को विस्तारित रूप में प्रस्तुत किया जा सकता है।

नेटवर्क का ऐसा प्रतिनिधित्व बराबर है और सूचना रूपांतरण के पूर्ण चक्र की विशेषता है। इस मामले में, तंत्रिका तत्वों की मध्यवर्ती परत इनपुट डेटा एक्स (संपीड़ित) को एन्कोड करती है, और अंतिम परत संपीड़ित जानकारी को पुनर्स्थापित करती है। हम तंत्रिका नेटवर्क की परत को संचार मैट्रिक्स डब्ल्यू प्रत्यक्ष और संबंधित संचार मैट्रिक्स डब्ल्यू के विपरीत कहते हैं।

रीसर्क्युलेशन नेटवर्क को डेटा कम्प्रेशन और कंप्रेस्ड इनफॉर्मेशन को रिकवर करने के लिए डिज़ाइन किया गया है। डेटा संपीड़न अभिव्यक्ति के अनुसार सूचना के सीधे रूपांतरण के साथ किया जाता है:

सूचना के रिवर्स परिवर्तन के दौरान डेटा रिकवरी या पुनर्निर्माण होता है:


तंत्रिका तत्वों एफ की सक्रियता के एक समारोह के रूप में, रैखिक और गैर-रैखिक दोनों कार्यों का उपयोग किया जा सकता है। रैखिक सक्रियण फ़ंक्शन का उपयोग करते समय:


रैखिक पुनर्संरचना नेटवर्क जिसमें वजन मुख्य घटक विधि के अनुसार निर्धारित किया जाता है एसएआर नेटवर्क कहलाता है।

छवि प्रसंस्करण

छवियों को संपीड़ित और पुनर्स्थापित करने के लिए पुनरावर्तन तंत्रिका नेटवर्क का उपयोग किया जा सकता है। छवि को ब्लॉकों में विभाजित किया गया है। एक ब्लॉक को एक विंडो कहा जाता है जिसमें एक पुनरावर्तन तंत्रिका नेटवर्क को सौंपा गया है। नेटवर्क की पहली परत में न्यूरॉन्स की संख्या खिड़की के आयाम (पिक्सेल की संख्या; कभी-कभी प्रत्येक रंग अलग) से मेल खाती है। एक विंडो का उपयोग करके एक छवि को स्कैन करके और इसे एक तंत्रिका नेटवर्क में खिलाकर, आप इनपुट छवि को संपीड़ित कर सकते हैं। सूचना के पिछड़े प्रसार का उपयोग करके एक संकुचित छवि को बहाल किया जा सकता है।

तंत्रिका नेटवर्क का एक उदाहरण नीचे देखा जा सकता है:


बाईं ओर मूल छवि है, दाईं ओर - संपीड़न के बाद बहाल। आकार में 3 बाय 3 पिक्सेल की एक विंडो का उपयोग किया गया था, दूसरी परत में न्यूरॉन्स की संख्या 21 थी, अधिकतम अनुमेय त्रुटि 50 थी। संपीड़न अनुपात 0.77 था। तंत्रिका नेटवर्क को प्रशिक्षित करने के लिए 129 पुनरावृत्तियों की आवश्यकता थी।

स्रोत कोड यहां पाए जा सकते हैं (या यहां एक तेज संस्करण है)।