सोचने का तर्क। भाग 3. अवधारणात्मक, दृढ़ नेटवर्क

पहले भाग में, हमने न्यूरॉन्स के गुणों का वर्णन किया। दूसरे ने उनके सीखने से जुड़े बुनियादी गुणों के बारे में बात की। पहले से ही अगले भाग में हम यह वर्णन करेंगे कि वास्तविक मस्तिष्क कैसे काम करता है। लेकिन इससे पहले हमें आखिरी प्रयास करने और थोड़ा और सिद्धांत लेने की जरूरत है। अब यह सबसे अधिक संभावना विशेष रूप से दिलचस्प नहीं लगेगा। शायद मैं खुद भी इस तरह के प्रशिक्षण के बाद माइनस होता। लेकिन यह सब "वर्णमाला" हमें भविष्य में इसका पता लगाने में बहुत मदद करेगी।

perceptron

मशीन लर्निंग में, दो मुख्य दृष्टिकोण साझा किए जाते हैं: शिक्षक के साथ सीखना और शिक्षक के बिना सीखना। मुख्य घटकों को उजागर करने के लिए ऊपर वर्णित तरीके शिक्षक के बिना सिखा रहे हैं। तंत्रिका नेटवर्क को इनपुट पर उसे क्या खिलाया जाता है, इसका कोई स्पष्टीकरण नहीं मिलता है। यह केवल उन सांख्यिकीय पैटर्न को उजागर करता है जो इनपुट डेटा स्ट्रीम में मौजूद हैं। इसके विपरीत, एक शिक्षक के साथ शिक्षण से पता चलता है कि प्रशिक्षण सेट नामक कुछ इनपुट छवियों के लिए, हम जानते हैं कि हम क्या आउटपुट प्राप्त करना चाहते हैं। तदनुसार, कार्य तंत्रिका नेटवर्क को इस तरह से कॉन्फ़िगर करना है जैसे कि इनपुट और आउटपुट डेटा को जोड़ने वाले पैटर्न को पकड़ना है।

1958 में, फ्रैंक रोसेनब्लट ने एक निर्माण का वर्णन किया जिसे उन्होंने परसेप्ट्रॉन (रोसेनब्लैट, 1958) कहा, जो एक शिक्षक के साथ सीखने में सक्षम है (देखें KDPV)।

रोसेनब्लट के अनुसार, परसेप्ट्रॉन में न्यूरॉन्स की तीन परतें होती हैं। पहली परत संवेदी तत्व है जो यह निर्धारित करते हैं कि हमारे पास इनपुट पर क्या है। दूसरी परत साहचर्य तत्व है। सेंसर परत के साथ उनके संबंध कठोरता से परिभाषित होते हैं और सेंसर परत की तुलना में विवरण के अधिक सामान्य साहचर्य चित्र में संक्रमण का निर्धारण करते हैं।

तीसरी प्रतिक्रियाशील परत के न्यूरॉन्स के वजन को बदलकर पेसेप्ट्रॉन को प्रशिक्षित किया जाता है। प्रशिक्षण का उद्देश्य प्रस्तुत छवियों को सही ढंग से वर्गीकृत करने के लिए अवधारणात्मक प्राप्त करना है।

तीसरी परत के न्यूरॉन्स थ्रेसहोल्ड योजक के रूप में कार्य करते हैं। तदनुसार, उनमें से प्रत्येक का वजन एक निश्चित हाइपरप्लेन के मापदंडों को निर्धारित करता है। यदि रैखिक रूप से अलग करने योग्य इनपुट सिग्नल हैं, तो आउटपुट न्यूरॉन्स सिर्फ उनके क्लासिफायर के रूप में कार्य कर सकते हैं।

अगर क्या अवधारणात्मक a के वास्तविक आउटपुट का वेक्टर है? क्या वह वेक्टर है जिसे हम प्राप्त करने की उम्मीद करते हैं, फिर त्रुटि वेक्टर तंत्रिका नेटवर्क की गुणवत्ता के बारे में कहता है:


यदि आप मानक त्रुटि को कम करने के लिए एक लक्ष्य निर्धारित करते हैं, तो आप वजन को संशोधित करने के लिए तथाकथित डेल्टा-नियम प्राप्त कर सकते हैं:


इस मामले में, शून्य वजन प्रारंभिक सन्निकटन हो सकता है।
यह नियम अवधारणात्मक के मामले में लागू हेब नियम से अधिक कुछ नहीं है।
यदि हम आउटपुट लेयर के पीछे एक या एक से अधिक प्रतिक्रियाशील परतें रखते हैं और संघटक परत का परित्याग करते हैं, जो कम्प्यूटेशनल आवश्यकता के कारण जैविक विश्वसनीयता के लिए अधिक रोसेनब्लैट द्वारा पेश किया गया था, तो हमें एक बहुपरत अवधारणात्मक प्राप्त होगा जैसे कि नीचे दिए गए चित्र में दिखाया गया है।


दो छिपे हुए परतों के साथ बहुपरत पर्सेप्ट्रॉन (खैकिन, 2006)

यदि प्रतिक्रियाशील परतों के न्यूरॉन्स सरल रैखिक जोड़ रहे थे, तो इस तरह की जटिलता में बहुत समझदारी नहीं होगी। छिपी हुई परतों की संख्या की परवाह किए बिना, आउटपुट अभी भी इनपुट संकेतों का एक रैखिक संयोजन बना रहेगा। लेकिन चूंकि थ्रेसहोल्ड योजक छिपी हुई परतों में उपयोग किए जाते हैं, इसलिए ऐसी प्रत्येक नई परत रैखिकता श्रृंखला को तोड़ती है और अपने स्वयं के दिलचस्प विवरण को ले जा सकती है।

लंबे समय तक यह स्पष्ट नहीं था कि एक बहुपरत अवधारणात्मक को कैसे प्रशिक्षित किया जाए। मुख्य विधि - त्रुटि के पीछे प्रसार की विधि केवल 1974 में ए.आई. गालुस्किन और स्वतंत्र रूप से और एक साथ पॉल जे। वर्बोस। फिर इसे फिर से खोजा गया और 1986 में व्यापक रूप से जाना गया (डेविड ई। रोमेलहार्ट, जेफ्री ई। हिंटन, रोनाल्ड जे। विलियम्स, 1986)।

विधि में दो पास होते हैं: आगे और पीछे। प्रत्यक्ष पास के साथ, एक प्रशिक्षण संकेत दिया जाता है और आउटपुट परत की गतिविधि सहित सभी नेटवर्क नोड्स की गतिविधि की गणना की जाती है। प्राप्त करने के लिए जो आवश्यक था उससे प्राप्त गतिविधि को घटाकर, एक त्रुटि संकेत निर्धारित किया जाता है। वापसी पास के साथ, त्रुटि संकेत विपरीत दिशा में, आउटपुट से इनपुट तक फैलता है। इस स्थिति में, इस त्रुटि को कम करने के लिए सिनैप्टिक वज़न को समायोजित किया जाता है। विधि का विस्तृत विवरण कई स्रोतों में पाया जा सकता है (उदाहरण के लिए, खैकिन, 2006)।

हमारे लिए इस तथ्य पर ध्यान देना महत्वपूर्ण है कि एक बहुपरत अवधारणात्मक जानकारी में स्तर से स्तर पर कार्रवाई की जाती है। उसी समय, प्रत्येक परत इनपुट सिग्नल की अपनी विशेषताओं के अपने सेट का चयन करती है। यह कुछ उपमाओं का निर्माण करता है कि कैसे मस्तिष्क सेरेब्रल के क्षेत्रों के बीच जानकारी को रूपांतरित किया जाता है।

संवादी नेटवर्क। neocognitron

बहुपरत अवधारणात्मक और वास्तविक मस्तिष्क की तुलना बहुत मनमानी है। सामान्य वह है, जो क्रस्ट में एक ज़ोन से ज़मीन तक या लेयर से ले कर परसेप्ट्रॉन में बढ़ती है, जानकारी तेजी से सामान्यीकृत विवरण प्राप्त करती है। हालांकि, प्रांतस्था की संरचना अवधारणात्मक में न्यूरॉन्स की परत के संगठन की तुलना में बहुत अधिक जटिल है। डी। हुबेल और टी। विसल की दृश्य प्रणाली के अध्ययन ने दृश्य प्रांतस्था की संरचना को बेहतर ढंग से समझना संभव बनाया और तंत्रिका नेटवर्क में इस ज्ञान के उपयोग को प्रोत्साहित किया। मुख्य विचार जो उपयोग किए गए थे वे एक परत के भीतर कार्यों के क्षेत्र के बोध और न्यूरॉन्स के विभाजन के इलाके हैं।

धारणा के इलाके पहले से ही हमारे लिए परिचित हैं, इसका मतलब है कि सूचना प्राप्त करने वाला न्यूरॉन संकेतों के पूरे इनपुट स्थान की निगरानी नहीं करता है, लेकिन केवल इसका हिस्सा है। हमने पहले कहा था कि इस तरह के ट्रैकिंग क्षेत्र को न्यूरॉन का ग्रहणशील क्षेत्र कहा जाता है।

ग्रहणशील क्षेत्र की अवधारणा को एक अलग स्पष्टीकरण की आवश्यकता है। परंपरागत रूप से, एक न्यूरॉन के रिसेप्टर क्षेत्र को रिसेप्टर्स का स्थान कहा जाता है जो न्यूरॉन के कामकाज को प्रभावित करता है। यहां के रिसेप्टर्स न्यूरॉन्स हैं जो सीधे बाहरी संकेतों का अनुभव करते हैं। दो परतों से मिलकर एक तंत्रिका नेटवर्क की कल्पना करें, जहां पहली परत रिसेप्टर परत है, और दूसरी परत रिसेप्टर्स से जुड़े न्यूरॉन्स हैं। दूसरी परत के प्रत्येक न्यूरॉन के लिए, उन रिसेप्टर्स जिनका इसके साथ संपर्क है - यह इसका ग्रहणशील क्षेत्र है।

अब एक जटिल बहुपरत नेटवर्क लें। हम प्रवेश द्वार से जितना आगे बढ़ते हैं, यह इंगित करना उतना ही कठिन होगा कि कौन से रिसेप्टर्स और वे गहरे बैठे न्यूरॉन्स की गतिविधि को कैसे प्रभावित करते हैं। एक निश्चित समय से यह पता चल सकता है कि किसी भी न्यूरॉन के लिए सभी मौजूदा रिसेप्टर्स को इसका ग्रहणशील क्षेत्र कहा जा सकता है। ऐसी स्थिति में, केवल उन न्यूरॉन्स जिनके साथ उनका सीधा अन्तर्ग्रथनी संपर्क है, उन्हें एक न्यूरॉन का ग्रहणशील क्षेत्र कहा जा सकता है। इन अवधारणाओं को अलग करने के लिए, हम इनपुट रिसेप्टर्स के स्थान को - प्रारंभिक ग्रहणशील क्षेत्र कहेंगे। और न्यूरॉन्स का स्थान जो सीधे एक न्यूरॉन के साथ बातचीत करता है - एक स्थानीय ग्रहणशील क्षेत्र या सिर्फ एक ग्रहणशील क्षेत्र, बिना किसी स्पष्टीकरण के।

कार्यों में न्यूरॉन्स का विभाजन प्राथमिक दृश्य कॉर्टेक्स में दो मुख्य प्रकार के न्यूरॉन्स का पता लगाने के साथ जुड़ा हुआ है। सरल न्यूरॉन्स अपने मूल ग्रहणशील क्षेत्र में एक विशिष्ट स्थान पर स्थित उत्तेजना का जवाब देते हैं। जटिल न्यूरॉन्स उत्तेजना पर सक्रिय होते हैं, इसकी स्थिति की परवाह किए बिना।

उदाहरण के लिए, नीचे दी गई आकृति से पता चलता है कि साधारण कोशिकाओं के प्रारंभिक ग्रहणशील क्षेत्रों के संवेदनशीलता पैटर्न कैसे दिख सकते हैं। सकारात्मक क्षेत्र ऐसे न्यूरॉन को सक्रिय करते हैं, नकारात्मक दबा देते हैं। प्रत्येक साधारण न्यूरॉन के लिए एक उत्तेजना है जो इसके लिए सबसे उपयुक्त है और तदनुसार, अधिकतम गतिविधि का कारण बनता है। लेकिन यह महत्वपूर्ण है कि इस उत्तेजना को प्रारंभिक ग्रहणशील क्षेत्र में एक स्थिति से कठोर रूप से बंधा हुआ है। उसी उत्तेजना, लेकिन पक्ष में स्थानांतरित कर दिया, एक साधारण न्यूरॉन प्रतिक्रिया का कारण नहीं होगा।


एक साधारण कोशिका के प्रारंभिक ग्रहणशील क्षेत्र (निकोल्स जे।, मार्टिन आर।, वालस बी।, फुच पी।)

कॉम्प्लेक्स न्यूरॉन्स में भी उनकी पसंदीदा उत्तेजना होती है, लेकिन वे प्रारंभिक उत्तेजना क्षेत्र में इसकी स्थिति की परवाह किए बिना इस उत्तेजना को पहचानने में सक्षम हैं।

इन दो विचारों से, तंत्रिका नेटवर्क के संगत मॉडल पैदा हुए थे। ऐसा पहला नेटवर्क कुनिहिक फुकुशिमा द्वारा बनाया गया था। इसे संज्ञक कहा जाता है। उन्होंने बाद में एक और अधिक उन्नत नेटवर्क बनाया, नियोकोगनिट्रॉन (फुकुशिमा, 1980)। Neocognitron कई परतों का निर्माण है। प्रत्येक परत में सरल (एस) और जटिल (सी) न्यूरॉन्स होते हैं।

एक साधारण न्यूरॉन का कार्य अपने ग्रहणशील क्षेत्र की निगरानी करना और उस छवि को पहचानना है जिस पर वह प्रशिक्षित है। साधारण न्यूरॉन्स समूहों (विमानों) में एकत्र किए जाते हैं। एक समूह के भीतर, साधारण न्यूरॉन्स को एक ही उत्तेजना के लिए तैयार किया जाता है, लेकिन प्रत्येक न्यूरॉन ग्रहणशील क्षेत्र के इसके टुकड़े की निगरानी करता है। साथ में, वे इस छवि के सभी संभावित पदों (नीचे आंकड़ा) के माध्यम से सॉर्ट करते हैं। एक ही विमान के सभी सरल न्यूरॉन्स में एक ही वजन होता है, लेकिन विभिन्न ग्रहणशील क्षेत्र होते हैं। आप स्थिति की दूसरे तरीके से कल्पना कर सकते हैं, कि यह एक न्यूरॉन है जो मूल छवि के सभी पदों पर एक बार अपनी छवि पर कोशिश कर सकता है। यह सब आपको इसकी स्थिति की परवाह किए बिना एक ही छवि को पहचानने की अनुमति देता है।


विभिन्न पदों पर चयनित पैटर्न की खोज के लिए कॉन्फ़िगर की गई सरल कोशिकाओं के ग्रहणशील क्षेत्र (फुकुशिमा के।, 2013)

प्रत्येक जटिल न्यूरॉन सरल न्यूरॉन्स के अपने विमान की निगरानी करता है और ट्रिगर किया जाता है यदि इसके विमान में कम से कम एक साधारण न्यूरॉन सक्रिय है (नीचे चित्र)। एक साधारण न्यूरॉन की गतिविधि से पता चलता है कि उन्होंने उस विशेष स्थान पर एक विशेषता उत्तेजना को पहचाना, जो उनका ग्रहणशील क्षेत्र है। एक जटिल न्यूरॉन की गतिविधि का मतलब है कि एक ही छवि आमतौर पर एक परत पर पाई जाती है जिसे सरल न्यूरॉन्स द्वारा मॉनिटर किया जाता है।


नियोकोगनिट्रॉन प्लेन

इनपुट के बाद प्रत्येक परत में पिछली परत के जटिल न्यूरॉन्स द्वारा गठित एक तस्वीर होती है जिसके इनपुट के साथ। परत-दर-परत जानकारी की एक बढ़ती-बढ़ती सामान्यीकरण है, जिसके परिणामस्वरूप मूल चित्र में उनके स्थान और कुछ परिवर्तन की परवाह किए बिना विशिष्ट छवियों की पहचान होती है।

जैसा कि छवि विश्लेषण पर लागू होता है, इसका मतलब है कि पहला स्तर छोटे ग्रहणशील क्षेत्रों से गुजरने वाले एक निश्चित कोण पर लाइनों को पहचानता है। वह छवि में कहीं भी सभी संभावित दिशाओं का पता लगाने में सक्षम है। अगला स्तर प्राथमिक संकेतों के संभावित संयोजनों का पता लगाता है, और अधिक जटिल रूपों को परिभाषित करता है। और इसलिए उस स्तर पर जब तक वांछित छवि (नीचे आंकड़ा) निर्धारित करना संभव नहीं है।


नियोकोगनिट्रॉन मान्यता प्रक्रिया

जब लिखावट मान्यता के लिए उपयोग किया जाता है, तो ऐसा डिजाइन लेखन विधि के लिए प्रतिरोधी होता है। मान्यता की सफलता सतह आंदोलन या रोटेशन, या विरूपण (तनाव या संपीड़न) से प्रभावित नहीं होती है।

एक neocognitron और एक पूरी तरह से जुड़े बहुपरत पर्सेप्ट्रॉन के बीच सबसे महत्वपूर्ण अंतर न्यूरॉन्स की एक ही संख्या के साथ उपयोग किए जाने वाले वजन का काफी कम है। यह "ट्रिक" के कारण है, जो कि नियोकोगनिट्रॉन को उनकी स्थिति की परवाह किए बिना छवियों को निर्धारित करने की अनुमति देता है। सरल कोशिकाओं का विमान अनिवार्य रूप से एक न्यूरॉन है जिसका वजन दृढ़ संकल्प के मूल को निर्धारित करता है। यह कोर पिछली परत पर लागू होता है, इसे सभी संभावित पदों पर चलाता है। असल में, प्रत्येक विमान के न्यूरॉन्स और उनके समन्वय इन पदों के निर्देशांक सेट करते हैं। यह इस तथ्य की ओर जाता है कि सरल कोशिकाओं की परत के सभी न्यूरॉन्स मॉनिटर करते हैं कि क्या नाभिक के अनुरूप एक छवि उनके ग्रहणशील क्षेत्र में दिखाई देती है। यही है, अगर इस तरह की छवि इस परत के लिए इनपुट सिग्नल में कहीं होती है, तो यह कम से कम एक साधारण न्यूरॉन द्वारा पता लगाया जाएगा और इसी जटिल न्यूरॉन की गतिविधि का कारण होगा। यह ट्रिक आपको किसी भी जगह, जहाँ भी यह दिखती है, एक चारित्रिक छवि खोजने की अनुमति देती है। लेकिन हमें यह याद रखना चाहिए कि यह वास्तव में एक ट्रिक है और यह विशेष रूप से वास्तविक कोर्टेक्स के काम के अनुरूप नहीं है।

एक शिक्षक के बिना Neocognitron प्रशिक्षण होता है। यह कारकों के एक पूरे सेट को अलग करने के लिए पहले वर्णित प्रक्रिया से मेल खाती है। जब वास्तविक चित्र नियोकोग्निट्रॉन में इनपुट होते हैं, तो न्यूरॉन्स के पास इन चित्रों की विशेषताओं को अलग करने के अलावा कोई विकल्प नहीं होता है। इसलिए, यदि आप इनपुट में हस्तलिखित संख्याएँ जमा करते हैं, तो पहली परत के साधारण न्यूरॉन्स के छोटे ग्रहणशील क्षेत्रों में लाइनें, कोण और संयुग्मन दिखाई देंगे। प्रतियोगिता क्षेत्रों का आकार निर्धारित करता है कि प्रत्येक स्थानिक क्षेत्र में कितने अलग-अलग कारक खड़े हो सकते हैं। सबसे पहले, सबसे महत्वपूर्ण घटकों पर प्रकाश डाला गया है। हस्तलिखित संख्याओं के लिए, ये विभिन्न कोणों पर रेखाएँ होंगी। यदि मुक्त कारक रहते हैं, तो अधिक जटिल तत्व बाहर खड़े हो सकते हैं।

परत से परत तक, सीखने का सामान्य सिद्धांत संरक्षित है - ऐसे कारक जो कई इनपुट संकेतों की विशेषता हैं, पर प्रकाश डाला गया है। पहली परत पर हस्तलिखित संख्याएँ जमा करके, एक निश्चित स्तर पर, हम इन संख्याओं के अनुरूप कारक प्राप्त करेंगे। प्रत्येक आंकड़ा एक स्थिर कारक के संयोजन के रूप में बदल जाएगा जो एक अलग कारक के रूप में बाहर खड़ा होगा। Neocognitron की अंतिम परत में कई न्यूरॉन्स होते हैं, क्योंकि वहाँ छवियों का पता लगाया जाना है। इस परत में एक न्यूरॉन्स की गतिविधि संबंधित छवि (नीचे आंकड़ा) की मान्यता को इंगित करती है


नियोकोगनिट्रॉन में मान्यता (फुकुशिमा के।, नियोकोगनिट्रॉन, 2007)

नीचे दिया गया वीडियो आपको नियोकोगिट्रॉन का एक दृश्य प्रतिनिधित्व प्राप्त करने की अनुमति देता है।




एक शिक्षक के बिना सीखने का एक विकल्प एक शिक्षक के साथ सीख रहा है। इसलिए, संख्याओं के साथ उदाहरण में, हम तब तक इंतजार नहीं कर सकते जब तक कि नेटवर्क स्वयं सांख्यिकीय रूप से स्थिर रूपों की पहचान नहीं करता है, लेकिन उसे बताएं कि उसके लिए किस तरह का आंकड़ा प्रस्तुत किया गया है और उपयुक्त प्रशिक्षण की आवश्यकता है। कन्वेक्शन नेटवर्क के लिए इस तरह के प्रशिक्षण में सबसे महत्वपूर्ण परिणाम यान लेकून (वाई लेकन और वाई बेंगियो, 1995) द्वारा प्राप्त किए गए थे। उन्होंने दिखाया कि कैसे त्रुटि वापस प्रसार विधि का उपयोग नेटवर्क को प्रशिक्षित करने के लिए किया जा सकता है, जिसकी वास्तुकला, जैसे कि नियोकोगनिट्रॉन, मस्तिष्क प्रांतस्था की संरचना की अस्पष्ट याद दिलाती है।


लिखावट मान्यता के लिए एक दृढ़ संकल्प नेटवर्क (Y. LeCun और Y. Bengio, 1995)

इस पर हम यह मानेंगे कि न्यूनतम प्रारंभिक जानकारी को याद दिलाया जाता है और हम चीजों को और अधिक रोचक और आश्चर्यचकित कर सकते हैं।

विस्तार

पिछले भाग:
भाग 1. न्यूरॉन
भाग 2. कारक