सोचने का तर्क। भाग 2. कारक

पिछले भाग में, हमने औपचारिक न्यूरॉन्स के सबसे सरल गुणों का वर्णन किया। हमने इस तथ्य के बारे में बात की कि थ्रेशोल्ड योजक अधिक सटीक रूप से एकल स्पाइक की प्रकृति को पुन: पेश करता है, और रैखिक योजक आपको न्यूरॉन की प्रतिक्रिया का अनुकरण करने की अनुमति देता है, जिसमें दालों की एक श्रृंखला शामिल है। यह दिखाया गया था कि रैखिक योजक के आउटपुट में मूल्य की तुलना वास्तविक न्यूरॉन के प्रेरित स्पाइक्स की आवृत्ति के साथ की जा सकती है। अब हम उन मूल गुणों को देखते हैं जो इस तरह के औपचारिक न्यूरॉन्स के पास हैं।

हेब्ब फ़िल्टर

इसके अलावा, हम अक्सर तंत्रिका नेटवर्क मॉडल की ओर रुख करेंगे। सिद्धांत रूप में, तंत्रिका नेटवर्क के सिद्धांत से लगभग सभी मूल अवधारणाएं वास्तविक मस्तिष्क की संरचना से सीधे संबंधित हैं। मैन, कुछ कार्यों के साथ सामना किया, कई दिलचस्प तंत्रिका नेटवर्क डिजाइनों के साथ आया। विकास, सभी संभव तंत्रिका तंत्रों को छांटते हुए, वह सब कुछ चुना जो उसके लिए उपयोगी था। आश्चर्य न करें कि मनुष्य द्वारा आविष्कार किए गए इतने सारे मॉडल के लिए, आप स्पष्ट जैविक प्रोटोटाइप पा सकते हैं। चूंकि हमारी कहानी तंत्रिका नेटवर्क के सिद्धांत के कम से कम कुछ विस्तृत विवरण का लक्ष्य निर्धारित नहीं करती है, हम मुख्य विचारों का वर्णन करने के लिए आवश्यक सबसे सामान्य बिंदुओं पर ही स्पर्श करेंगे। गहरी समझ के लिए, मैं विशेष साहित्य का संदर्भ देते हुए अत्यधिक सलाह देता हूं। मेरे लिए, तंत्रिका नेटवर्क पर सबसे अच्छी पाठ्यपुस्तक सिमोन खैकिन न्यूरल नेटवर्क्स है। पूरा पाठ्यक्रम ”(खाकिन, 2006)।

कई तंत्रिका नेटवर्क मॉडल हेब के प्रसिद्ध शिक्षण नियम पर आधारित हैं। यह 1949 में शरीर विज्ञानी डोनाल्ड हेब्ब द्वारा प्रस्तावित किया गया था (हेब्ब, 1949)। थोड़ी मुक्त व्याख्या में, इसका एक बहुत सरल अर्थ है: एक साथ सक्रिय होने वाले न्यूरॉन्स के बंधन को मजबूत किया जाना चाहिए, स्वतंत्र रूप से काम करने वाले न्यूरॉन्स के बंधन को कमजोर करना होगा।
रैखिक योजक की आउटपुट स्थिति लिखी जा सकती है:



यदि हम कम मात्रा में वजन के प्रारंभिक मूल्यों को शुरू करते हैं और विभिन्न छवियों को इनपुट में भेजेंगे, तो कुछ भी हमें इस न्यूरॉन को हेब नियम के अनुसार प्रशिक्षित करने की कोशिश करने से नहीं रोकता है:



जहां n असतत समय कदम है, - सीखने की गति पैरामीटर।

इस प्रक्रिया के साथ, हम उन इनपुटों के वजन को बढ़ाते हैं जिनसे सिग्नल लगाया जाता है। , लेकिन हम इसे मजबूत करते हैं, प्रशिक्षित न्यूरॉन की प्रतिक्रिया को अधिक सक्रिय करते हैं । यदि कोई प्रतिक्रिया नहीं होती है, तो सीखना उत्पन्न नहीं होता है।

सच है, ऐसे वजन असीमित रूप से बढ़ेंगे, इसलिए सामान्यीकरण को स्थिर करने के लिए लागू किया जा सकता है। उदाहरण के लिए, "नई" अन्तर्ग्रथनी भार से प्राप्त वेक्टर की लंबाई से विभाजित करें।



इस तरह के प्रशिक्षण के साथ, synapses के बीच संतुलन को फिर से विभाजित किया जाता है। पुनर्वितरण के सार को समझना आसान है यदि आप दो चरणों में भार में परिवर्तन का पालन करते हैं। सबसे पहले, जब एक न्यूरॉन सक्रिय होता है, तो एक संकेत प्राप्त करने वाले उन synapses को एक अतिरिक्त प्राप्त होता है। सिग्नल के बिना सिनैप्स का वज़न अपरिवर्तित रहता है। फिर सामान्य सामान्यीकरण सभी सिनेप्स के वजन को कम करता है। लेकिन एक ही समय में, संकेतों के बिना synapses उनके पिछले मूल्य की तुलना में खो देते हैं, और संकेतों के साथ synapses इन नुकसानों को आपस में पुनर्वितरित करते हैं।

हेब नियम त्रुटि सतह के साथ ढाल वंश पद्धति के कार्यान्वयन से अधिक कुछ नहीं है। वास्तव में, हम न्यूरॉन को आपूर्ति किए गए संकेतों के अनुकूल होने के लिए मजबूर करते हैं, हर बार अपने वजन को त्रुटि के विपरीत पक्ष में स्थानांतरित करते हैं, अर्थात, एंटी-ग्रेडिएंट की दिशा में। क्रमिक वंश के लिए हमें इसके माध्यम से फिसलने के बिना एक स्थानीय चरम सीमा तक ले जाने के लिए, वंश की गति पर्याप्त रूप से कम होनी चाहिए। पैरामीटर के छोटेपन से हेब प्रशिक्षण में क्या ध्यान रखा जाता है ।

सीखने की गति पैरामीटर की लघुता हमें श्रृंखला के रूप में पिछले सूत्र को फिर से लिखने की अनुमति देती है :


यदि हम दूसरे आदेश और उच्चतर शर्तों को छोड़ देते हैं, तो हमें ओआईए (ओजा, 1982) सीखने का नियम मिलता है:


एक सकारात्मक पूरक हेब्ब प्रशिक्षण के लिए जिम्मेदार है, और एक नकारात्मक सामान्य स्थिरता के लिए जिम्मेदार है। इस रूप में रिकॉर्डिंग आपको यह महसूस करने की अनुमति देती है कि इस तरह के प्रशिक्षण को गणना के उपयोग के बिना एनालॉग वातावरण में कैसे लागू किया जा सकता है, केवल सकारात्मक और नकारात्मक कनेक्शन के साथ काम कर रहा है।

तो, इस तरह के एक अत्यंत सरल प्रशिक्षण में एक अद्भुत संपत्ति है। यदि हम धीरे-धीरे सीखने की गति को कम करते हैं, तो प्रशिक्षित न्यूरॉन के सिनैप्स का वज़न ऐसे मूल्यों में परिवर्तित हो जाएगा कि इसका उत्पादन पहले मुख्य घटक के अनुरूप होने लगता है, जो तब होता जब हम आपूर्ति किए गए डेटा के लिए इसी मुख्य घटक विश्लेषण प्रक्रियाओं को लागू करते। इस डिज़ाइन को हेब्ब फ़िल्टर कहा जाता है।

उदाहरण के लिए, हम एक पिक्सेल छवि को न्यूरॉन के इनपुट पर लागू करते हैं, अर्थात्, हम छवि के एक बिंदु को एक न्यूरॉन के प्रत्येक सिंक के साथ जोड़ते हैं। हम एक न्यूरॉन के इनपुट के लिए केवल दो छवियों की आपूर्ति करेंगे - केंद्र के माध्यम से गुजरने वाली ऊर्ध्वाधर और क्षैतिज रेखाओं की छवियां। एक सीखने का चरण एक छवि, एक पंक्ति, या तो क्षैतिज या ऊर्ध्वाधर है। यदि आप इन छवियों को औसत करते हैं, तो आपको एक क्रॉस मिलता है। लेकिन सीखने का परिणाम औसत की तरह नहीं होगा। यह लाइनों में से एक होगी। प्रस्तुत चित्रों में जो अधिक सामान्य होगा। न्यूरॉन औसत या चौराहे का चयन नहीं करता है, लेकिन वे बिंदु जो सबसे अधिक बार एक साथ पाए जाते हैं। यदि छवियां अधिक जटिल हैं, तो परिणाम इतना स्पष्ट नहीं हो सकता है। लेकिन यह हमेशा मुख्य घटक होगा।

एक न्यूरॉन को प्रशिक्षित करने से तथ्य यह होता है कि एक निश्चित छवि को अपने तराजू पर आवंटित (फ़िल्टर्ड) किया जाता है। जब एक नया सिग्नल सप्लाई किया जाता है, तो सिग्नल और बैलेंस सेटिंग्स के संयोग जितना सटीक होगा, न्यूरॉन की प्रतिक्रिया उतनी ही अधिक होगी। एक प्रशिक्षित न्यूरॉन को एक न्यूरॉन डिटेक्टर कहा जा सकता है। इस मामले में, छवि, जिसे इसके तराजू द्वारा वर्णित किया जाता है, आमतौर पर एक विशेषता उत्तेजना कहा जाता है।

मुख्य घटक

प्रिंसिपल कम्पोनेंट मेथड का विचार बहुत ही सरल और सरल है। मान लीजिए कि हमारे पास घटनाओं का एक क्रम है। हम उनमें से प्रत्येक का वर्णन संवेदकों पर इसके प्रभाव के माध्यम से करते हैं जिसके साथ हम दुनिया का अनुभव करते हैं। मान लीजिए कि हमारे पास है सेंसर का वर्णन संकेत । हमारे लिए सभी घटनाओं को वैक्टर द्वारा वर्णित किया गया है आयामी स्वरूप । प्रत्येक घटक ऐसा सदिश संबंधित का मान बताता है मई के सुविधा। साथ में, वे एक यादृच्छिक चर X बनाते हैं। हम इन घटनाओं को बिंदुओं के रूप में चित्रित कर सकते हैं -अनुकूलित स्थान जहां हमारे द्वारा देखे गए संकेत अक्ष हैं।



औसत मान E ( X ) द्वारा निरूपित एक यादृच्छिक चर X की गणितीय अपेक्षा देता है। यदि हम डेटा को केंद्र में रखते हैं ताकि E ( X ) = 0 हो, तो बिंदु क्लाउड मूल के चारों ओर केंद्रित होगा।



यह बादल किसी भी दिशा में बढ़ सकता है। सभी संभव दिशा-निर्देशों की कोशिश करने के बाद, हम एक ऐसा पा सकते हैं जिसके साथ डेटा का विचरण अधिकतम होगा।



तो, यह दिशा पहले मुख्य घटक से मेल खाती है। मुख्य घटक स्वयं एक इकाई वेक्टर द्वारा निर्धारित होता है जो मूल से निकलता है और इस दिशा के साथ मेल खाता है।

इसके अलावा, हम पहले घटक के लिए एक और दिशा लंबवत पा सकते हैं, जैसे कि इसके साथ फैलाव भी सभी लंबवत दिशाओं में अधिकतम है। इसे खोजने पर, हमें दूसरा घटक मिलता है। फिर हम खोज जारी रख सकते हैं, इस शर्त को देखते हुए कि हमें पहले से ही पाए गए घटकों के लिए दिशाओं के बीच खोज करने की आवश्यकता है। यदि मूल निर्देशांक रैखिक रूप से स्वतंत्र थे, तो हम ऐसा कर सकते हैं अंतरिक्ष के आयाम समाप्त होने तक। तो हम प्राप्त करते हैं पारस्परिक रूप से रूढ़िवादी घटक आदेश दिया गया कि वे कितने प्रतिशत डेटा विचरण करते हैं।

स्वाभाविक रूप से, प्राप्त मुख्य घटक हमारे डेटा के आंतरिक नियमों को दर्शाते हैं। लेकिन सरल विशेषताएं हैं जो मौजूदा पैटर्न के सार का भी वर्णन करती हैं।

मान लीजिए कि हमारे पास कुल घटनाएँ हैं। प्रत्येक घटना का वर्णन एक वेक्टर द्वारा किया जाता है । इस वेक्टर के घटक:


प्रत्येक संकेत के लिए आप लिख सकते हैं कि कैसे उन्होंने प्रत्येक घटना में खुद को प्रकट किया:


किसी भी दो संकेतों के लिए, जिस पर विवरण आधारित है, कोई भी उनके संयुक्त प्रकटन की डिग्री दिखाने वाले मूल्य की गणना कर सकता है। इस मूल्य को सहसंयोजक कहा जाता है:


यह दर्शाता है कि संकेतों में से किसी एक के औसत मूल्य से विचलन कैसे दूसरे संकेत के समान विचलन के साथ प्रकट होता है। यदि संकेतों का औसत मान शून्य के बराबर है, तो सहसंयोजक रूप लेता है:


यदि हम लक्षणों में निहित मानक विचलन के लिए सहसंयोजक को सही करते हैं, तो हम एक रैखिक सहसंबंध गुणांक प्राप्त करते हैं, जिसे पियर्सन के सहसंबंध गुणांक भी कहा जाता है:


सहसंबंध गुणांक में एक उल्लेखनीय संपत्ति है। यह -1 से 1. तक मान लेता है। इसके अलावा, 1 का अर्थ है दो मात्राओं का प्रत्यक्ष आनुपातिकता, और -1 उनके व्युत्क्रम रैखिक संबंध को इंगित करता है।

विशेषताओं के सभी जोड़ीदार सहसंयोजक में से, एक सहसंयोजक मैट्रिक्स की रचना कर सकता है , जो, जैसा कि आप आसानी से देख सकते हैं, उत्पाद की गणितीय अपेक्षा है :


हम आगे यह मान लेंगे कि हमारे डेटा को सामान्यीकृत किया गया है, अर्थात्, उनके पास इकाई विचरण है। इस मामले में, सहसंबंध मैट्रिक्स सहसंयोजक मैट्रिक्स के साथ मेल खाता है।

तो यह पता चला है कि मुख्य घटकों के लिए सच:


यही है, मुख्य घटक, या, जैसा कि उन्हें भी कहा जाता है, कारक सहसंबंध मैट्रिक्स के eigenvectors हैं । वे आइजनवेल्स के अनुरूप हैं । इसके अलावा, बड़ा eigenvalue, विचरण का अधिक प्रतिशत इस कारक की व्याख्या करता है।

सभी मुख्य घटकों को जानना प्रत्येक घटना के लिए एक्स का कार्यान्वयन होने के नाते, हम इसके अनुमानों को मुख्य घटकों पर लिख सकते हैं:


इस प्रकार, नए निर्देशांक, मुख्य घटकों के निर्देशांक में सभी प्रारंभिक घटनाओं की कल्पना करना संभव है:


सामान्य तौर पर, वे मुख्य घटकों की खोज करने की प्रक्रिया और कारकों के आधार को खोजने की प्रक्रिया और उसके बाद के रोटेशन के बीच अंतर करते हैं, जो कारकों की व्याख्या की सुविधा देता है, लेकिन चूंकि ये प्रक्रिया वैचारिक रूप से करीब हैं और एक समान परिणाम देते हैं, इसलिए हम इस कारक विश्लेषण को कहेंगे।

एक काफी सरल कारक विश्लेषण प्रक्रिया का बहुत गहरा अर्थ है। तथ्य यह है कि यदि प्रारंभिक संकेतों का स्थान एक अवलोकन योग्य स्थान है, तो कारक ऐसे संकेत हैं, हालांकि वे आसपास की दुनिया के गुणों का वर्णन करते हैं, लेकिन सामान्य स्थिति में (यदि वे मनाया संकेतों से मेल नहीं खाते हैं) छिपी हुई संस्थाएं हैं। यही है, कारक विश्लेषण की औपचारिक प्रक्रिया एक व्यक्ति को अवलोकन योग्य घटनाओं से घटना की खोज के लिए आगे बढ़ने की अनुमति देती है, हालांकि सीधे और अदृश्य, लेकिन फिर भी आसपास की दुनिया में मौजूद है।

यह माना जा सकता है कि हमारा मस्तिष्क सक्रिय रूप से हमारे आसपास की दुनिया को पहचानने की प्रक्रियाओं में से एक के रूप में कारकों के आवंटन का उपयोग करता है। कारकों की पहचान करके, हमें जो कुछ भी हो रहा है, उसके नए विवरणों को बनाने का अवसर मिलता है। इन नए विवरणों का आधार उन घटनाओं की गंभीरता में है जो पहचाने गए कारकों के अनुरूप हैं।

मुझे घरेलू स्तर पर कारकों का सार समझाएं। मान लीजिए आप एक कार्मिक प्रबंधक हैं। बहुत सारे लोग आपके पास आते हैं, और प्रत्येक के लिए आप एक निश्चित फॉर्म भरते हैं, जहां आप आगंतुक के बारे में विभिन्न अवलोकन डेटा रिकॉर्ड करते हैं। बाद में अपने नोट्स की समीक्षा करने के बाद, आप पा सकते हैं कि कुछ रेखांकन का एक निश्चित रिश्ता है। उदाहरण के लिए, पुरुषों के लिए एक बाल कटवाने महिलाओं की तुलना में औसत कम होगा। आप केवल पुरुषों के बीच गंजे लोगों से मिलने की संभावना रखते हैं, और केवल महिलाएं अपने होंठ पेंट करेंगी। यदि कारक विश्लेषण को व्यक्तिगत डेटा पर लागू किया जाता है, तो सेक्स एक ही बार में कई पैटर्न को स्पष्ट करने वाले कारकों में से एक होगा। लेकिन कारक विश्लेषण आपको उन सभी कारकों को खोजने की अनुमति देता है जो डेटा सेट में सहसंबंध की निर्भरता की व्याख्या करते हैं। इसका मतलब यह है कि हम जिस लिंग कारक का निरीक्षण कर सकते हैं, उसके अलावा, अन्य कारक भी बाहर खड़े होंगे, जिनमें निहित, अप्रमाणित कारक शामिल हैं। और अगर मंजिल स्पष्ट रूप से प्रश्नावली में दिखाई देगी, तो लाइनों के बीच एक और महत्वपूर्ण कारक रहेगा। लोगों की अपने विचारों को संप्रेषित करने, उनके कैरियर की सफलता का आकलन करने, एक डिप्लोमा और उनके ग्रेड में उनके ग्रेड का विश्लेषण करने की क्षमता का आकलन करते हुए, आप इस निष्कर्ष पर पहुंचेंगे कि मानव बुद्धि का सामान्य मूल्यांकन है, जो स्पष्ट रूप से प्रश्नावली में नहीं लिखा गया है, लेकिन जो इसके कई बिंदुओं को स्पष्ट करता है। बुद्धि का आकलन - यह एक छिपा हुआ कारक है, एक उच्च व्याख्यात्मक प्रभाव वाला मुख्य घटक। जाहिर है, हम इस घटक का निरीक्षण नहीं करते हैं, लेकिन हम उन संकेतों को ठीक करते हैं जो इसके साथ सहसंबद्ध हैं। जीवन का अनुभव होने पर, हम कुछ संकेतों के लिए, अवचेतन रूप से, अंतःसंबंधक की बुद्धिमत्ता का विचार बना सकते हैं। वह प्रक्रिया, जिसे हमारा मस्तिष्क उपयोग करता है, वास्तव में, एक कारक विश्लेषण है। यह देखते हुए कि कुछ घटनाएं एक साथ कैसे प्रकट होती हैं, मस्तिष्क, एक औपचारिक प्रक्रिया का उपयोग करके, कारकों को स्थिर सांख्यिकीय कानूनों के प्रतिबिंब के रूप में पहचानता है जो हमारे आसपास की दुनिया की विशेषता हैं।

कारकों का एक सेट पर प्रकाश डालना

हमने दिखाया कि कैसे हेबब फिल्टर पहले प्रमुख घटक को उजागर करता है। यह पता चला है कि तंत्रिका नेटवर्क की मदद से आप आसानी से न केवल पहले, बल्कि अन्य सभी घटकों को प्राप्त कर सकते हैं। यह किया जा सकता है, उदाहरण के लिए, निम्नलिखित तरीके से। माना कि हमारे पास है इनपुट सुविधाएँ लेना रैखिक न्यूरॉन्स जहां ।



सामान्यीकृत हेब्ब एल्गोरिथ्म (खैकिन, 2006)

हम पहले न्यूरॉन को हेब्ब फिल्टर के रूप में प्रशिक्षित करेंगे ताकि यह पहले मुख्य घटक का चयन करे। लेकिन हम प्रत्येक बाद के न्यूरॉन को एक संकेत पर प्रशिक्षित करेंगे, जिसमें से हम सभी पिछले घटकों के प्रभाव को बाहर करते हैं।
चरण n में न्यूरॉन्स की गतिविधि के रूप में परिभाषित किया गया है


के रूप में synoptic संतुलन के लिए एक सुधार

जहाँ 1 से , और 1 से ।

सभी न्यूरॉन्स के लिए, यह हेबब फिल्टर के समान प्रशिक्षण जैसा दिखता है। एकमात्र अंतर यह है कि प्रत्येक बाद के न्यूरॉन पूरे संकेत को नहीं देखते हैं, लेकिन केवल यह कि पिछले न्यूरॉन्स "नहीं देखा"। इस सिद्धांत को पुनर्मूल्यांकन कहा जाता है। हम वास्तव में मूल सिग्नल को बहाल करने के लिए घटकों के सीमित सेट का उपयोग कर रहे हैं और अगले न्यूरॉन को केवल शेष को देखते हैं, मूल सिग्नल और बहाल किए गए के बीच का अंतर। इस एल्गोरिथ्म को सामान्यीकृत हेब एल्गोरिथ्म कहा जाता है।

सामान्यीकृत हेब्ब एल्गोरिथ्म में, यह पूरी तरह से अच्छा नहीं है कि यह प्रकृति में बहुत "कम्प्यूटेशनल" है। न्यूरॉन्स को आदेश दिया जाना चाहिए, और उनकी गतिविधि को क्रमिक रूप से कड़ाई से गणना की जानी चाहिए। यह सेरेब्रल कॉर्टेक्स के सिद्धांतों के साथ बहुत संगत नहीं है, जहां प्रत्येक न्यूरॉन, हालांकि दूसरों के साथ बातचीत करता है, स्वायत्तता से काम करता है, और जहां कोई "केंद्रीय प्रोसेसर" नहीं है जो घटनाओं के सामान्य अनुक्रम को निर्धारित करता है। इन कारणों से, अलंकरण एल्गोरिदम नामक एल्गोरिदम अधिक आकर्षक लगते हैं।

कल्पना कीजिए कि हमारे पास न्यूरॉन्स जेड ₁ और जेड ₂ की दो परतें हैं। पहली परत के न्यूरॉन्स की गतिविधि एक निश्चित चित्र बनाती है, जिसे अक्षतंतु के साथ अगली परत में पेश किया जाता है।


एक परत का दूसरे पर प्रक्षेपण

अब कल्पना करें कि दूसरी परत के प्रत्येक न्यूरॉन में पहली परत से आने वाले सभी अक्षतंतुओं के साथ सिनैप्टिक कनेक्शन हैं यदि वे इस न्यूरॉन के एक निश्चित पड़ोस की सीमाओं के भीतर आते हैं (नीचे आंकड़ा देखें)। इस क्षेत्र में गिरने वाले एक्सन न्यूरॉन के ग्रहणशील क्षेत्र का निर्माण करते हैं। एक न्यूरॉन का ग्रहणशील क्षेत्र सामान्य गतिविधि का टुकड़ा है जो उसे अवलोकन के लिए उपलब्ध है। इस न्यूरॉन के लिए बाकी सब कुछ मौजूद नहीं है।



न्यूरॉन के ग्रहणशील क्षेत्र के अलावा, हम कुछ छोटे आकार के क्षेत्र का परिचय देते हैं, जिसे हम दमन क्षेत्र कहेंगे। इस क्षेत्र में पड़ने वाले अपने पड़ोसियों के साथ प्रत्येक न्यूरॉन को कनेक्ट करें। इस तरह के कनेक्शन को पार्श्व कहा जाता है या, जीव विज्ञान में स्वीकृत शब्दावली के बाद, पार्श्व। हम पार्श्व कनेक्शन को निरोधात्मक बनाते हैं, अर्थात्, न्यूरॉन्स की गतिविधि को कम करते हैं। उनके काम का तर्क यह है कि एक सक्रिय न्यूरॉन उन सभी न्यूरॉन्स की गतिविधि को रोकता है जो इसके निषेध क्षेत्र में आते हैं।

उत्तेजक और निरोधात्मक बंधों को संबंधित क्षेत्रों की सीमाओं के भीतर सभी अक्षतंतु या न्यूरॉन्स के साथ कड़ाई से वितरित किया जा सकता है, और यादृच्छिक रूप से निर्दिष्ट किया जा सकता है, उदाहरण के लिए, एक निश्चित केंद्र के घने भरने और इसके साथ दूरी के साथ बंधन घनत्व में एक घातीय कमी के साथ। मॉडलिंग के लिए निरंतर भरना आसान है, वास्तविक प्रांतस्था में संबंधों के संगठन के दृष्टिकोण से यादृच्छिक वितरण अधिक संरचनात्मक है।

न्यूरॉन गतिविधि का कार्य लिखा जा सकता है:

कहाँ - कुल गतिविधि - कई अक्षतंतु जो चयनित न्यूरॉन के ग्रहणशील क्षेत्र में आते हैं, - दमन क्षेत्र में कई न्यूरॉन्स जिनमें से चयनित न्यूरॉन गिरता है, - संबंधित पार्श्व निषेध का बल, जो नकारात्मक मान लेता है।

इस तरह की एक गतिविधि फ़ंक्शन पुनरावर्ती है, चूंकि न्यूरॉन्स की गतिविधि एक दूसरे पर निर्भर है। यह इस तथ्य की ओर जाता है कि व्यावहारिक गणना पुनरावृत्ति से की जाती है।

प्रशिक्षण सिनैप्टिक तराजू को Hebb फ़िल्टर के समान किया जाता है:


पार्श्व भार को एंटी-हेब नियम के अनुसार प्रशिक्षित किया जाता है, "समान" न्यूरॉन्स के बीच बढ़ते हुए निषेध:


इस निर्माण का सार यह है कि हेब्ब प्रशिक्षण को प्रस्तुत आंकड़ों के पहले मुख्य कारक विशेषता के अनुरूप मूल्यों के न्यूरॉन के तराजू पर आवंटन का नेतृत्व करना चाहिए। लेकिन एक न्यूरॉन केवल एक कारक की दिशा में सीखने में सक्षम है, अगर यह सक्रिय है। जब एक न्यूरॉन एक कारक का स्राव करना शुरू करता है और, तदनुसार, इसका जवाब देता है, तो यह न्यूरॉन्स की गतिविधि को अवरुद्ध करना शुरू कर देता है जो इसके दमन क्षेत्र में आते हैं। यदि कई न्यूरॉन्स सक्रियण की इच्छा रखते हैं, तो आपसी प्रतिस्पर्धा इस तथ्य की ओर ले जाती है कि सबसे मजबूत न्यूरॉन जीतता है, जबकि अन्य सभी पर अत्याचार करते हैं। अन्य न्यूरॉन्स के पास उन क्षणों में सीखने के अलावा कोई विकल्प नहीं होता है जब पास में उच्च गतिविधि वाले पड़ोसी नहीं होते हैं।इस प्रकार, सजावट होती है, अर्थात्, क्षेत्र के भीतर प्रत्येक न्यूरॉन, जिसका आकार दमन क्षेत्र के आकार से निर्धारित होता है, अपने कारक, ऑर्थोगोनल को हर किसी के लिए उजागर करना शुरू करता है। इस एल्गोरिथ्म को एडेप्टिव प्रिंसिपल कंपोनेंट एक्सट्रैक्शन (APEX) एल्गोरिथ्म (कुंग एस।, डायमेंटरस केआई, 1990) कहा जाता है।

पार्श्व निषेध का विचार आत्मा के सिद्धांत के समान है "विजेता सब कुछ लेता है", जो विभिन्न मॉडलों में अच्छी तरह से जाना जाता है, जो उस क्षेत्र के सजावट को भी अनुमति देता है जिसमें विजेता की मांग की जाती है। इस सिद्धांत का उपयोग किया जाता है, उदाहरण के लिए, फुकुशिमा नियोग्निट्रॉन में, कोहेन के आत्म-व्यवस्थित मानचित्र, और यह सिद्धांत जेफ हॉकिन्स की व्यापक रूप से ज्ञात पदानुक्रमित लौकिक स्मृति को पढ़ाने में भी उपयोग किया जाता है।

विजेता को न्यूरॉन्स की गतिविधि की एक सरल तुलना द्वारा निर्धारित किया जा सकता है। लेकिन इस तरह की गणना, आसानी से एक कंप्यूटर पर लागू की जाती है, वास्तविक छाल के साथ उपमाओं के साथ कुछ असंगत है। लेकिन अगर कोई बाहरी एल्गोरिदम को शामिल किए बिना न्यूरॉन इंटरैक्शन के स्तर पर सब कुछ करने का लक्ष्य निर्धारित करता है, तो वही परिणाम प्राप्त किया जा सकता है, यदि पड़ोसियों के पार्श्व निषेध के अलावा, न्यूरॉन की सकारात्मक प्रतिक्रिया है जो इसे उत्तेजित करती है। विजेता खोजने के लिए इस तरह की तकनीक का उपयोग किया जाता है, उदाहरण के लिए, ग्रॉसबर्ग अनुकूली अनुनाद नेटवर्क में।

यदि तंत्रिका नेटवर्क की विचारधारा यह अनुमति देती है, तो "विजेता सब कुछ लेता है" नियम का उपयोग करना बहुत सुविधाजनक है, क्योंकि यह अधिकतम गतिविधि के लिए खोज करने की तुलना में बहुत सरल है, जो गतिविधि को ध्यान में रखते हुए पारस्परिक निषेध की गतिविधि की गणना करता है।

इस भाग को समाप्त करने का समय आ गया है। यह लंबे समय से पर्याप्त था, लेकिन वास्तव में अर्थ में संबंधित कथा को विभाजित नहीं करना चाहता था। केडीपीवी को आश्चर्यचकित न करें, यह चित्र कृत्रिम बुद्धि और मुख्य कारक के साथ एक ही समय में मेरे लिए जुड़ा था।

विस्तार

साहित्य का इस्तेमाल किया

भाग 1. न्यूरॉन

एलेक्सी रेडोज़ुबोव (2014)