^{कुछ लोगों का मानना ​​है कि वे सोचते हैं, जबकि वे बस अपने पूर्वाग्रहों को नियंत्रित करते हैं।}
बहुत समय पहले मैंने न्यूरॉन मॉडलिंग तकनीकों के विकास पर एक समीक्षा लेख लिखा था और इस मामले को छोड़ दिया था। विवरण में न्यूरॉन्स में रुचि रखने वाले सभी के लिए पुरानी और अच्छी तरह से ज्ञात विधियां शामिल हैं, हम कह सकते हैं कि हमें यूएसएसआर के पतन से पहले जारी की गई पाठ्यपुस्तकों का अवलोकन मिला। यदि कोई भी इच्छुक व्यक्ति habrahabr.ru/post/101020 पर जा सकता है, तो पुरानी समीक्षा देखें। अब मैंने अपने दृष्टिकोण से, आकर्षक और अधिक आधुनिक मॉडलिंग विधियों से कई सामग्रियों को एकत्र किया है, जो एक संरचित समीक्षा के रूप में उल्लेख के लायक हैं। यहां मैं केवल एक वर्णनात्मक क्रम में इन विधियों का उल्लेख करूंगा, साधारण कारण के लिए कि ज्यादातर लोगों के लिए यह जानना अधिक दिलचस्प है कि हम इसका उपयोग क्यों करते हैं, और यह नहीं कि यह कैसे काम करता है और इसे कैसे लागू किया जाए। पाठ की मात्रा में काफी कमी आएगी, रुचि बढ़ेगी, और ये तरीके वास्तव में कैसे काम करेंगे, हर कोई अपने लिए खोज सकता है।
तो तैयार हो जाइए।

मिनी बैचों में एसिंक्रोनस वितरित स्टोचैस्टिक ग्रेडिएंट वंश

^{रूसी भाषा समृद्ध और अभिव्यंजक है। लेकिन पहले से ही यह पर्याप्त नहीं था।}
चतुर शब्दों का भयानक अतुलनीय ढेर। इस विधि को आलेख habrahabr.ru/post/146077 में वर्णित किया गया था जहां इसे कम भयावह रूप में स्थानांतरित किया गया था। वहां उन्हें एसिंक्रोनस ग्रेडिएंट डीसेंट (एसिंक्रोनस एसडब्लूएस) कहा गया। मैंने इसका पता लगाने की कोशिश की और अंग्रेजी नाम "एसिंक्रोनस डब्ल्यूडब्ल्यूई" से चिपक गया।

उल्लेख के लायक पहली चीज ढाल ढाल विधि ही है। यह एक स्थानीय न्यूनतम या अधिकतम फ़ंक्शन खोजने की एक विधि है। यदि आपके पास एक टॉवर था, तो आपको यहां इस बात की अस्पष्ट समझ होनी चाहिए कि किस पर चर्चा की जा रही है। सामान्य तौर पर, यह एक अनुकूलन एल्गोरिथ्म के रूप में उपयोग किया जाता है, और यदि आप तंत्रिका नेटवर्क के साथ काम करते हैं, तो शांति से इसे मशीन लर्निंग एल्गोरिदम कहते हैं।

अब "स्टोचस्टिक" शब्द जोड़ें। हमारी पद्धति के लिए इसकी आवश्यकता क्यों है? इसका क्या उपयोग है? यह विधि एक बार में सेट किए गए प्रशिक्षण से केवल एक उदाहरण का उपयोग करती है, अन्य तरीकों के विपरीत जो एक बार में पूरे सेट का उपयोग करते हैं। मुद्दा यह है कि आप अतिरिक्त प्रशिक्षण के लिए अधिक डेटा जोड़ सकते हैं या यदि आप प्रतीक्षा कर रहे हैं, तो प्रशिक्षण रोक सकते हैं, और आप डेटा के संसाधित भाग पर प्रशिक्षण के परिणाम देखना चाहते हैं।

इन दोनों (सामान्य और स्टोकेस्टिक) प्रकार के क्रमिक वंश के बीच, "मिनी-बैच" नामक एक समझौता होता है। इस मामले में, प्रशिक्षण नमूनों के छोटे पैक का उपयोग किया जाता है। यह एक छोटा बैच तरीका है जो किसी नेटवर्क पर कई कंप्यूटरों के बीच कंप्यूटिंग को वितरित करने के लिए सबसे उपयुक्त है।

अब एसिंक्रोनस और वितरित के बारे में - वितरित एसिंक्रोनस डेटा प्रोसेसिंग (एसिंक्रोनस पीयर-टू-पीयर) का उपयोग करना। इस मामले में, कई मिनी-बैचों को उनके कंप्यूटर पर एक पीयर-टू-पीयर नेटवर्क में एक साथ संसाधित किया जाता है, जिससे आप किसी भी संख्या और उपलब्ध नोड्स के किसी भी संयोजन के साथ प्रशिक्षण जारी रख सकते हैं। सामान्य मॉडल को अपडेट करने के लिए सभी कंप्यूटर अपने अंतिम बैच की गणना समाप्त करने के लिए इंतजार कर रहे हैं। प्रत्येक बैच के लिए, संभवतः भिन्न और, एक नियम के रूप में, पुराने मॉडल मापदंडों का उपयोग किया जाता है। यह मुख्य और मुख्य दोष है। लाभ यह है कि अनुकूलन में शामिल सभी मशीनें लगातार गणना में व्यस्त हैं, और हम प्रशिक्षण प्रक्रिया के दौरान मशीनों को जोड़ और बंद कर सकते हैं। नुकसान इस तथ्य से ऑफसेट है कि डेटा की एकरूपता के साथ, मॉडल वैसे भी (अनुकूलित, प्रशिक्षित) परिवर्तित करता है। मैंने इस कथन को साबित करने वाले कार्यों में जाने की हिम्मत नहीं की। मैं केवल एक लिंक साझा कर सकता हूं जो सहकर्मी से सहकर्मी नेटवर्क में एसिंक्रोनस "डेटा माइनिंग" पद्धति के सिद्धांत को निर्धारित करता है। हो सकता है किसी को इसकी आवश्यकता हो, यह अपने आप में दिलचस्प है। अब आपको सुपर कंप्यूटर की आवश्यकता नहीं है, आपको नेटवर्क पर दोस्तों की आवश्यकता है।
http://www.inf.u-szeged.hu/~ormandi/presentations/europar2011.pdf

विरल वितरित दृश्य

^{यदि कृत्रिम बुद्धिमत्ता मौजूद है, तो कृत्रिम नीरसता भी मौजूद होनी चाहिए।}
विदेशी में, यह "विरल वितरित प्रतिनिधित्व" जैसा लगता है।

इस पद्धति का मुख्य बिंदु जैविक तंत्रिका नेटवर्क की संपत्ति को स्लैम करना है। हालांकि सेरेब्रल कॉर्टेक्स में न्यूरॉन्स बहुत कसकर परस्पर जुड़े होते हैं, कई निरोधात्मक (निरोधात्मक) न्यूरॉन्स गारंटी देते हैं कि सभी न्यूरॉन्स का केवल एक छोटा प्रतिशत एक समय में सक्रिय होगा, और वे आमतौर पर एक दूसरे से काफी दूरी पर होते हैं। अर्थात्, जानकारी हमेशा उपलब्ध सभी में से केवल कुछ ही सक्रिय न्यूरॉन्स द्वारा मस्तिष्क में प्रस्तुत की जाती है। सूचना के इस प्रकार के कोडिंग को "विरल वितरित प्रतिनिधित्व" कहा जाता है।

यहाँ एक स्पार्स ऑटोएन्कोडर विरल ऑटो-एनकोडर विधि भी है, यहाँ habrahabr.ru/post/134950 पढ़ें, लेकिन इसका अर्थ एक ही है, बस एक जैविक तंत्रिका नेटवर्क की संपत्ति को स्लैम करना।

चलिए वापस अपनी विधि पर आते हैं। "विरल" आवश्यकता है कि केवल परत न्यूरॉन्स का एक छोटा सा प्रतिशत एक साथ सक्रिय हो सकता है। आप इसे किस तरह से करते हैं, यह मायने नहीं रखता। अंतर्निहित सिद्धांत एनकोडर में और विरल प्रतिनिधित्व के रूप में ही रहता है। मुख्य बात यह है कि अगली परत के लिए इनपुट डेटा का आयाम कम हो गया है, डेटा संकुचित है, क्योंकि नेटवर्क छिपे हुए संबंधों, सुविधाओं के सहसंबंधों और सामान्य रूप से, डेटा में किसी भी अक्सर होने वाली संरचना को खोजने के लिए बाध्य है।

"वितरित" भी एक आवश्यकता है जो तंत्रिका नेटवर्क की एक परत में किसी चीज़ का प्रतिनिधित्व करने के लिए, न्यूरॉन्स के उस बहुत छोटे प्रतिशत का सक्रियण आवश्यक है, जबकि न्यूरॉन्स एक दूसरे से दूर से परत में बिखरे हुए हैं। चुप न्यूरॉन्स का एक अतिरेक भी बुरा है। परत में सक्रिय न्यूरॉन्स की पर्याप्त संख्या बहुत छिपे हुए रिश्तों और सहसंबंधों को खोजने पर तुच्छ पैटर्न से बचने की अनुमति देती है। एक एकल न्यूरॉन की गतिविधि, ज़ाहिर है, का अर्थ भी कुछ है, "दादी के न्यूरॉन" के बारे में याद रखें, लेकिन गतिविधि की व्याख्या केवल कई अन्य न्यूरॉन्स के संदर्भ में की जानी चाहिए। एकल गतिविधि परतों के पदानुक्रम तक नहीं बढ़ेगी। वास्तव में, अंतिम परत के न्यूरॉन्स की गतिविधि हमारे तंत्रिका नेटवर्क के ग्रहणशील क्षेत्र के माध्यम से दुनिया की एक तस्वीर पेश करेगी।

अंत में, मैं कह सकता हूँ कि तंत्रिका नेटवर्क में सूचना की ऐसी प्रस्तुति सिर्फ कुख्यात "दादी के न्यूरॉन्स" के गठन की ओर ले जाती है। यदि आप यह नहीं समझते हैं कि इसके बारे में क्या है, तो चित्र पर नज़र डालें, यह चित्र लेख habrahabr.ru/post/153945 से कैट फेस रिकग्निशन में लगे न्यूरॉन के लिए अधिकतम उत्तेजना से मेल खाती है। शुद्ध "बिल्ली का चेहरा अवधारणा"।



या संकेत समय 49:15 से 5 मिनट के लिए कॉमरेड अनोखिन के प्रदर्शन को देखें। उनके शब्दों के आधार पर, यह तर्क दिया जा सकता है कि आपके मस्तिष्क में नागरिक साशा ग्रे की अवधारणा के लिए जिम्मेदार न्यूरॉन है।

स्थानीय ग्रहणशील क्षेत्र

^{कुछ भी इतना अच्छा नहीं है कि कहीं न कहीं कोई है जो इसे नफरत करता है।}
यह मॉडलिंग तंत्रिका नेटवर्क में अच्छे रूप का नियम है। इस्तेमाल किए गए तरीकों और न्यूरॉन्स के मॉडल के आधार पर, विभिन्न बन्स प्राप्त किए जा सकते हैं। मैं भी सूचीबद्ध नहीं करना चाहता, बस एक शब्द ले लो। स्थानीय ग्रहणशील क्षेत्र हमारा सब कुछ हैं।

बेशक, यह ध्यान देने योग्य है कि इस विधि से सबसे बड़ा लाभ वर्दी इनपुट डेटा के साथ प्राप्त किया जाता है। एक सरल उदाहरण दृश्य डेटा है। विरल निरूपण की पद्धति का उपयोग करते हुए ऐसे डेटा पर पहली परत से न्यूरॉन्स विभिन्न कोणों से आकृति के समान प्राथमिक तत्वों को पहचानना सीखेंगे, जो मस्तिष्क जीव विज्ञान के साथ बहुत अच्छी तरह से जुड़ा हुआ है।

प्रकार से डेन्ड्राइट का पृथक्करण

^{मोह में दे दो। और फिर उसे दोहराया नहीं जा सकता है।}
प्रकार द्वारा डेन्ड्राइट्स को अलग करना न्यूरॉन्स के मॉडलिंग में एक उल्लेखनीय नवाचार है, जो प्रयोग के लिए असीमित संभावनाएं खोल रहा है। यह सिद्धांत दोनों पश्चिम और हमारे देश में न्यूरॉन्स के मॉडलिंग में एक नया चलन बन रहा है, हालांकि इस समाधान के लिए जाने वाले रास्ते अलग हैं। पश्चिम में, वे इस सिद्धांत के लिए एक जैविक आधार खींचने की कोशिश कर रहे हैं, अब वे कहते हैं कि नियोकॉर्टेक्स की चौथी परत के न्यूरॉन्स अन्य परतों और मस्तिष्क के अन्य हिस्सों से सेलड्रासाइट्स के डेंड्राइट्स के लिए सिंकैप्स लेते हैं, और केवल दूरस्थ डेंड्राइट्स के माध्यम से परत में एक दूसरे के साथ संवाद करते हैं।

हम इस तरह के आधार से इनकार नहीं करते हैं, लेकिन इसके अलावा वे एक एकल न्यूरॉन पर उत्तेजना के योग की परिकल्पना की आलोचना करते हैं।

अब हम खोली हुई मॉडलिंग संभावनाओं को पास करेंगे। हम विभिन्न प्रकार के डेंड्राइट से संकेतों के लिए एक न्यूरॉन की प्रतिक्रिया के लिए अलग-अलग नियम प्रदान कर सकते हैं, और एक प्रकार से दूसरे प्रकार के डेंड्राइट के संक्रमण के लिए नियम निर्धारित कर सकते हैं। स्वाभाविक रूप से, विभिन्न प्रकारों की शुरूआत पूरे तंत्रिका नेटवर्क के संचालन को भी प्रभावित करती है, इसलिए नियमों के लिए कई उत्कृष्ट प्रस्ताव पूरे तंत्रिका नेटवर्क के भीतर व्यवहार्य नहीं हैं। लेकिन पहले से ही प्रकार के डेन्ड्राइट्स के अलगाव के साथ न्यूरॉन्स के कई अच्छी तरह से स्थापित और अच्छी तरह से सिद्ध मॉडल हैं।

नीचे मैं तंत्रिका नेटवर्क के नए गुणों के बारे में बात करूंगा जो मानव स्मृति के गुणों के साथ मेल खाते हैं और जो डेंड्राइट्स को प्रकारों में अलग करके प्राप्त किया जा सकता है। प्रयुक्त विधि के प्रत्येक विशेष मामले में, संपत्ति का एक अलग नाम हो सकता है (नाम हमेशा विधि के लेखक की मनमानी है) और कार्यान्वयन तंत्र में गंभीरता से भिन्न होता है, लेकिन यह मौलिक सिद्धांत की समानता को नकारता नहीं है।

सबसे पहले, एक न्यूरॉन मॉडल के संरचनात्मक आरेख पर एक नज़र डालें, जो पदानुक्रमित टेम्पोरल मेमोरी विधि से है।

सहयोगी स्मृति

^{सब कुछ एक पैटर्न है जो एक न्यूरॉन को सक्रिय करता है।}
सिद्धांत दो प्रकारों में डेन्ड्राइट्स का पृथक्करण और उनके आदानों में संकेतों के तार्किक बंधन है।

पहले प्रकार के डेंड्राइट्स, जिन्हें "स्थायी स्मृति" के डेंड्राइट्स कहा जा सकता है, मॉडलिंग न्यूरॉन्स के लिए काफी परिचित नियमों के अनुसार काम करते हैं। कोई नवाचार नहीं है, आप किसी भी पुराने नियमों का उपयोग कर सकते हैं जो आप जानते हैं कि आप इनपुट के प्रकारों में विभाजित किए बिना तंत्रिका नेटवर्क के लिए आए थे, उदाहरण के लिए, नियम के समान कुछ "यदि इनपुट के वांछित सेट में एक संकेत आया, तो न्यूरॉन सक्रिय हो जाता है।" इस तरह के नियम को ट्रिगर करने के लिए, एक न्यूरॉन को एक पैटर्न को पहचानना होगा, और सुविधा के लिए हम इसे "रीड-ओनली मेमोरी की ट्रिगरिंग" कहेंगे।

दूसरे प्रकार के डेंड्राइट्स, जिन्हें मनमाने ढंग से "साहचर्य स्मृति" के डेन्ड्राइट कहा जा सकता है, नए, लेकिन सहज नियमों के अनुसार काम करते हैं। यहाँ मॉडलिंग में नवाचार निहित है, इसलिए बोलने के लिए। इस तरह के नियमों के मूल सिद्धांत को निम्नलिखित शब्दों में व्यक्त किया जा सकता है: "साहचर्य डेंड्राइट इनपुट सक्रिय करने के लिए एक न्यूरॉन पैदा कर सकता है अगर केवल-पढ़ने वाली मेमोरी ने काम नहीं किया है। इनपुट की सहूलियत तब बढ़ जाती है जब यह सक्रिय होता है जब केवल-पढ़ने वाली मेमोरी ट्रिगर होती है। ” अगर कोई नहीं समझता है, तो हम सशर्त रूप से पलटा कॉमरेड और शिक्षाविद् पावलोव के लिए एक ही न्यूरॉन पर काम कर रहे हैं। इस मामले में, कुत्तों को नुकसान नहीं होता है।

यह मत समझो कि सिद्धांत बहुत सरल है, कार्यान्वयन के आधार पर, आप नियमों की जटिलता और मॉडलिंग की कई विशेषताओं का सामना करेंगे। उदाहरण के लिए, समग्रता न्यूरॉन की गतिविधि से दोनों को एक पूरे के रूप में बढ़ा सकती है (यह पहले से ही निरंतर स्मृति से और साहचर्य से ट्रिगर किया जा सकता है), और निरंतर स्मृति द्वारा पैटर्न मान्यता से। प्रत्येक सक्रियता के साथ संबद्धता घट सकती है, या इसे समय के आधार पर आयोजित और घटाया जा सकता है। डेंड्राइट एक प्रकार से दूसरे में गुजर सकते हैं, और नए कनेक्शन जोड़कर भी बढ़ सकते हैं। ऐसे नियम हो सकते हैं जो स्थानिक प्रतिबंध लगाते हैं। उदाहरण के लिए, "स्थायी स्मृति" के डेंड्राइट केवल पिछली परत से न्यूरॉन्स के साथ संवाद कर सकते हैं, जबकि "साहचर्य स्मृति" के डेंड्राइट केवल उनकी परत के न्यूरॉन्स या पदानुक्रम में उच्चतर परत के साथ संवाद कर सकते हैं।

एक नई स्थिति की पहचान

^{खेद है कि जब आप बीच में कहते हैं।}
नए मान्यता तंत्र को केवल तंत्रिका नेटवर्क में जोड़ा जा सकता है, जो डेंड्राइट के प्रकारों में अलग हो सकता है। तंत्र के सिद्धांत को निम्नलिखित शब्दों में व्यक्त किया जा सकता है: "न्यूरॉन या न्यूरॉन के एक समूह ने एक नई स्थिति के साथ सामना किया है यदि न्यूरॉन्स का एक समूह वृद्धि हुई गतिविधि का प्रदर्शन करता है"। इस सिद्धांत का अर्थ स्पष्ट नहीं है, क्योंकि ट्रिगर करने के नियम कार्यान्वयन से कार्यान्वयन के लिए बहुत अलग हैं, लेकिन आम तौर पर उन्होंने केवल एक नए को पहचानने के बाद न्यूरॉन गतिविधि में वृद्धि की है। जबकि न्यूरॉन अधिक सक्रिय है, नेटवर्क के भीतर नियम पूरे होते हैं, जिनमें से मुख्य कार्य इस बढ़ी हुई गतिविधि को खत्म करना है।

आइए उन लाभों से शुरू करें जो तंत्रिका नेटवर्क के लिए एक पूरे के रूप में एक नए तंत्र को पहचानकर प्राप्त कर सकते हैं। एक तंत्रिका नेटवर्क एक मित्र और शिक्षाविद् पावलोव द्वारा वर्णित प्रसिद्ध "ओरिएंटिंग रिफ्लेक्स" को लागू कर सकता है। अब कुछ समय के लिए, न्यूरोफिज़ियोलॉजिस्ट मस्तिष्क के तंत्रिका नेटवर्क की रचना में नए के डिटेक्टरों के बारे में बात करना शुरू कर देते हैं, जो ओरिएंटल रिफ्लेक्स के रिसेप्टर्स हैं, जो धारणा में एक महत्वपूर्ण नया होने पर खुद को प्रकट करते हैं। लेकिन सामान्य रिसेप्टर्स (सेंसर) के विपरीत, विशिष्ट नई स्थिति के रिसेप्टर्स को मूलभूत रूप से सुविधाओं के एक निश्चित संयोजन के सेंसर के रूप में लागू नहीं किया जा सकता है। सिर्फ इसलिए कि वे डिस्पोजेबल हैं, नई स्थिति खुद को दोहराती नहीं है, क्योंकि यह पहले ही मिल चुका है और याद है। और इस नए मान्यता तंत्र के साथ, नेटवर्क में प्रत्येक न्यूरॉन एक नया डिटेक्टर बन जाता है। यह एक नवाचार है।

इसके अलावा, एक नए की मान्यता नए साहचर्य संबंध स्थापित करने के लिए एक अद्भुत अवसर है, अर्थात, "साहचर्य स्मृति" के डेन्ड्राइट्स की वृद्धि। इसके अलावा, आप "संदर्भ मेमोरी" को लागू कर सकते हैं, दोनों एक नए प्रकार के डेंड्राइट को जोड़कर, या केवल समग्र रूप से तंत्रिका नेटवर्क के प्रसंस्करण के लिए नियमों को लागू करके। मुद्दा यह है कि हमें याद रखना चाहिए कि सभी नई परिस्थितियों का सामना करना पड़ा, वे संदर्भ बन गए। प्रासंगिक स्मृति का तंत्र एक नए की मान्यता के तंत्र के साथ अटूट रूप से जुड़ा हुआ है, लेकिन एक अलग अनुभाग में नीचे माना जाएगा।

अब हम तंत्रिका नेटवर्क के आधार पर कार्यान्वयन सुविधाओं के बारे में बात कर सकते हैं।

निरंतर और साहचर्य स्मृति के साथ तंत्रिका नेटवर्क में, समय में काम करना और अनुक्रमों को याद रखने में सक्षम होना, साहचर्य सक्रियण को आमतौर पर भविष्यवाणी कहा जाता है। इस तरह के एक तंत्रिका नेटवर्क का काम लगातार बाद की घटनाओं का पूर्वानुमान लगाना है, और एक घटना जिसकी भविष्यवाणी नहीं की गई है, वास्तव में नया माना जाता है। यही है, नियम इस प्रकार है: "यदि स्थायी मेमोरी की ट्रिगरिंग ने सहयोगी मेमोरी की ट्रिगरिंग का पालन नहीं किया है, तो हमें एक नई स्थिति का सामना करना पड़ता है।" एक नए को पहचानने के बाद, तंत्रिका नेटवर्क में एक नया साहचर्य संबंध जोड़ा जाता है।

निरंतर और प्रासंगिक स्मृति वाले तंत्रिका नेटवर्क में, एक समान, लेकिन अधिक सहज नियम का उपयोग किया जाता है: "यदि स्थायी स्मृति ने काम किया है और प्रासंगिक स्मृति चुप है, तो हम एक नई स्थिति में एक प्रसिद्ध पैटर्न के साथ सामना कर रहे हैं।" एक घटना जो किसी अज्ञात संदर्भ में घटित हुई है, उसे काफी नया माना जा सकता है और नए संदर्भ लिंक जोड़ने का कारण बन सकता है।

निरंतर, साहचर्य और प्रासंगिक स्मृति (तीन प्रकार के डेंड्राइट) के साथ तंत्रिका नेटवर्क में, एक नई स्थिति को पहचानने के लिए एक तंत्र जोड़कर, वे संघों और संदर्भ को अलग करने की महत्वपूर्ण समस्या को हल करते हैं। जब तक न्यूरॉन एक नई स्थिति को पहचान नहीं लेता, तब तक आसपास के न्यूरॉन्स की सभी गतिविधियों को संदर्भ के रूप में माना जाता है और याद किया जाता है। जिस समय न्यूरॉन को स्थिति की नवीनता का एहसास हुआ, आसपास के न्यूरॉन्स की सभी गतिविधियों को संघों के रूप में याद किया जाता है।

प्रसंग स्मृति

^{प्रत्येक ने अपनी श्रेष्ठता के बारे में सोचा, लेकिन सभी ने एक ही बात सोची।}
संदर्भ मेमोरी तंत्र अपने नए मान्यता तंत्र के साथ एक नए प्रकार के डेंड्राइट को जोड़कर प्राप्त किया जा सकता है। ऐसी प्रासंगिक स्मृति वास्तव में नियम के आधार पर एक नई मान्यता तंत्र की जरूरतों को पूरा करने में लगी हुई है "यदि स्थायी स्मृति ने काम किया है और प्रासंगिक स्मृति चुप है, तो हम एक नई स्थिति का सामना कर रहे हैं।" प्रसंग स्मृति अपने आप में उन सभी स्थितियों को संग्रहीत करती है जो एक न्यूरॉन पहले से ही सामना कर चुके हैं, जिसमें निरंतर स्मृति को ट्रिगर किया गया है, वास्तव में, यह नई स्थितियों को सही ढंग से पहचानने की अनुमति देता है। और प्रासंगिक स्मृति का नवाचार यह है कि इसका मुख्य कार्य एक न्यूरॉन के साहचर्य सक्रियण में नहीं है, बल्कि एक न्यूरॉन की बढ़ी हुई गतिविधि को नम करने में है।

वास्तव में, साहचर्य और प्रासंगिक स्मृति के कुछ कार्यान्वयन के बीच का अंतर केवल न्यूरॉन पर प्रभाव में है, और कभी-कभी साहचर्य और संदर्भ संबंध स्थापित करने और विनियमित करने के नियम सबसे छोटे विवरण के लिए मेल खाते हैं। प्रसंग स्मृति का उपयोग भविष्यवाणी के लिए भी किया जा सकता है, अर्थात् एक न्यूरॉन के साहचर्य सक्रियण के लिए। उसी समय, साहचर्य स्मृति को अनुक्रमों में एक संदर्भ के रूप में सफलतापूर्वक उपयोग किया जा सकता है, ऐसी स्थितियों को पहचानना जो हम भविष्यवाणी नहीं कर सकते थे। मैं उन्हें न्यूरॉन पर प्रभाव द्वारा सटीक रूप से अलग करने का प्रस्ताव करता हूं, एसोसिएशन रोमांचक है, और संदर्भ शांत है।

प्रासंगिक स्मृति के मूल सिद्धांत को निम्नलिखित शब्दों में व्यक्त किया जा सकता है: “सक्रिय संदर्भ इनपुट से न्यूरॉन को यह स्पष्ट हो जाता है कि ऐसी स्थितियों में रीड-ओनली मेमोरी पहले से ही ट्रिगर हो चुकी है। एक साथ सक्रिय होने पर दो न्यूरॉन्स एक दूसरे के लिए संदर्भ बन जाते हैं। ”

संदर्भ स्मृति एक न्यूरॉन के अंदर नियमों की क्रियाओं द्वारा "स्पार्स वितरित प्रतिनिधित्व" की शर्तों को पूरा करने में मदद करती है, न कि एक ही समय में पूरे नेटवर्क को प्रभावित करने वाले नियमों द्वारा। मान लें कि यह अधिक जैविक रूप से प्रशंसनीय है। यदि हम मानते हैं कि स्थायी मेमोरी पैटर्न सीखने के दौरान, न्यूरॉन सक्रिय हो जाता है, और इस बात का ध्यान रखें कि एक साथ दो सक्रिय न्यूरॉन एक दूसरे को प्लग करने की कोशिश करें। वह सक्रिय पड़ोसी हमारे अशिक्षित न्यूरॉन को संकेत देता है कि "लड़का, मैं तुमसे बेहतर जानता हूं कि अब क्या हो रहा है, एक अलग स्थिति में अपना पैटर्न निर्धारित करो।"

यह एक तंत्र है जो न्यूरॉन्स को स्थायी स्मृति को ट्रिगर करने के लिए अपने लिए अलग-अलग पैटर्न चुनने का कारण बनता है, और यह न्यूरॉन के अंदर स्थित है। न्यूरॉन्स एक-दूसरे को स्वयं समझते हैं, आपको बाहरी ग्रूपर का उपयोग करने की आवश्यकता नहीं है।

एक निरंतर और साहचर्य स्मृति, साथ ही प्रेरक, अधिकृत और भावनात्मक आदानों के साथ एक न्यूरॉन।

^{जब आपने कुछ ऐसा किया है जो आपके सामने किसी ने नहीं किया है, तो लोग इस बात की सराहना नहीं कर पा रहे हैं कि यह कितना मुश्किल था।}
यह विधि प्रेरक, अधिकृत और भावनात्मक आदान-प्रदान के अलावा प्रत्येक न्यूरॉन के सभी आदानों के बीच उपस्थिति को मानती है। इसके अलावा, यह अनोखिन के कार्यात्मक प्रणालियों के सिद्धांत और सिमोनोव की भावनाओं के सिद्धांत पर आधारित है।

मैंने खुद अभी तक पूरी तरह से विधि को नहीं समझा है, लेकिन मैं निम्नलिखित चीजों को सुरक्षित रूप से कह सकता हूं। निरंतर और साहचर्य स्मृति के अलावा, प्रेरणा एक न्यूरॉन को भी सक्रिय कर सकती है। प्रेरक, अधिकृत और भावनात्मक आदानों का उपयोग बाहरी नियंत्रण और न्यूरॉन गतिविधि के मूल्यांकन के रूप में किया जाता है। न्यूरॉन का कार्य जिससे वह सीखता है और काम करता है, उसे "सिमेंटिक प्रोबेबिलिस्टिक निष्कर्ष" कहा जाता है। और वहाँ इनपुट की "दयनीय" योग की कोई बात नहीं है। यह तंत्रिका नेटवर्क डेटा नहीं निकालता है, यह अपनी भावनात्मक जरूरतों को पूरा करने की समस्या से निपटता है। यह स्वयं तंत्रिका नेटवर्क और उस वातावरण दोनों के साथ अनुकरण करना आवश्यक है जिसके साथ यह जुड़ा हुआ है। तंत्रिका नेटवर्क के आउटपुट को हमारे आस-पास की दुनिया को प्रभावित करना चाहिए, अन्यथा इसके कामकाज से कोई धुलाई नहीं होगी।

बाहरी पर्यवेक्षक के दृष्टिकोण से, वर्तमान में प्रमुख भावना के लिए शब्दार्थ संभाव्य निष्कर्ष को तंत्रिका नेटवर्क की मदद से भावना की अनुमानित संतुष्टि की सच्चाई की गणना के रूप में माना जा सकता है जो पर्यावरण के विचार को दर्शाता है। ग्रहणशील क्षेत्र से तंत्रिका नेटवर्क के आउटपुट तक, एक लाइटनिंग सिग्नल कम से कम प्रतिरोध के मार्ग से गुजरता है (वास्तव में, पथ में सबसे अधिक संभावनाएं होती हैं), और भावनाएं, प्रतिबंध और प्रेरणा वे कुंजी हैं जो बिजली गिरने से बचने के लिए या न्यूरॉन न्यूरॉन्स को अनुमति देती हैं।



शब्दार्थ प्रायिकतात्मक अंतर्विरोध तार्किक विक्षेप से भिन्न होता है कि प्रत्येक न्यूरॉन एक निष्कासन का नियम है जो कुछ संभाव्यता के साथ मान्य है और पर्यावरण को देखते हुए प्राप्त किया जाता है, जबकि अनुमान के अनुसार, सभी अनुमान नियम कड़ाई से परिभाषित, बिल्कुल विश्वसनीय हैं, और उनकी संख्या अपरिवर्तित है।

यह पता चला है कि फजी लॉजिक फजी लॉजिक पर ड्राइव करता है, और यहां तक ​​कि संभावना के साथ इसे ड्राइव करता है। तंत्रिका नेटवर्क के संचालन का एक उदाहरण इस प्रकार भी वर्णित किया जा सकता है। यदि हम वास्तव में जंगल से अपने घर जाना चाहते हैं, तो हम दोहन करते हैं (हम वापसी के संभावित नियमों का उपयोग करते हैं) या तो एक गाय या एक घोड़ा, और हम (संभावित परिणाम) या तो किराए के अपार्टमेंट में या अपनी दादी के पास जाते हैं। इस स्थिति में वास्तविकता (संभावित) के निकटतम विकल्प हमारे दृष्टिकोण से जीतता है।

मैं इस पद्धति में भावनाओं, प्रतिबंधों और प्रेरणाओं के काम का वर्णन नहीं करूंगा, क्योंकि मैं खुद अभी भी इसे समझ नहीं पाया हूं, और यह बहुत अधिक जगह लेगा। यहाँ ज्ञान की अपनी प्यास बुझाओ।
www.math.nsc.ru/AP/ScientificDiscovery/PDF/principals_anokhin_simonov.pdf

तंत्रिका नेटवर्क के साथ काम करने के अन्य "आधुनिक" तरीके

^{यह किसी की अपनी कीमत जानने के लिए पर्याप्त नहीं है, अभी भी मांग में होना चाहिए।}
तंत्रिका नेटवर्क में टोपोलॉजी के प्रभावी विकास की विधि एक विकासवादी एल्गोरिथ्म के साथ एक ही विधि है, केवल एक तंत्रिका नेटवर्क की टोपोलॉजी के लिए। सिद्धांत रूप में, विकासवादी एल्गोरिथ्म हाल ही में एक प्रकार का जीवन रक्षक बन गया है। यदि आपके पास अपनी वैज्ञानिक गतिविधि के क्षेत्र में कोई विचार नहीं है, तो विकासवादी एल्गोरिथ्म, बीएएम, और आपकी जेब में "ब्रांड नई" वैज्ञानिक दिशा को लागू करना पर्याप्त है, अगर कोई स्मार्ट आपके बारे में नहीं सोचता है। एक सार्वभौमिक समस्या सॉल्वर मौजूद है, जो समस्या को विकसित करने के लिए पर्याप्त है।
http://nn.cs.utexas.edu/downloads/papers/stanley.cec02.pdf

विकासवादी एल्गोरिथ्म का उपयोग करने का एक और तरीका यह है कि इसे एक तंत्रिका नेटवर्क में मशीन लर्निंग एल्गोरिदम के साथ बदल दिया जाए। अनिवार्य रूप से नया कुछ भी नहीं है, पिछले एक की तुलना में अधिक तुच्छ विधि। एक लिंक का संकेत योग्य नहीं है।

साहित्य

^{चुप रहना बेहतर है और अपना मुंह खोलने की तुलना में एक मूर्ख की तरह प्रतीत होता है और अंत में संदेह को दूर करता है।
मौलिकता अपने स्रोतों को छिपाने की कला है।}

• पदानुक्रमित टेम्पोरल मेमोरी (HTM) और इसके कॉर्टिकल लर्निंग एल्गोरिदम https://www.groksolutions.com/htm-overview/education/HTM_CorticalLearningAl एल्गोरिदम_ ru.pdf
• असिंक्रोनस पीयर-टू-पीयर डेटा माइनिंग विथ ग्रैडिएंट डिसेंट http://www.inf.u-szeged.hu/~ormandi/pretations/europar2011.pdf
• वाइटेव ई.ई. मस्तिष्क के सिद्धांत कार्यात्मक प्रणालियों के सिद्धांत में निहित पी.के. अनोखिन और भावनाओं का सिद्धांत पी.वी. सिमोनोवा http://www.math.nsc.ru/AP/ScientificDiscovery/PDF/principals_anokhin_simonov.pdf
• ज़ादानोव ए.ए. स्वायत्त कृत्रिम बुद्धि। एम।: बीनोम। ज्ञान की प्रयोगशाला, 2008।