तंत्रिका नेटवर्क मॉडलिंग बोल्ट्जमैन मशीन

प्रिय अभिमानी, मैंने अपने छात्र वर्षों में किए गए बोल्ट्जमैन मशीन न्यूरल नेटवर्क के अध्ययन में अपनी उपलब्धियों को आपके साथ साझा करने का निर्णय लिया।

रूस में, इस विषय पर बहुत कम जानकारी थी। यहां तक ​​कि हमारे विभाग के प्रमुख भी सामग्री के साथ मेरी मदद नहीं कर सकते थे। सौभाग्य से, हमारे विश्वविद्यालय में एक एकल अंतर्राष्ट्रीय आधार शामिल था, और विदेशी अनुभव का लाभ उठाने का अवसर था। विशेष रूप से, ऑक्सफोर्ड विश्वविद्यालय के साहित्य में सबसे अधिक पाए गए। वास्तव में, यह लेख विभिन्न स्रोतों से जानकारी का एक संग्रह है, जिसे काफी समझ से प्रस्तुत किया गया है और इसे प्रस्तुत किया गया है, यह मुझे लगता है। मुझे उम्मीद है कि किसी को दिलचस्पी होगी। एक बार इसने मुझे रात भर जगाए रखा।
तो चलिए शुरू करते हैं।

हॉपफील्ड नेटवर्क

कृत्रिम तंत्रिका नेटवर्क (NS) के विभिन्न विन्यासों में, ऐसे हैं जिनका वर्गीकरण, सीखने के सिद्धांत के अनुसार, कड़ाई से बोलना, शिक्षक के साथ सीखने के अनुरूप नहीं है [1] या शिक्षक के बिना सीखना [२]। इस तरह के नेटवर्क में, सिंटैप्स वेट की गणना केवल एक बार की जाती है, जब नेटवर्क संसाधित होने वाले डेटा के बारे में जानकारी के आधार पर काम करना शुरू करता है, और सभी नेटवर्क प्रशिक्षण इस गणना में नीचे आते हैं। एक ओर, प्राथमिक जानकारी की प्रस्तुति को शिक्षक की सहायता के रूप में माना जा सकता है, लेकिन दूसरी ओर, नेटवर्क वास्तव में अपने इनपुट पर आने से पहले नमूने को केवल याद रखता है, और अपने व्यवहार को बदल नहीं सकता है, इसलिए "दुनिया" के लिए फीडबैक लिंक के बारे में बात करें। ”(शिक्षक) आवश्यक नहीं है। समान कार्य तर्क वाले नेटवर्क में, सबसे प्रसिद्ध हॉपफील्ड नेटवर्क हैं, जो आमतौर पर साहचर्य स्मृति को व्यवस्थित करने के लिए उपयोग किया जाता है। हम इस पर विचार करेंगे।
हॉपफील्ड नेटवर्क का ब्लॉक आरेख नीचे दिए गए आंकड़े में दिखाया गया है। इसमें न्यूरॉन्स की एक परत होती है, जिसकी संख्या नेटवर्क के इनपुट और आउटपुट की संख्या एक साथ होती है। प्रत्येक न्यूरॉन सभी अन्य न्यूरॉन्स के लिए सिंकैप्स द्वारा जुड़ा होता है, और इसमें एक इनपुट सिंकैप भी होता है जिसके माध्यम से सिग्नल इनपुट होता है। आउटपुट सिग्नल, हमेशा की तरह, अक्षतंतु पर बनते हैं।



इस नेटवर्क द्वारा साहचर्य स्मृति के रूप में हल की गई समस्या, एक नियम के रूप में, निम्नानुसार तैयार की गई है। बाइनरी सिग्नल का एक निश्चित सेट ज्ञात है (चित्र, ध्वनि डिजिटलीकरण, कुछ वस्तुओं या प्रक्रिया विशेषताओं का वर्णन करने वाले अन्य डेटा), जिन्हें अनुकरणीय माना जाता है। नेटवर्क को अपने इनपुट पर लागू होने वाले मनमाने गैर-आदर्श सिग्नल से संबंधित नमूने (यदि कोई हो तो) (यदि कोई हो तो) का चयन करने में सक्षम होना चाहिए ("कोई निष्कर्ष दें") कि इनपुट डेटा किसी भी नमूने के अनुरूप नहीं है। सामान्य स्थिति में, वेक्टर X = {xi: i = 0 ... n-1} द्वारा किसी भी संकेत का वर्णन किया जा सकता है, n नेटवर्क में न्यूरॉन्स की संख्या और इनपुट और आउटपुट वैक्टर का आयाम है। प्रत्येक xi तत्व +1 या -1 है। हम Xk द्वारा kth नमूने का वर्णन करने वाले वेक्टर को निरूपित करते हैं, और इसके घटक, क्रमशः xik, k = 0 ... m-1, m नमूनों की संख्या है। जब नेटवर्क पहचानता है (या "याद करता है") उसके द्वारा प्रस्तुत किए गए डेटा के आधार पर कोई भी पैटर्न, उसके आउटपुट में यह होगा, यानी Y = Xk, जहां Y नेटवर्क आउटपुट मानों का वेक्टर है: Y = {yi: i = 0,। ..n-1}। अन्यथा, आउटपुट वेक्टर किसी भी अनुकरणीय से मेल नहीं खाता है।
यदि, उदाहरण के लिए, सिग्नल छवियां हैं, तो नेटवर्क आउटपुट से डेटा को रेखांकन करके, आप एक ऐसी तस्वीर देख सकते हैं जो पूरी तरह से एक अनुकरणीय (यदि सफल) या नेटवर्क के "मुफ्त कामचलाऊ" (यदि सफल हो) से मेल खाती है।

नेटवर्क के प्रारंभिक चरण में, सिनेप्स के भारांक गुणांक निम्नानुसार निर्धारित किए जाते हैं: [३] [४]:
(1)
यहाँ मैं और j क्रमशः सूचक हैं, प्रीसानेप्टिक और पोस्टसिनेप्टिक न्यूरॉन्स के; xik, xjk - k-th पैटर्न के वेक्टर के i-th और j-th तत्व।
नेटवर्क कामकाज एल्गोरिथ्म निम्नानुसार है (पी पुनरावृत्ति संख्या है):
1. एक अज्ञात सिग्नल को नेटवर्क इनपुट्स को आपूर्ति की जाती है। वास्तव में, इसका इनपुट अक्षतंतु मानों को सीधे सेट करके किया जाता है:
यी (0) = xi, i = ० ... एन -१ (२)
इसलिए, स्पष्ट रूप में इनपुट synapses के नेटवर्क आरेख पर पदनाम विशुद्ध रूप से सशर्त है। वाई के दाईं ओर ब्रैकेट में एक शून्य का अर्थ है नेटवर्क चक्र में शून्य पुनरावृत्ति।
2. न्यूरॉन्स की नई स्थिति की गणना की जाती है
(3)
और नए अक्षतंतु मान
(4)


अंजीर। 4 सक्रियण कार्य
जहां च कूदने के रूप में सक्रियण कार्य है, आकृति में दिखाया गया है (4)

3. यह जांचें कि आउटपुट अक्षतंतु मान अंतिम पुनरावृत्ति के दौरान बदल गए हैं या नहीं। यदि हां, तो चरण 2 पर जाएं, अन्यथा (यदि आउटपुट स्थिर हो गया है) - अंत। इस मामले में, आउटपुट वेक्टर एक नमूना है जो इनपुट डेटा के साथ सबसे अच्छा संयुक्त है।
जैसा कि ऊपर उल्लेख किया गया है, कभी-कभी नेटवर्क मान्यता नहीं दे सकता है और आउटपुट पर एक गैर-मौजूद छवि बनाता है। यह नेटवर्क सीमाओं की समस्या के कारण है। एक हॉपफील्ड नेटवर्क के लिए, मी इमेजेड इमेज की संख्या लगभग 0.15 • n के बराबर मान से अधिक नहीं होनी चाहिए। इसके अलावा, यदि दो चित्र A और B बहुत समान हैं, तो वे संभवतः नेटवर्क में क्रॉस-एसोसिएशन का कारण बनेंगे, अर्थात, वेक्टर को नेटवर्क इनपुट पर प्रस्तुत करने से वेक्टर B उसके आउटपुट पर दिखाई देगा और इसके विपरीत।
इसके अलावा, नेटवर्क के कामकाज को पूरी तरह से समझने के लिए, हेब नियम का उल्लेख करना आवश्यक है।
होपफील्ड नेटवर्क के लिए सीखने का नियम डोनाल्ड हेब्ब (डी.एच.बी.बी., 1949) के शोध पर आधारित है, जिन्होंने सुझाव दिया था कि दोनों न्यूरॉन्स को जोड़ने वाले सिनैप्टिक कनेक्शन को मजबूत किया जाएगा यदि दोनों न्यूरॉन्स सीखने की प्रक्रिया में उत्तेजना या निषेध में साथ हों। एक सरल एल्गोरिथ्म जो इस तरह के शिक्षण तंत्र को लागू करता है, उसे हेब नियम कहा जाता है। आइए इस पर विस्तार से विचार करें।

चलो चित्रों का एक प्रशिक्षण नमूना दिया जाए, एक = 1. पी। कनेक्शन डब्ल्यू के मैट्रिक्स को प्राप्त करने की प्रक्रिया का निर्माण करना आवश्यक है, जैसे कि संबंधित तंत्रिका नेटवर्क में स्थिर राज्यों के रूप में निर्धारित प्रशिक्षण की छवियां होंगी (न्यूरॉन्स टी के थ्रेसहोल्ड के मान आमतौर पर शून्य माना जाता है)।
एक प्रशिक्षण छवि के मामले में, हेब नियम आवश्यक मैट्रिक्स की ओर जाता है:
विज = ξi * (j (5)
हम दिखाते हैं कि संकेतित मैट्रिक्स के साथ हॉप एस नेटवर्क के लिए राज्य एस = एक्स स्थिर है। वास्तव में, न्यूरॉन्स i और j के किसी भी जोड़े के लिए, राज्य एक्स में उनकी बातचीत की ऊर्जा इसके न्यूनतम संभव मूल्य तक पहुंचती है।
ईज = - (1/2) xi xj xi xj = -1/2। (6)
इसके अलावा, ई - कुल ऊर्जा ई = - (1/2) एन 2 के बराबर है, जो वैश्विक न्यूनतम से मेल खाती है।
अन्य छवियों को याद रखने के लिए एक पुनरावृत्त प्रक्रिया का उपयोग किया जा सकता है:
Wij (a) = Wij (a-1) + ai (a) + (j (a), W (0) = 0, a = 1..p (7)
जो हेब्ब रूप में कनेक्शन के पूर्ण मैट्रिक्स की ओर जाता है:
(8)
छवियों की समग्रता की स्थिरता उतनी स्पष्ट नहीं है जितनी कि एक छवि के मामले में। कई अध्ययनों से पता चलता है कि हेब नियम के अनुसार प्रशिक्षित एक तंत्रिका नेटवर्क, औसतन, नेटवर्क एन के बड़े आकार के साथ, पी »0.14 एन विभिन्न छवियों से अधिक नहीं स्टोर कर सकता है। जब ऑर्थोगोनल छवियों के एक सेट के लिए स्थिरता दिखाई जा सकती है
(9)
इस स्थिति में, प्रत्येक राज्य xa के लिए, उसकी गतिविधि Si = xia के मान से ith न्यूरॉन हाय के कुल इनपुट का उत्पाद सकारात्मक निकलता है, इसलिए राज्य xa ही एक आकर्षण स्थिति (स्थिर आकर्षण) है:
(10)
इस प्रकार, हेब नियम अपेक्षाकृत कुछ ऑर्थोगोनल छवियों के एक सेट पर हॉपफील्ड नेटवर्क की स्थिरता सुनिश्चित करता है।

तुल्यकालिक और अतुल्यकालिक सक्रियण विकल्प

एक निश्चित वजन मैट्रिक्स के साथ समय के साथ नेटवर्क व्यवहार पर विचार करें। फिलहाल t = 0 पर हम स्टेट वेक्टर को कुछ वैल्यू देते हैं। आगे नेटवर्क संचालन के लिए दो विकल्प हैं: सिंक्रोनस और एसिंक्रोनस। कार्य का तुल्यकालिक संस्करण यह है कि सभी न्यूरॉन्स समय-समय पर नेटवर्क की स्थिति के अनुसार समय टी + 1 पर अपनी स्थिति बदलते हैं। समय t + 1 पर एसिंक्रोनस ऑपरेशन के मामले में, केवल एक न्यूरॉन अपना राज्य बदलता है, समय t + 2 कुछ अन्य न्यूरॉन नेटवर्क टी की स्थिति के अनुसार t + 1, आदि। (हर बार एक न्यूरॉन को बेतरतीब ढंग से चुना जाता है)। किसी भी स्थिति में, समय के साथ, नेटवर्क किसी तरह अपनी स्थिति बदल देता है। यह तर्क दिया जाता है कि, वेट मैट्रिक्स पर हमारे द्वारा लगाई गई शर्तों के तहत, कुछ स्थिर समय के बाद, नेटवर्क स्थिर स्थिति में आ जाएगा। यह भी दावा किया जाता है कि यह स्थिर अवस्था एस हासिल की है और न्यूरॉन्स के तुल्यकालन की परवाह किए बिना एक और एक ही है।

बोल्ट्ज़मन मशीनें (संभाव्य नेटवर्क)

हॉपफील्ड नेटवर्क की मुख्य कमियों में से एक वैश्विक न्यूनतम के बजाय स्थानीय स्तर पर आउटपुट सिग्नल को "स्थिर" करना है। यह वांछनीय है कि नेटवर्क उथले वाले की तुलना में अधिक बार गहरी मिनिमा पाता है, और यह कि नेटवर्क की दो अलग-अलग मिनिमाओं में से एक में बढ़ने की सापेक्ष संभावना केवल उनकी गहराई के अनुपात पर निर्भर करती है। यह बॉन्ड वेट को संशोधित करके सिस्टम की ऊर्जा सतह की प्रोफाइल को बदलकर विशिष्ट आउटपुट वैक्टर प्राप्त करने की संभावनाओं को नियंत्रित करने की अनुमति देगा।
स्थानीय मिनीमा से बाहर निकलने और गहरी मिनिमा में गिरने की संभावना को बढ़ाने के लिए "थर्मल शोर" का उपयोग करने का विचार एस किरकिरीक का है। इस विचार के आधार पर, एक एनीलिंग सिमुलेशन एल्गोरिदम विकसित किया गया है।
हम कुछ पैरामीटर टी, थर्मल शोर स्तर का एक एनालॉग पेश करते हैं। तब कुछ न्यूरॉन k की गतिविधि संभाव्यता का निर्धारण बोल्ट्जमैन प्रायिकता फ़ंक्शन के आधार पर किया जाता है:
Pk = 1 / (1 + exp (-Ek / t)) (11)
जहां टी नेटवर्क में थर्मल शोर स्तर है; एक, वर्तमान में सक्रिय न्यूरॉन्स के साथ के-वें न्यूरॉन के कनेक्शनों के भार का योग है। K-th न्यूरॉन की गतिविधि की संभावना में परिवर्तन का वक्र चित्र 5 में दिखाया गया है। टी के कम होने के साथ, न्यूरॉन की गतिविधि में उतार-चढ़ाव में कमी; t = 0 पर, वक्र दहलीज बन जाता है।

पैरामीटर टी के आधार पर न्यूरॉन गतिविधि की संभावना में बदलाव।
सांख्यिकीविद ऐसे नेटवर्क को यादृच्छिक मार्कोव क्षेत्र कहते हैं। प्रशिक्षण के लिए एनेलिंग सिमुलेशन एल्गोरिथ्म का उपयोग करने वाले नेटवर्क को ऑस्ट्रियाई भौतिक विज्ञानी एल। बोल्ट्जमान के सम्मान में बोल्ट्जमैन मशीन कहा जाता है, जो सांख्यिकीय यांत्रिकी के रचनाकारों में से एक है। आइए हम एक संभाव्य नेटवर्क सीखने की समस्या का निर्माण करते हैं जिसमें न्यूरॉन गतिविधि की संभावना सूत्र (11) द्वारा गणना की जाती है। मान लीजिए कि संभव इनपुट वैक्टर के प्रत्येक सेट के लिए एक निश्चित संभावना सभी वैध आउटपुट वैक्टर के साथ प्राप्त करना आवश्यक है। ज्यादातर मामलों में, यह संभावना शून्य के करीब है। बोल्ट्जमैन मशीन के लिए प्रशिक्षण प्रक्रिया निम्नलिखित बारीक चरणों में आती है:
1) नेटवर्क इनपुट के लिए एक इनपुट वेक्टर जमा करें और आउटपुट को ठीक करें (जैसा कि शिक्षक के साथ सीखने की प्रक्रिया में है)। थर्मल संतुलन की स्थिति के लिए अवसर के साथ नेटवर्क प्रदान करने के लिए:
a) प्रायिकता pk (सूत्र देखें (7.2)) एक मान (सक्रिय न्यूरॉन) और 1-pk की संभावना के साथ प्रत्येक न्यूरॉन की स्थिति को असाइन करें - शून्य (निष्क्रिय न्यूरॉन);
बी) पैरामीटर टी को कम करें, एक पर जाएं)।
हेब्ब नियम के अनुसार, सक्रिय न्यूरॉन्स के बीच संबंध के वजन को b से बढ़ाएं। प्रशिक्षण सेट के सभी जोड़े वैक्टर के लिए इन चरणों को दोहराएं।
2) आउटपुट वेक्टर को ठीक किए बिना नेटवर्क इनपुट के लिए एक इनपुट वेक्टर सबमिट करें। चरणों को दोहराएं ए), बी)। सक्रिय न्यूरॉन्स के बीच कनेक्शन के वजन को the से कम करें।
एक निश्चित प्रशिक्षण कदम पर दो मनमाने ढंग से लिए गए न्यूरॉन्स के बीच संबंध के परिणाम में परिवर्तन 1 और 2 चरणों में इन न्यूरॉन्स की गतिविधि की संभावनाओं के बीच अंतर के अनुपातिक होगा। चरण 1 और 2 को दोहराते हुए, यह अंतर शून्य हो जाता है।
प्रशिक्षण की दूसरी विधि - एक शिक्षक के बिना प्रशिक्षण - वजन के मैट्रिक्स में गुणांक की प्रारंभिक गणना में शामिल है। ये गणनाएँ हल की जा रही समस्याओं की प्रारंभिक जानकारी पर आधारित हैं।

दोस्तों, यह सब है कि मैं अपने स्टोररूम में याद करने और खोजने में कामयाब रहा।
अगले लेख में मैं इस मुद्दे के पहले से लागू पहलू का वर्णन करना चाहता हूँ, अर्थात् बोल्ट्जमैन मशीन एल्गोरिथ्म का उपयोग करके एक कार्यक्रम का विकास। समाधान यात्रा विक्रेता समस्या पर होगा।
ध्यान देने के लिए आप सभी का धन्यवाद।
मैं वास्तव में टिप्पणियों और सवालों के लिए तत्पर हूं।