एक सीमित बोल्ट्जमान मशीन का उपयोग करके तंत्रिका नेटवर्क प्रशिक्षण

नमस्कार। जैसा कि सीमित बोल्ट्जमान मशीनों के बारे में अंतिम पोस्ट में योजना बनाई गई है, यह एक सामान्य बहुपरत प्रत्यक्ष वितरण नेटवर्क के पूर्व प्रशिक्षण के लिए आरबीएम के उपयोग पर चर्चा करेगा। इस तरह के नेटवर्क को आमतौर पर त्रुटि वापस प्रसार एल्गोरिथ्म द्वारा प्रशिक्षित किया जाता है , जो कई मापदंडों पर निर्भर करता है, और अब तक इन बहुत ही प्रशिक्षण मापदंडों, साथ ही साथ इष्टतम नेटवर्क आर्किटेक्चर को चुनने के लिए कोई सटीक एल्गोरिदम नहीं है। खोज स्थान को कम करने के लिए कई अनुमान विकसित किए गए हैं, साथ ही चयनित मापदंडों की गुणवत्ता का आकलन करने के तरीके (उदाहरण के लिए, क्रॉस-सत्यापन )। इसके अलावा, यह पता चला है कि backpropagation एल्गोरिथ्म ही इतना अच्छा नहीं है। हालांकि रोमेलहार्ट, हिंटन और विलियम्स ने बैकप्रॉपैजेशन एल्गोरिदम का अभिसरण दिखाया (यहाँ अभिसरण का गणितीय प्रमाण भी अधिक है ), एक मामूली बारीकियाँ है: एल्गोरिथ्म वज़न में असीम रूप से छोटे बदलावों के साथ परिवर्तित होता है (यानी, एक सीखने की गति को शून्य तक ले जाने के साथ)। और यहां तक ​​कि यह सब नहीं है। एक नियम के रूप में, एक या दो छिपी हुई परतों के साथ छोटे नेटवर्क को इस एल्गोरिथ्म के साथ प्रशिक्षित किया जाता है कि तथ्य यह है कि सीखने का प्रभाव दूर परतों तक नहीं पहुंचता है। अगला, हम इस बारे में अधिक विस्तार से बात करेंगे कि यह क्यों नहीं पहुंचता है , और प्रशिक्षित आरबीएम का उपयोग करके तराजू को शुरू करने की तकनीक लागू करता है, जिसे जेफरी हिंटन द्वारा विकसित किया गया था।

वजन में परिवर्तन की वृद्धि और विस्फोटक वृद्धि

सबसे पहले, हम समान दिखने वाले ग्राफिक्स देखें।



वे पूरा प्रशिक्षण युग (एब्सिस्सा अक्ष) पर परत ( औसत अक्ष) में औसत वजन परिवर्तन की निर्भरता को दर्शाते हैं। हमने निम्नलिखित संरचना के एक नेटवर्क का अध्ययन किया: छह परतें, 100 न्यूरॉन्स द्वारा छिपाए गए 5 और 26 न्यूरॉन्स का उत्पादन (कक्षाओं की संख्या, या अंग्रेजी वर्णमाला में अक्षर)।

इनपुट आयाम = 841	परत -5	परत -4	परत -3	परत -2	परत -1	उत्पादन
	100 न्यूरॉन्स	100 न्यूरॉन्स	100 न्यूरॉन्स	100 न्यूरॉन्स	100 न्यूरॉन्स	26 न्यूरॉन्स

जैसा कि आप देख सकते हैं, डायनेमिक्स मूल रूप से समान हैं, लेकिन आउटपुट लेयर में भार में न्यूनतम औसत परिवर्तन उसी क्रम का है जो तीसरी छिपी हुई परत में अधिकतम है, और दूर की परतों में भी कम है। इस मामले में, हम ढाल क्षीणन का निरीक्षण करते हैं, और विपरीत तस्वीर को "विस्फोटक ढाल वृद्धि" कहा जाता है (अंग्रेजी साहित्य में इसे "लुप्त और विस्फोट करने वाले ग्रेडिएंट" कहा जाता है) इस प्रभाव को देखने के लिए, यह बड़े मूल्यों के साथ खरपतवार को प्रारंभिक करने के लिए पर्याप्त है। गणित को समझने के लिए, मैं आपको इन लेखों को उदाहरण के लिए संदर्भित करने की सलाह देता हूं:

• गहरे फीडफॉर्वर्ड न्यूरल नेटवर्क को प्रशिक्षित करने के विभिन्न पहलुओं को समझना
• विस्फोट ढाल की समस्या को समझना

और अब हम कर्सर पर तंत्रिका नेटवर्क पर पाठ्यक्रम में कैसे प्रस्तुत किया गया था, इस आधार पर इस घटना के कारणों का पता लगाने की कोशिश करेंगे। तो, तंत्रिका नेटवर्क के माध्यम से एक सीधा संकेत मार्ग क्या है? प्रत्येक परत पर, परत के इनपुट संकेत के एक रेखीय संयोजन और प्रत्येक न्यूरॉन के वजन की गणना की जाती है, परिणाम प्रत्येक न्यूरॉन में एक स्केलर होता है, और फिर सक्रियण फ़ंक्शन के मूल्य की गणना की जाती है। एक नियम के रूप में, सक्रियण फ़ंक्शन, जिसकी हमें आवश्यकता है, गैर-नियतता के अलावा, न्यूरॉन्स के उत्पादन मूल्यों को सीमित करने में मदद करता है, लेकिन हम केवल एक सामान्य सक्रियण फ़ंक्शन पर विचार करेंगे। इस प्रकार, आउटपुट एक वेक्टर है, जिसका प्रत्येक घटक पूर्व निर्धारित सीमा के भीतर है।



अब आइए वापसी मार्ग को देखें। आउटपुट लेयर पर ग्रेडिएंट की आसानी से गणना की जाती है और आउटपुट लेयर के न्यूरॉन्स के वज़न में महत्वपूर्ण परिवर्तन प्राप्त होते हैं। किसी भी छिपी हुई परत के लिए, ढाल गणना सूत्र को याद करें :



यदि हम अभिव्यक्ति dE / dz को प्रतिस्थापित करते हैं, जहाँ k, डेल्टा द्वारा शामिल है,



हम देखेंगे कि वापसी मार्ग सीधे एक के समान है, लेकिन यह पूरी तरह से रैखिक है, जिसमें सभी आगामी परिणाम हैं। डेल्टा को स्थानीय ढाल / न्यूरॉन त्रुटि कहा जाता है। पिछड़े मार्ग के साथ, डेल्टा की व्याख्या इसी न्यूरॉन्स के निकास (दूसरी तरफ) के रूप में की जा सकती है। गहरी परत के न्यूरॉन वजन ढाल का मूल्य एक प्रत्यक्ष मार्ग में प्राप्त बिंदु पर सक्रियण समारोह के व्युत्पन्न के मूल्य के लिए आनुपातिक है। एक बिंदु पर व्युत्पन्न की ज्यामितीय परिभाषा को याद करें:



x0 की गणना एक सीधे पास में की जाती है। ऊपर की तस्वीर में ये लाल रेखाएं हैं। और यह पता चला है कि वजन और न्यूरॉन्स के स्थानीय ग्रेडिएंट्स के रैखिक संयोजन को इस मूल्य से गुणा किया जाता है, जो कि x0 पर स्पर्शरेखा के झुकाव के कोण के स्पर्शरेखा है, और स्पर्शरेखा मूल्यों की सीमा, जैसा कि आप जानते हैं, माइनस इन्फिनिटी से प्लस इन्फिनिटी तक की सीमा में है।



छिपी हुई परत के एक न्यूरॉन के लिए वापसी पास निम्नानुसार है:



परिणामस्वरूप हमारे पास क्या है:

• यदि वजन बहुत बड़ा हो या एक बिंदु पर व्युत्पन्न का मूल्य बहुत बड़ा हो तो विस्फोटक वृद्धि हो सकती है
• क्षीणन तब होता है जब बिंदु पर संतुलन या व्युत्पन्न का मूल्य बहुत छोटा होता है

एक नियम के रूप में, उथले नेटवर्क परतों की इस वजह से पीड़ित नहीं होते हैं, क्योंकि प्रभाव के पास रिटर्न पास के दौरान जमा होने का समय नहीं है (हम अगले अनुभाग में संचय उदाहरण पर विचार करेंगे)।

यदि, हालांकि, एक सिग्मॉइड का उपयोग सक्रियण फ़ंक्शन के रूप में किया जाता है



निम्नलिखित फॉर्म के व्युत्पन्न के साथ:



फिर α = 1 के लिए हम आसानी से सत्यापित कर सकते हैं कि व्युत्पन्न पहुंच अधिकतम मान बिंदु x = 0.5 पर 0.25 है, और बिंदु x = 0 और x = 1 पर न्यूनतम 0 है (0 से 1 की सीमा में, लॉजिस्टिक की सीमा) समारोह):



इसलिए, एक लॉजिस्टिक एक्टिवेशन फंक्शन वाले नेटवर्क के लिए, विस्फोटक वृद्धि और क्षीणन भार के मूल्य पर अधिक निर्भर होते हैं, हालांकि इस तथ्य के कारण स्थायी क्षीणन है कि स्पर्शरेखा कोण का सबसे अच्छा केवल 0.25 होगा, और ये मान, जैसा कि हम देखेंगे अगले भाग में, परत से परत तक गुणा करें:

• बहुत कम वजन पर, क्षीणन होता है
• पर्याप्त रूप से बड़े पैमाने पर - विकास के साथ

सरल उदाहरण है

पूर्वगामी को चित्रित करने के लिए, एक उदाहरण पर विचार करें।



एक साधारण नेटवर्क को देखते हुए, जो यूक्लिडियन दूरी के वर्ग को कम करता है, एक लॉजिस्टिक सक्रियण फ़ंक्शन के साथ, हम इनपुट छवि x = 1 और लक्ष्य t = 0.5 के लिए भार के ग्रेडिएंट्स को पाते हैं।

एक प्रत्यक्ष पास के बाद, हम प्रत्येक न्यूरॉन के आउटपुट मान प्राप्त करते हैं: 0.731058578630005, 0.188143725087062, 0.407022630083087, 0.307029145835665, 0.530159999190332। उन्हें y1, ..., y5 द्वारा निरूपित करें।

• 
• 
• 
• 
• 

जैसा कि आप देख सकते हैं, ढाल क्षीणन होता है। गणना के दौरान, यह ध्यान देने योग्य है कि संचय वजन और वर्तमान परत के डेरिवेटिव और उसके बाद के सभी के गुणन के कारण होता है। हालाँकि प्रारंभिक मूल्य छोटे से दूर हैं, इसकी तुलना में कि वज़न को अभ्यास में कैसे शुरू किया जाता है, लेकिन ये मान स्पर्शरेखा कोण के स्पर्शरेखा से स्थायी क्षीणन को दबाने के लिए पर्याप्त नहीं हैं।

Predobuchenie

जेफरी हिंटन द्वारा प्रस्तावित विधि के बारे में बात करने से पहले, यह तुरंत ध्यान देने योग्य है कि आज कोई औपचारिक गणितीय प्रमाण नहीं है कि भार के प्रारंभिक ठीक-ट्यूनिंग नेटवर्क की गुणवत्ता में सुधार की गारंटी देता है। इसलिए, हिंटन ने सीमित बोल्ट्जमान मशीनों का उपयोग करके तराजू को पूर्व-धुन करने के लिए सुझाव दिया । आरबीएम के बारे में पोस्ट में, हम केवल द्विआधारी इनपुट छवियों के बारे में बात करेंगे, हालांकि यह मॉडल वास्तविक संख्याओं से युक्त इनपुट छवियों तक फैला है ।

मान लें कि हमारे पास निम्न संरचना का प्रत्यक्ष वितरण नेटवर्क है: x1 -> x2 -> ... -> xn , जहां प्रत्येक xi परत में न्यूरॉन्स की संख्या है, xn आउटपुट परत है। इनपुट द्वारा खिलाए गए इनपुट छवि के आयाम को x0 से निरूपित करें, अर्थात्। प्रति परत X1 हमारे पास प्रशिक्षण के लिए डेटा की एक सरणी है, डेटा (D0 द्वारा चिह्नित) प्रकार के जोड़े हैं "इनपुट, अपेक्षित आउटपुट", और हम त्रुटि बैक प्रचार एल्गोरिदम का उपयोग करके नेटवर्क को प्रशिक्षित करना चाहते हैं। लेकिन इससे पहले, हम इसके लिए तराजू की एक पतली शुरूआत करेंगे:

• हम क्रमिक रूप से डमी लेयर x0 सहित परतों की प्रत्येक लगातार जोड़ी के लिए एक RBM को प्रशिक्षित करेंगे, परिणामस्वरूप, हमें RBM के बिल्कुल n टुकड़े मिलते हैं। सबसे पहले, हम पहली जोड़ी x0 <-> x1 लेते हैं, यह D0 से इनपुट छवियों के सेट पर सीखता है (यह एक शिक्षक के बिना सीख रहा है)। फिर, D0 से प्रत्येक इनपुट छवि के लिए, छिपी हुई परत और नमूने की संभावनाएं प्राप्त होती हैं, हम बाइनरी वैक्टर 1 का सेट प्राप्त करते हैं। फिर, डी 1 का उपयोग करते हुए, जोड़ी x1 <-> x2 प्रशिक्षित किया जाता है। और इसलिए जब तक x{n-1} <-> xn ।
• हम प्रत्येक आरबीएम को अलग करते हैं, और दूसरी परतों को अपने वजन के साथ लेते हैं।
• प्रत्येक RBM की चयनित दूसरी परतों से, हम प्रारंभिक नेटवर्क x1 -> x2 -> ... -> xn रचना करते हैं।

इस तरह के नेटवर्क को डीप विश्वास नेटवर्क कहा जाता था।

जैसा कि मैंने कहा, इस पद्धति की प्रभावशीलता साबित नहीं हुई है, साथ ही किसी भी सूक्ष्म आरंभीकरण की प्रभावशीलता भी है, लेकिन तथ्य यह है कि - यह काम करता है। इस आशय की व्याख्या इस प्रकार दी जा सकती है: पहले आरबीएम का प्रशिक्षण देते समय, हम एक मॉडल बनाते हैं जो दृश्य अवस्थाओं से कुछ छिपे हुए संकेत उत्पन्न करता है, अर्थात्, हम तुरंत इन संकेतों की गणना करने के लिए एक निश्चित न्यूनतम आवश्यक पर भार डालते हैं; प्रत्येक बाद की परत के साथ संकेतों के संकेत की गणना की जाती है, और इन पदानुक्रमित संकेतों की गणना करने के लिए वजन हमेशा एक राज्य में रखा जाता है; जब शिक्षक के साथ शिक्षण की बात आती है, तो वास्तव में, आउटपुट से केवल 2-3 परतों को प्रभावी ढंग से प्रशिक्षित किया जाएगा, उन हाइपर-संकेतों के आधार पर जिन्हें पहले गणना की गई थी, और जो बदले में, कार्य को खुश करने के लिए थोड़ा बदल जाएंगे। इससे हम यह मान सकते हैं कि इस तरह से सभी परतों को इनिशियलाइज़ करना आवश्यक नहीं है, लेकिन आउटपुट एक और संभवतः 1-2 छिपे हुए को आमतौर पर इनिशियलाइज़ किया जा सकता है, उदाहरण के लिए, 0 पर केंद्रित सामान्य डिस्ट्रीब्यूशन से नंबर चुनना और 0.01 के फैलाव के साथ।

स्रोत डेटा

इस पोस्ट में प्रयोग एक महत्वपूर्ण भूमिका निभाते हैं, इसलिए आपको प्रशिक्षण और परीक्षण मॉडल के लिए उपयोग किए जाने वाले सेट के बारे में तुरंत आरक्षण करना चाहिए। मैंने कई छोटे और आसान सेट तैयार किए, ताकि प्रशिक्षण नेटवर्क को 30 मिनट से अधिक समय न लगे।

• प्रशिक्षण सेट में अंग्रेजी वर्णमाला के तीन फोंट ( एरियल , कूरियर और टाइम्स में विभिन्न नस्लों के फॉन्ट के प्रतिनिधि के रूप में) के चित्र शामिल होते हैं, आकार में 29 गुणा 29 पिक्सेल, और कुछ यादृच्छिक शोर के साथ उनकी छवियां
• क्रॉस-वैलिडेशन सेट में फोंट का एक ही सेट, प्लस तहोमा और थोड़ा अधिक शोर होता है
• परीक्षण सेट में क्रॉस-सत्यापन एक के समान डेटा सेट शामिल हैं, यह केवल शोर पैदा करते समय यादृच्छिकता कारक में भिन्न होता है

सभी प्रयोगों में, प्रशिक्षण निम्न स्थिति (प्रत्यक्ष वितरण नेटवर्क और बोल्ट्ज़मन मशीनों के लिए प्रशिक्षण दोनों) के तहत बंद हो जाएगा। हम निम्नलिखित संकेतन प्रस्तुत करते हैं:

• वर्तमान युग की एक क्रॉस सत्यापन त्रुटि है
• पिछले युग में एक क्रॉस सत्यापन त्रुटि है
• - यह सीखने की प्रक्रिया की शुरुआत से वर्तमान युग तक प्राप्त न्यूनतम क्रॉस-सत्यापन त्रुटि है
• k अंतराल के दौरान क्रॉस-वेलिडेशन एरर बढ़ने पर स्टॉप पैरामीटर है (0, 1)

इसलिए, यदि निम्नलिखित शर्त पूरी हो जाती है, तो सीखने की प्रक्रिया बाधित हो जाएगी:

यानी यदि क्रॉस सत्यापन त्रुटि में वृद्धि न्यूनतम त्रुटि के प्रतिशत से अधिक है, तो एक स्टॉप होता है।

प्रत्यक्ष प्रसार नेटवर्क में, आउटपुट परत सॉफ्टमैक्स परत होगी , और पूरे नेटवर्क को क्रमशः क्रॉस एन्ट्रॉपी को कम करने के लिए प्रशिक्षित किया जाता है, त्रुटि मान की गणना उसी तरह से की जाती है। और सीमित बोल्ट्ज़मैन मशीनें बाइनरी इनपुट छवि और बाइनरी रिस्ट्रक्टेड इमेज के बीच हैमिंग दूरी का उपयोग त्रुटि के माप के रूप में करेंगी।

प्रयोगों

पहले, आइए देखें कि 100 न्यूरॉन्स की एक छिपी हुई परत के साथ एक नेटवर्क क्या परिणाम देता है, अर्थात्। इसकी संरचना 100 -> 26 । हम एक सीखने की त्रुटि और क्रॉस-मान्यता के साथ एक ग्राफ के साथ प्रत्येक सीखने की प्रक्रिया का वर्णन करते हैं।

प्रशिक्षण विकल्प:

• अधिगम = 0.001
• बैच = पूर्ण बैच
• नियमितीकरण करना = ०
• मोमेंटम = 0.9
• NeuronLocalGainLimit: सीमा = [0.1, 10]; बोनस = 0.05; जुर्माना = 0.95
• CrossValidationStopFactor 0.05 है

परीक्षण सेट पर परिणाम, प्रशिक्षण में लगभग 35 सेकंड लगे:
त्रुटि: 1.39354424678178
जीत: 312 का 231, 74.03%

यदि पूर्व-प्रशिक्षित नेटवर्क इसके नीचे एक परिणाम दिखाता है, तो यह बहुत दुख की बात होगी -)। हम निम्नलिखित संरचना के 5 परतों के नेटवर्क को पूर्व-प्रशिक्षित करेंगे: 100 -> 300 -> 100 -> 50 -> 26 । लेकिन पहले, आइए देखें कि सीखने की प्रक्रिया और परिणाम कैसा दिखता है यदि आप बिना पूर्व-प्रशिक्षण के ऐसे नेटवर्क को प्रशिक्षित करते हैं।

प्रशिक्षण विकल्प:

• अधिगम = 0.001
• बैच = पूर्ण बैच
• नियमितीकरण = 0.1
• MaxEpoches = 2000
• न्यूनतम = 0.1
• क्षण = ०
• NeuronLocalGainLimit: व्यवस्थित नहीं
• CrossValidationStopFactor 0.001 है

परीक्षण सेट पर परिणाम लगभग 312 में से 3 हिट हैं। प्रशिक्षण में 4300 सेकंड लगे, यह लगभग एक घंटा बीस है (प्रशिक्षण 2000 के युग में बाधित हुआ था, हालांकि इसे आगे भी जारी रखा जा सकता था)। 2000 युगों के लिए, त्रुटि मान 3.25710954400557 प्राप्त किया गया था, जबकि पिछले परीक्षण में पहले से ही दूसरे युग में 3.2363407570674, और अंतिम 0.114535596947578 थे।

अब प्रत्येक लगातार जोड़े के लिए आरबीएम को प्रशिक्षित करते हैं। शुरुआत के लिए, यह निम्नलिखित मानकों के साथ 841 <-> 100 :

• अधिगम = 0.001
• बैचसाइज = १०
• मोमेंटम = 0.9
• NeuronLocalGainLimit: सीमा = [0.001, 1000]; बोनस = 0.0005; जुर्माना = 0.9995
• गिब्ससैंपलिंगचैनल लर्निंग = 35
• UseBiases = सच
• CrossValidationStopFactor 0.5 है
• MinErrorChange = 0.0000001

प्रशिक्षण में 1274 सेकंड लगे। पहली जोड़ी कल्पना करना आसान है, जैसा कि पिछले पोस्ट में किया गया था। निम्नलिखित पैटर्न प्राप्त होते हैं:

आइए थोड़ा बढ़ाएँ:


फिर हम दूसरी जोड़ी को 100 <-> 300 प्रशिक्षित करते हैं, इसमें 2095 सेकंड लगते हैं:

• अधिगम = 0.001
• बैचसाइज = १०
• मोमेंटम = 0.9
• NeuronLocalGainLimit: सीमा = [0.001, 1000]; बोनस = 0.0005; जुर्माना = 0.9995
• गिब्ससैंपलिंगचैनल लर्निंग = 35
• UseBiases = सच
• CrossValidationStopFactor 0.1 है

हम तीसरी जोड़ी को 300 <-> 100 प्रशिक्षित करते हैं, इसमें 1300 सेकंड लगते हैं:

• अधिगम = 0.001
• बैचसाइज = १०
• मोमेंटम = 0.9
• NeuronLocalGainLimit: सीमा = [0.001, 1000]; बोनस = 0.0005; जुर्माना = 0.9995
• गिब्ससैंपलिंगचैनल लर्निंग = 35
• UseBiases = सच
• CrossValidationStopFactor 0.1 है

हम आउटपुट लेयर और पहले छिपे हुए वज़न को नहीं छूते हैं और केंद्र 0 और डिस्पैच 0.01 के साथ सामान्य वितरण से यादृच्छिक मूल्यों के साथ आरंभ करते हैं। अब हम सभी परतों को एक सीधे वितरण नेटवर्क में जोड़ते हैं और निम्न मापदंडों के साथ प्रशिक्षित करते हैं:

• अधिगम = 0.001
• बैच = पूर्ण बैच
• नियमितीकरण करना = ०
• मोमेंटम = 0.9
• NeuronLocalGainLimit: सीमा = [0.01, 100]; बोनस = 0.005; जुर्माना = 0.995
• CrossValidationStopFactor 0.01 है

परीक्षण सेट पर परिणाम, जबकि प्रशिक्षण में केवल 17 युग या 36 सेकंड लगे:
त्रुटि: 1.40156176438071
जीत: 312 का 267, 85.57%

एक छिपी हुई परत वाले नेटवर्क की तुलना में गुणवत्ता में वृद्धि लगभग 11% थी। ईमानदारी से, मुझे अधिक उम्मीद थी, लेकिन समस्या डेटा जटिलता है । जैसा कि प्रयोगों से पता चला है और पढ़े गए लेखों ने पुष्टि की है, हमारे पास जितना अधिक जटिल और बड़ा डेटा सरणी होगा, उतना ही अधिक गुणवत्ता का लाभ प्राप्त होगा।

निष्कर्ष

पूर्व-प्रशिक्षण स्पष्ट रूप से एक प्रभावी तरीका है -) शायद कुछ गणितीय प्रतिभा सिद्धांत रूप में अपनी प्रभावशीलता साबित करेगी, और न केवल व्यवहार में, जैसा कि अब है।

मान लीजिए कि कैप्चा को पहचानने का कोई काम है। हमने 100,000 चित्रों को डाउनलोड किया, जिनमें से केवल 10,000 को मैन्युअल रूप से मान्यता प्राप्त थी। हम तंत्रिका नेटवर्क को प्रशिक्षित करना चाहते हैं, लेकिन हमें खेद है कि शेष 90,000 हजार चित्रों का उपयोग नहीं किया जाएगा। यहां आरबीएम हमारी सहायता के लिए आता है। 100,000 छवियों की एक सरणी का उपयोग करके, हम एक गहरी विश्वास नेटवर्क को प्रशिक्षित करते हैं, और फिर 10,000 मैन्युअल रूप से मान्यता प्राप्त छवियों के सेट पर हम एक गहरे नेटवर्क को प्रशिक्षित करते हैं। लाभ!

संदर्भ

• त्रुटि प्रचार द्वारा आंतरिक प्रतिनिधित्व सीखना
• गहरे फीडफॉर्वर्ड न्यूरल नेटवर्क को प्रशिक्षित करने के विभिन्न पहलुओं को समझना
• विस्फोट ढाल की समस्या को समझना
• डीप बोल्ट्ज़मन मशीनें
• प्रशिक्षण के लिए एक व्यावहारिक गाइड प्रतिबंधित बोल्ट्ज़मैन मशीनें
• गहरा विश्वास नेटवर्क

लेख को संपादित करने में मदद के लिए उपयोगकर्ता OTHbIHE का धन्यवाद!