बैकप्रोपागेशन एल्गोरिथ्म में न्यूरॉन वेट के प्रशिक्षण की स्थानीय दर

नमस्ते, कर्सर पर तंत्रिका नेटवर्क पर अंतिम व्याख्यान में , हमने सामान्य रूप से त्रुटि बैक प्रसार एल्गोरिथ्म के अभिसरण को बेहतर बनाने के बारे में बात की, और विशेष रूप से, हमने एक मॉडल की जांच की जहां प्रत्येक न्यूरॉन वजन की अपनी सीखने की दर (न्यूरॉन स्थानीय लाभ) है। मैं लंबे समय से कुछ प्रकार के एल्गोरिदम को लागू करना चाहता था जो स्वचालित रूप से नेटवर्क सीखने की गति को समायोजित करेगा, लेकिन सभी आलस्य मेरे हाथों तक नहीं पहुंचे, और फिर अचानक ऐसी सरल और सीधी विधि। इस छोटे लेख में मैं इस मॉडल के बारे में बात करूंगा और इस मॉडल के उपयोगी होने के कुछ उदाहरण दे सकता हूं।

सिद्धांत

आइए सिद्धांत से शुरू करते हैं, पहले हम याद करते हैं कि एक भार में क्या परिवर्तन समान है, इस मामले में नियमितीकरण के साथ, लेकिन यह सार नहीं बदलता है:

• यह (η) सीखने की गति है
• m प्रशिक्षण सेट का आकार है
• n - परत संख्या
• यहाँ पूर्ण संकेतन

मूल मामले में, प्रशिक्षण की गति सभी भार के लिए एक वैश्विक पैरामीटर है।

हम प्रत्येक न्यूरॉन के प्रत्येक वजन के लिए एक प्रशिक्षण गति संशोधक का परिचय देते हैं , और हम निम्नलिखित नियम के अनुसार न्यूरॉन्स के वजन को बदल देंगे:


पहले प्रशिक्षण सत्र में, सभी प्रशिक्षण गति संशोधक एक के बराबर हैं, फिर सीखने की प्रक्रिया में संशोधक की गतिशील ट्यूनिंग निम्नानुसार है:

• - समय में एक निश्चित बिंदु पर ढाल का मूल्य
• ताऊ current - वर्तमान समय बिंदु या वर्तमान प्रशिक्षण बैच
• बी - परिवर्ती बोनस जो संशोधक प्राप्त करता है यदि एक निश्चित आयाम के लिए ढाल की दिशा नहीं बदलती है
• पी - गुणक दंड, ग्रेडिएंट वेक्टर की दिशा बदलने के मामले में

यह समझ में आता है कि बोनस को बहुत कम संख्या में एक और एक दंड से कम करना है , इस प्रकार b + p = 1. उदाहरण के लिए, a = 0.05, p = 0.95। यह सेटिंग सुनिश्चित करती है कि ग्रेडिएंट वेक्टर की दिशा के दोलन के मामले में, संशोधक मान प्रारंभिक इकाई में वापस आ जाएगा। यदि आप गणित में नहीं जाते हैं, तो हम कह सकते हैं कि एल्गोरिथ्म उन भारों (वजन के स्थान के कुछ आयाम के ढांचे के भीतर विकास) को प्रोत्साहित करता है जो कि समय के पिछले बिंदु के सापेक्ष उनकी दिशा को बनाए रखते हैं, और उन लोगों को जुर्माना करते हैं जो जल्दबाज़ी शुरू करते हैं।

इस विधि के लेखक, जेफ्री हिंटन (वैसे, वह सबसे पहले एक तंत्रिका नेटवर्क को प्रशिक्षित करने के लिए ढाल वंश का उपयोग करने वाले लोगों में से एक थे) निम्नलिखित बातों पर ध्यान देने की सलाह देते हैं:

• सबसे पहले, संशोधक के लिए उचित विकास सीमाएँ निर्धारित करें
• दूसरे, आपको ऑनलाइन प्रशिक्षण के लिए, या छोटे बैचों के लिए इस तकनीक का उपयोग नहीं करना चाहिए; यह आवश्यक है कि बैच प्रक्रिया के दौरान एक काफी सामान्य ढाल जम जाए; अन्यथा, दिशा दोलन आवृत्ति बढ़ जाती है, और जिससे संशोधक में अर्थ खो जाता है

प्रयोगों

सभी प्रयोगों को 29 पिक्सेल के 29 चित्रों के सेट पर किया गया, जिस पर अंग्रेजी अक्षर खींचे गए थे। सिग्मॉइड सक्रियण फ़ंक्शन के साथ 100 न्यूरॉन्स की एक छिपी हुई परत का उपयोग किया गया था, सॉफ्टमैक्स परत आउटपुट पर थी , और क्रॉस एन्ट्रॉपी को कम से कम किया गया था। कुल मिलाकर, यह गणना करना आसान है कि नेटवर्क में 100 * (29 * 29 + 1) + 26 * (100 + 1) = 86826 वजन (ऑफ़सेट सहित) हैं। एक समान वितरण से भार के प्रारंभिक मूल्यों को लिया गया था । सभी तीन प्रयोगों ने एक ही वजन के आरंभीकरण का उपयोग किया। पूर्ण बैच का भी उपयोग किया जाता है।

पहले

इस प्रयोग में, एक सरल, आसानी से सामान्यीकृत सेट का उपयोग किया गया था; सीखने की गति (वैश्विक गति) का मान 0.01 है । प्रशिक्षण के युग से डेटा पर नेटवर्क त्रुटि के मूल्य की निर्भरता पर विचार करें।

• लाल - एक संशोधक का उपयोग किए बिना
• हरा - बोनस = 0.05, जुर्माना = 0.95, सीमा = [0.1, 10]
• नीला - बोनस = 0.1, जुर्माना = 0.9, सीमा = [0.01, 100]

यह देखा जा सकता है कि एक बहुत ही सरल सेट पर संशोधक का सकारात्मक प्रभाव पड़ता है, लेकिन यह महान नहीं है।

दूसरा

पहले प्रयोग के विपरीत, मैंने बहुत कुछ लिया, जिसे मैंने पहले ही किसी तरह सिखाया था। मुझे पहले से पता था कि 0.01 की सीखने की गति के साथ, त्रुटि फ़ंक्शन के मूल्य का दोलन बहुत जल्दी शुरू होता है, और कम मूल्य के साथ, सेट सामान्यीकृत होता है। लेकिन इस परीक्षण में इसका उपयोग ठीक 0.01 किया जाएगा, क्योंकि मैं देखना चाहता हूं कि क्या होता है।

• लाल - एक संशोधक का उपयोग किए बिना
• नीला - बोनस = 0.05, जुर्माना = 0.95, सीमा = [0.1, 10]

एक पूर्ण विफलता! संशोधक ने न केवल गुणवत्ता में सुधार किया, बल्कि इसके विपरीत, यह दोलन में वृद्धि हुई, जबकि संशोधक के बिना, त्रुटि औसतन कम हो जाती है।

तीसरा

इस प्रयोग में, मैं दूसरे के समान सेट का उपयोग करता हूं, लेकिन वैश्विक सीखने की गति 0.001 है ।

• लाल - एक संशोधक का उपयोग किए बिना
• नीला - बोनस = 0.005, जुर्माना = 0.995, सीमा = [0.01, 100]

इस मामले में, हमें गुणवत्ता में बहुत महत्वपूर्ण वृद्धि हुई है। और अगर, 300 युगों के बाद, प्रशिक्षण सेट और परीक्षण पर मान्यता समाप्त करें:

• लाल : परीक्षण पर सेट 94.74%, परीक्षण 67.18% पर
• नीला : प्रशिक्षण सेट पर 100%; टेस्ट में 74.4%

निष्कर्ष

और मैंने अपने लिए एक निष्कर्ष निकाला कि यह विधि वैश्विक सीखने की गति को चुनने के लिए एक विकल्प नहीं है, लेकिन पहले से ही प्रशिक्षण की गति के लिए एक अच्छा अतिरिक्त है।