🍭 👨🏼‍🔬 😆 एक प्रतिबंधित बोल्ट्जमैन मशीन में नियमितीकरण, प्रयोग 🔈 🕤 🤷🏼

नमस्कार। इस पोस्ट में, हम एक प्रयोग करेंगे जिसमें हम एक प्रतिबंधित बोल्ट्ज़मन मशीन में दो प्रकार के नियमितीकरण का परीक्षण करेंगे। जैसा कि यह निकला, आरबीएम मॉडल मापदंडों के प्रति बहुत संवेदनशील है, जैसे कि एक न्यूरॉन का क्षण और स्थानीय क्षेत्र (सभी मापदंडों पर अधिक विवरण के लिए, जेफरी हिंटन के आरबीएम व्यावहारिक मार्गदर्शिका देखें )। लेकिन एक पूरी तस्वीर और इन जैसे पैटर्न प्राप्त करने के लिए, एक और पैरामीटर गायब था - नियमितीकरण। सीमित बोल्ट्जमैन मशीनों को मार्कोव नेटवर्क और एक अन्य तंत्रिका नेटवर्क के रूप में दोनों के रूप में माना जा सकता है, लेकिन यदि आप गहरी खुदाई करते हैं, तो आपको दृष्टि के साथ एक समानता दिखाई देगी। प्राथमिक विज़ुअल कॉर्टेक्स की तरह , जो ऑप्टिक तंत्रिका के माध्यम से रेटिना से जानकारी प्राप्त करता है (जीवविज्ञानी इस तरह के सरलीकरण के लिए मुझे माफ कर देते हैं), आरबीएम इनपुट छवि में सरल पैटर्न की तलाश करता है। सादृश्य वहाँ समाप्त नहीं होता है, अगर हम वजन की अनुपस्थिति के रूप में बहुत छोटे और शून्य भार की व्याख्या करते हैं, तो हम पाएंगे कि प्रत्येक छिपे हुए आरबीएम न्यूरॉन एक ग्रहणशील क्षेत्र बनाते हैं, और प्रशिक्षित आरबीएम से बने गहरे नेटवर्क सरल छवियों से अधिक जटिल विशेषताएं बनाते हैं; सिद्धांत रूप में, मस्तिष्क का दृश्य प्रांतस्था कुछ इसी तरह से लगी हुई है, हालांकि यह शायद अधिक जटिल है =)

एल 1 और एल 2 नियमितीकरण

हम शुरू करेंगे, शायद, मॉडल के नियमितीकरण का एक संक्षिप्त विवरण के साथ - मॉडल की जटिलता के लिए उद्देश्य समारोह पर जुर्माना लगाने का एक तरीका है। बायेसियन दृष्टिकोण से, यह मॉडल मापदंडों के वितरण के बारे में कुछ प्राथमिकताओं को ध्यान में रखने का एक तरीका है। एक महत्वपूर्ण संपत्ति यह है कि नियमितीकरण मॉडल को वापस लेने से बचने में मदद करता है। हम मॉडल मापदंडों को {= {i_i}, i = 1.n के रूप में निरूपित करते हैं। अंतिम उद्देश्य फ़ंक्शन C = η (E + λR) है , जहां E मॉडल का मुख्य उद्देश्य फ़ंक्शन है, R = R (=) मॉडल मापदंडों का कार्य है, यह और लैम्ब्डा क्रमशः सीखने की गति और नियमितकरण पैरामीटर हैं। इस प्रकार, अंतिम उद्देश्य फ़ंक्शन की ग्रेडिएंट की गणना करने के लिए, नियमितीकरण फ़ंक्शन के ग्रेडिएंट की गणना करना आवश्यक होगा:

हम दो प्रकार के नियमितीकरण पर विचार करते हैं जिनकी जड़ें एलपी मीट्रिक में हैं । नियमितीकरण समारोह L1 और इसके व्युत्पन्न निम्नानुसार हैं:

L2 नियमितीकरण निम्नानुसार है:

दोनों नियमितीकरण तरीके वजन के बड़े मूल्य के लिए मॉडल को ठीक करते हैं, पहले मामले में वजन का पूर्ण मूल्य, दूसरे के वजन के वर्ग में, इसलिए वजन का वितरण शून्य और एक बड़ी चोटी पर एक केंद्र के साथ सामान्य दृष्टिकोण करेगा। L1 और L2 की एक अधिक विस्तृत तुलना यहां पाई जा सकती है । जैसा कि हम बाद में देखेंगे, लगभग 70% वजन 10 ^ (- 8) से कम होगा।

आरबीएम में नियमितीकरण

एक साल पहले एक पोस्ट में, मैंने सी # में आरबीएम कार्यान्वयन का एक उदाहरण बताया। मैं उसी कार्यान्वयन पर भरोसा करूंगा, जिसमें यह दिखाया जाएगा कि नियमितीकरण अंतर्निहित है, लेकिन पहले सूत्र। आरबीएम प्रशिक्षण का लक्ष्य इस संभावना को अधिकतम करना है कि बहाल छवि इनपुट के समान होगी:

सामान्यतया, एल्गोरिथम में प्रायोरिटी लॉगरिदम को अधिकतम किया जाता है, और जुर्माना लगाने के लिए, प्राप्त संभावना से नियमितीकरण फ़ंक्शन के मूल्य को घटाना आवश्यक होता है, परिणामस्वरूप, नया उद्देश्य फ़ंक्शन निम्न रूप लेता है।

पैरामीटर के संबंध में ऐसे फ़ंक्शन का व्युत्पन्न इस तरह दिखेगा:

विषम विचलन एल्गोरिथ्म में एक सकारात्मक और एक नकारात्मक चरण शामिल होते हैं, इसलिए नियमितीकरण को जोड़ने के लिए, नकारात्मक चरण को घटाने के बाद, सकारात्मक चरण के मूल्य से नियमितीकरण फ़ंक्शन के व्युत्पन्न के मूल्य को घटाना पर्याप्त है।

सकारात्मक और नकारात्मक चरण

#region Gibbs sampling for (int k = 0; k <= _config.GibbsSamplingChainLength; k++) { //calculate hidden states probabilities hiddenLayer.Compute(); #region accumulate negative phase if (k == _config.GibbsSamplingChainLength) { for (int i = 0; i < visibleLayer.Neurons.Length; i++) { for (int j = 0; j < hiddenLayer.Neurons.Length; j++) { nablaWeights[i, j] -= visibleLayer.Neurons[i].LastState * hiddenLayer.Neurons[j].LastState; if (_config.RegularizationFactor > Double.Epsilon) { //regularization of weights double regTerm = 0; switch (_config.RegularizationType) { case RegularizationType.L1: regTerm = _config.RegularizationFactor* Math.Sign(visibleLayer.Neurons[i].Weights[j]); break; case RegularizationType.L2: regTerm = _config.RegularizationFactor* visibleLayer.Neurons[i].Weights[j]; break; } nablaWeights[i, j] -= regTerm; } } } if (_config.UseBiases) { for (int i = 0; i < hiddenLayer.Neurons.Length; i++) { nablaHiddenBiases[i] -= hiddenLayer.Neurons[i].LastState; } for (int i = 0; i < visibleLayer.Neurons.Length; i++) { nablaVisibleBiases[i] -= visibleLayer.Neurons[i].LastState; } } break; } #endregion //sample hidden states for (int i = 0; i < hiddenLayer.Neurons.Length; i++) { hiddenLayer.Neurons[i].LastState = _r.NextDouble() <= hiddenLayer.Neurons[i].LastState ? 1d : 0d; } #region accumulate positive phase if (k == 0) { for (int i = 0; i < visibleLayer.Neurons.Length; i++) { for (int j = 0; j < hiddenLayer.Neurons.Length; j++) { nablaWeights[i, j] += visibleLayer.Neurons[i].LastState* hiddenLayer.Neurons[j].LastState; } } if (_config.UseBiases) { for (int i = 0; i < hiddenLayer.Neurons.Length; i++) { nablaHiddenBiases[i] += hiddenLayer.Neurons[i].LastState; } for (int i = 0; i < visibleLayer.Neurons.Length; i++) { nablaVisibleBiases[i] += visibleLayer.Neurons[i].LastState; } } } #endregion //calculate visible probs visibleLayer.Compute(); } #endregion } #endregion

हम प्रयोगों के लिए आगे बढ़ते हैं। परीक्षण डेटा के रूप में, पिछले पोस्ट से पहले वर्ष में उसी सेट का उपयोग किया गया था। सभी मामलों में, प्रशिक्षण बिल्कुल 1000 युगों में आयोजित किया गया था। मैं पाया गया पैटर्न की कल्पना करने के दो तरीके दूंगा, पहले मामले में (ग्रे टन में चित्र), अंधेरे मूल्य न्यूनतम वजन मूल्य से मेल खाता है, और सफेद एक से अधिकतम; दूसरे आंकड़े में, काला शून्य से मेल खाती है, लाल घटक में वृद्धि सकारात्मक दिशा में वृद्धि से मेल खाती है, और नीले घटक में वृद्धि नकारात्मक है। मैं वजन और छोटी टिप्पणियों के वितरण का एक हिस्टोग्राम भी दूंगा।

बिना नियमितीकरण के

प्रशिक्षण सेट पर त्रुटि मान: 0.188181367765024
क्रॉस-सत्यापन सेट पर त्रुटि मान: 21.0910315518859

पैटर्न बहुत धुंधला हो गया, और विश्लेषण करना मुश्किल था। शेष राशि का औसत मूल्य बाईं ओर स्थानांतरित किया जाता है, और शेष राशि का पूर्ण मूल्य 2 या अधिक तक पहुंच जाता है।

एल 2 नियमितीकरण

प्रशिक्षण सेट पर त्रुटि मान: 10.1198906337165
क्रॉस-सत्यापन सेट पर त्रुटि मान: 23.3600809429977
नियमितीकरण पैरामीटर: 0.1

यहाँ हम स्पष्ट छवियों का निरीक्षण करते हैं। हम पहले ही देख सकते हैं कि कुछ अक्षर वास्तव में अक्षरों की कुछ विशेषताओं को ध्यान में रखते हैं। इस तथ्य के बावजूद कि नियमितीकरण के बिना सीखने के दौरान प्रशिक्षण सेट पर त्रुटि 100 गुना बदतर है, क्रॉस-सत्यापन सेट पर त्रुटि पहले प्रयोग की तुलना में बहुत बड़ी नहीं है, जो यह बताती है कि अपरिचित छवियों पर नेटवर्क की सामान्यीकरण क्षमता बहुत खराब नहीं हुई है (यह ध्यान देने योग्य है) त्रुटि गणना में नियमितीकरण फ़ंक्शन का मूल्य शामिल नहीं था, जो हमें पिछले अनुभव के साथ मूल्यों की तुलना करने की अनुमति देता है)। वजन शून्य के आसपास केंद्रित है, और निरपेक्ष मूल्य में 0.2 से अधिक नहीं है, जो पिछले प्रयोग की तुलना में 10 गुना कम है।

एल 1 नियमितीकरण

प्रशिक्षण सेट पर त्रुटि मान: 4.42672814826447
क्रॉस-सत्यापन सेट पर त्रुटि मान: 17.3700437102876
नियमितीकरण पैरामीटर: 0.005

इस प्रयोग में, हम स्पष्ट पैटर्न और विशेष रूप से ग्रहणशील क्षेत्रों का निरीक्षण करते हैं (नीले-लाल धब्बे के आसपास, सभी वजन लगभग शून्य हैं)। पैटर्न का विश्लेषण भी किया जा सकता है, हम देख सकते हैं, उदाहरण के लिए, डब्ल्यू (पहली पंक्ति, चौथी तस्वीर) से किनारा, या एक पैटर्न जो इनपुट छवियों के औसत आकार (पांचवीं पंक्ति, 8 और 10 चित्रों में) को दर्शाता है। प्रशिक्षण सेट पर पुनर्प्राप्ति त्रुटि पहले प्रयोग की तुलना में 40 गुना खराब है, लेकिन एल 2 नियमितीकरण की तुलना में बेहतर है, जबकि अज्ञात सेट पर त्रुटि दोनों पिछले प्रयोगों की तुलना में बेहतर है, जो एक बेहतर सामान्यीकरण क्षमता को भी इंगित करता है। वजन भी शून्य के आसपास केंद्रित है, और ज्यादातर मामलों में यह बहुत अधिक नहीं है। नियमितीकरण पैरामीटर में महत्वपूर्ण अंतर इस तथ्य से समझाया गया है कि एल 2 के लिए ग्रेडिएंट की गणना करते समय पैरामीटर को वजन मान से गुणा किया जाता है, एक नियम के रूप में ये दोनों संख्या 1 से कम हैं; लेकिन एल 1 के साथ, पैरामीटर को 1 से गुणा किया जाता है। और अंतिम मूल्य नियमितीकरण पैरामीटर के समान ही होगा।

निष्कर्ष

अंत में, मैं कहना चाहता हूं कि बीएसआर वास्तव में मापदंडों के प्रति बहुत संवेदनशील चीज है। और मुख्य बात समाधान खोजने की प्रक्रिया में टूटना नहीं है -) अंत में, मैं एल 1 नियमितीकरण के साथ प्रशिक्षित आरबीएम में से एक की एक विस्तृत छवि दूंगा, लेकिन 5000 युगों के लिए।

अद्यतन :
हाल ही में बड़े अक्षरों 4 फोंट 3 शैलियों के पूर्ण सेट पर आरबीएम पढ़ाया जाता है, एल 1 नियमितीकरण के साथ 5000 पुनरावृत्तियों के दौरान, इसमें लगभग 14 घंटे लगते हैं, लेकिन परिणाम और भी दिलचस्प है, विशेषताएं और भी अधिक स्थानीय और साफ निकलीं

एक प्रतिबंधित बोल्ट्जमैन मशीन में नियमितीकरण, प्रयोग