नॉनलाइनियर डायमेंशनल कम्प्रेशन इन बाउंडेड बोल्ट्जमैन मशीन का उपयोग करना

नमस्कार। इस पोस्ट में, हम सीमित बोल्ट्जमान मशीन के साथ प्रयोग करना जारी रखेंगे। बीएसआर में नियमितीकरण पर एक पिछली पोस्ट में, हमने देखा कि कैसे आप अधिक स्थानीय विशेषताओं को प्राप्त कर सकते हैं जिनकी क्षमता अधिक सामान्य है। लेकिन हमने सरल और तेज एल्गोरिदम की तुलना में उनकी मजबूती की सराहना नहीं की। इस प्रयोग के लिए, हम प्रमुख घटकों के रैखिक विधि की ओर मुड़ते हैं (आप इस विधि से खुद को परिचित कर सकते हैं और मेरी पहली पोस्ट में c # में कार्यान्वयन को देख सकते हैं)। बीएसआर का उपयोग करके आयाम संपीड़न के सिद्धांत पर प्राथमिक स्रोत के साथ खुद को परिचित करने के इच्छुक लोगों के लिए, मैं सुझाव देता हूं कि आप यहां और यहां जेफरी हिंटन के लेखों को देखें। हम कई मुद्रित पूंजी पत्रों पर परीक्षण जारी रखेंगे: हम बीएसआर को प्रशिक्षित करेंगे, मुख्य घटकों का निर्माण करेंगे, डेटा के संपीड़ित प्रतिनिधित्व उत्पन्न करेंगे, और उनसे हम मूल छवियों को पुनर्स्थापित करेंगे, और फिर मूल छवियों और बहाल लोगों के बीच अंतर का मूल्यांकन करेंगे।

रैखिक मुख्य घटक

यह समझा जाता है कि आप प्रमुख घटकों की विधि से परिचित हैं, यदि नहीं, तो आप यहां हैं । इस प्रयोग के लिए, मैं 29 गुणा 29 पिक्सेल छवियों का उपयोग करता हूं, जो चार अलग-अलग फोंट और तीन शैलियों के अंग्रेजी वर्णमाला के बड़े अक्षरों को चित्रित करता है, साथ ही साथ शोर के साथ समान छवियां, कुल 4056 छवियां। परीक्षण सेट में अक्षरों का एक ही सेट होता है, लेकिन बहुत अधिक शोर के साथ - 3432 टुकड़े। तो, चलो आर भाषा में शुरू करते हैं, कोड बहुत सरल दिखता है: m.pca <- eigen(cov(m)) । मुख्य घटकों के महत्व का अनुमान उनके मुख्य मूल्यों से लगाया जा सकता है, पहले इन मूल्यों के योग से उन्हें सामान्य किया जा सकता है। नतीजतन, हमें निम्नलिखित ग्राफ़ मिलते हैं। पहला दिखाता है कि प्रत्येक मुख्य घटक कितने प्रतिशत भिन्नता का वर्णन करता है , दूसरा प्रत्येक चरण में समझाया भिन्नता का योग दर्शाता है।



बीएसआर में, हम 100 छिपे हुए राज्यों का उपयोग करेंगे, इसलिए ईमानदारी के लिए हम पहले 100 मुख्य घटकों का चयन करेंगे जो कि परिवर्तनशीलता का 89.36% समझाते हैं, यह स्तर ऊपर के ग्राफ़ में एक पंक्ति द्वारा दिखाया गया है।

प्रत्येक मुख्य घटक को 29 द्वारा 29 पिक्सेल छवि के रूप में व्याख्या किया जा सकता है जो डेटा सेट की कुछ विशेषताओं का पता लगाता है। आप एक सीमित बोल्ट्जमान मशीन के छिपे हुए न्यूरॉन्स के वजन के साथ एक सादृश्य आकर्षित कर सकते हैं, और उसी तरह से कल्पना कर सकते हैं जैसे हमने पिछले पोस्टों में किया था। आपको याद दिलाता हूं कि दूसरी छवि में, काला एक शून्य मान से मेल खाता है, लाल घटक में वृद्धि - सकारात्मक दिशा में मूल्य में वृद्धि, क्रमशः, नीला - नकारात्मक में।



मुख्य घटकों का क्रम बाएं से दाएं, ऊपर से नीचे तक है। सुविधाएँ काफी बड़ी हो गई हैं, उनमें से प्रत्येक में प्रशिक्षण सेट से लगभग औसत अक्षर आकार है। पहले कुछ घटकों के अपवाद के साथ, भाषण बिल्कुल भी व्याख्या के खाते में नहीं जाता है।

प्रतिबंधित बोल्ट्जमान मशीन

इस प्रयोग के लिए, मैंने एल 1 नियमितीकरण के लिए पिछली पोस्ट में वर्णित सेटिंग्स का उपयोग किया था, केवल एक चीज जो बदल गई थी वह थी प्रशिक्षण सेट (ऊपर वर्णित एक) और पुनरावृत्तियों की संख्या 5000 थी, इसमें लगभग 14 घंटे लगे (मुझे इसे अब GPU पर स्थानांतरित करना होगा)। इस बिंदु पर, क्रॉस-सत्यापन त्रुटि अभी भी गिर रही थी, इसलिए प्रशिक्षण जारी रह सकता है। नतीजतन, निम्नलिखित भार प्राप्त किए गए थे।



जैसा कि आप देख सकते हैं, विशेषताएं बहुत स्थानीय हैं, मूल रूप से ये आदिम हैं जैसे छोटे धब्बे और सीमा रेखाएं, उनमें से कुछ को मिलाकर आप प्रशिक्षण सेट से छवियों की सामयिक विशेषताओं का अध्ययन कर सकते हैं। उनके इलाके के कारण, न्यूरॉन्स के बहुत छोटे रिसेप्टर क्षेत्रों का निर्माण करना संभव है, अर्थात। प्रत्येक न्यूरॉन के शून्य से 95% वजन, जो डेटा प्रक्षेपण एल्गोरिथ्म की गति में काफी वृद्धि करेगा, जो वास्तव में महत्वपूर्ण है।

हीलिंग की क्षमता

आइए दो मॉडलों का उपयोग करके पुनर्प्राप्त छवियों के कुछ उदाहरणों पर एक नज़र डालें। पहले कॉलम में, मूल चित्र, दूसरे में पीसीए द्वारा बहाल, तीसरे में आरबीएम द्वारा।



जब मैंने देखा कि पीसीए के पुनर्निर्माण में पृष्ठभूमि बहुत ग्रे है, तो मैंने औसत मूल्य को सामान्य करने के लिए, eigenface के साथ सादृश्य द्वारा कोशिश की, लेकिन अंत में, ऊपर की ओर से बहाल छवियों में बहुत अंतर नहीं था। एक बढ़े हुए उदाहरण से पता चलता है कि सीमाओं के साथ छवि धुंधली है, हालांकि पीसीए के मामले में यह थोड़ा बड़ा है।

छवियों के बीच की दूरी के अनुमान के रूप में, हम L1 मीट्रिक का उपयोग करेंगे:



परिणाम निम्नलिखित था, मुझे याद है कि परीक्षण सेट बीएसआर मॉडल के निर्माण में भाग नहीं लिया था, या मुख्य घटकों की गणना में:

	पीसीए	RBM
ट्रेन सेट	29.134736802449488	21.79797897303671
परीक्षण सेट	49.231927648058118	29.970740205433025

जैसा कि आप आरबीएम पक्ष में दोनों मामलों में परिणाम देख सकते हैं।

निष्कर्ष

गुणवत्ता सुधारने के लिए बीएसआर के पास कई तरीके हैं। सबसे पहले, मैंने 5000 पुनरावृत्तियों पर सीखना बंद कर दिया, हालांकि यह सीखना जारी रखना संभव होगा, कहते हैं, जब तक कि क्रॉस-वेलिडेशन त्रुटि बढ़ने नहीं लगती। दूसरे, आप सीखने के विकल्पों के साथ खेलना जारी रख सकते हैं। तीसरा, सुविधाएँ काफी स्थानीय हैं, जो एल्गोरिथ्म की गति बढ़ा सकती हैं। चौथा, यह नोटिस करना आसान है कि बीएसआर में कई विशेषताएं लगभग समान हैं, जो हमें सुविधाओं को क्लस्टर करने और क्लस्टर को संयोजित करने का अवसर प्रदान करती हैं, ताकि कई बार उनके मूल्य की गणना न करें, या कम छिपे हुए न्यूरॉन्स के साथ बीएसआर को प्रशिक्षित करें।