बहुपरत अवधारणात्मक (PHP में एक उदाहरण के साथ)

तंत्रिका नेटवर्क पर और सामान्य रूप से कृत्रिम बुद्धिमत्ता के विषय पर सामग्री के विषय पर हबर पढ़ना, मुझे एक परत-परत परसेप्ट्रॉन पर एक पोस्ट मिली और जिज्ञासा से बाहर ने तंत्रिका नेटवर्क का अध्ययन शुरू करने का फैसला किया, और फिर अनुभव को एक बहु-परत अवधारणात्मक तक विस्तारित किया। जिसके बारे में मैं बताऊंगा।

सिद्धांत

विकी पर मल्टीलेयर पर्सेप्ट्रॉन का अच्छी तरह से वर्णन किया गया है, लेकिन वहां केवल संरचना का वर्णन किया गया है, लेकिन हम इसे सीखने की एल्गोरिथ्म के साथ मिलकर अभ्यास करेंगे। वैसे, इसे विकी पर भी वर्णित किया गया है , हालांकि कई अन्य स्रोतों (पुस्तकों और aiportal.ru ) के साथ इसकी तुलना करते हुए, मुझे यहां और वहाँ दोनों कई समस्याग्रस्त स्थान मिले।
तो, एक बहुपरत पर्सेट्रॉन एक तंत्रिका नेटवर्क है जिसमें परतों से मिलकर बनता है, जिनमें से प्रत्येक में तत्व होते हैं - न्यूरॉन्स (अधिक सटीक, उनके मॉडल)। ये तत्व तीन प्रकार के होते हैं: संवेदी (इनपुट, एस), साहचर्य (प्रशिक्षित "छिपी" परतें, ए) और प्रतिक्रियाशील (आउटपुट, आर)। इस प्रकार के पर्सेप्ट्रॉन को मल्टीलेयर कहा जाता है, इसलिए नहीं कि इसमें कई परतें होती हैं, क्योंकि इनपुट और आउटपुट लेयर्स को कोड में छोड़ा जा सकता है, लेकिन क्योंकि इसमें कई (आमतौर पर दो से तीन नहीं) प्रशिक्षित (ए) लेयर्स होते हैं ।
एक न्यूरॉन मॉडल (हम इसे बस एक न्यूरॉन कहेंगे) एक नेटवर्क तत्व है जिसमें कई इनपुट होते हैं, जिनमें से प्रत्येक का वजन होता है। एक संकेत प्राप्त करने के बाद, एक न्यूरॉन वजन से संकेतों को गुणा करता है और परिणामी मूल्यों को समेटता है, जिसके बाद यह परिणाम को दूसरे न्यूरॉन या नेटवर्क आउटपुट में स्थानांतरित करता है। यहाँ भी, बहुपरत पर्सेप्ट्रोन में अंतर है। इसका कार्य एक सिग्मोइड है , यह 0 से 1 तक की सीमा में मान देता है। कई कार्य सिग्मॉइड से संबंधित हैं, हमारा मतलब लॉजिस्टिक फ़ंक्शन होगा । जैसा कि आप विधि की समीक्षा करते हैं, आप समझेंगे कि यह इतना अच्छा क्यों है।
कई परतें जिन्हें प्रशिक्षित किया जा सकता है (अधिक सटीक, समायोजित) यह बहुत जटिल नॉनलाइनियर कार्यों को अनुमानित करने के लिए संभव बनाता है, अर्थात, उनका दायरा एकल-परत वाले की तुलना में व्यापक है।

हम अभ्यास में प्रयास करते हैं

तुरंत हम सिद्धांत को व्यवहार में बदल देंगे, ताकि इसे बेहतर तरीके से याद किया जा सके और हर कोई कोशिश कर सके।
मैं उपरोक्त पोस्ट पढ़ने की सलाह देता हूं यदि आप तंत्रिका नेटवर्क के विशेषज्ञ नहीं हैं, तो निश्चित रूप से।
तो, चलो एक सरल कार्य लेते हैं - रोटेशन और विरूपण के बिना संख्याओं को पहचानने के लिए। इस तरह के कार्य में, एक बहुपरत अवधारणात्मक पर्याप्त होगा; इसके अलावा, यह शोर के प्रति कम संवेदनशील है।

नेटवर्क संरचना

नेटवर्क में दो छिपी हुई परतें होंगी, जो इनपुट से 5 गुना छोटी है। यही है, अगर हमारे पास 20 इनपुट हैं, तो छिपी हुई परतों पर 4 न्यूरॉन्स होंगे। इस कार्य के मामले में, मैं खुद को परतों और न्यूरॉन्स की संख्या का चयन करने की हिम्मत देता हूं। हम 2 परतें लेते हैं, परतों की संख्या में वृद्धि के साथ परिणाम में सुधार नहीं होता है।

लर्निंग एल्गोरिदम

त्रुटियों के पीछे प्रसार के एल्गोरिथ्म के अनुसार चयनित प्रकार के तंत्रिका नेटवर्क का प्रशिक्षण किया जाता है। यही है, अगर उत्तर के दौरान हमारे पास परतें नेटवर्क के आउटपुट में एक संकेत संचारित करती हैं, तो हम तंत्रिका नेटवर्क की प्रतिक्रिया की तुलना सही से करेंगे और त्रुटि की गणना करेंगे, जो तब नेटवर्क के साथ "ऊपर" जाती है - आउटपुट से इनपुट तक।

हम नेटवर्क त्रुटि का मूल्यांकन आउटपुट पर संकेतों के वर्गीय अंतर के आधे योग के रूप में करेंगे। सरल: इन अभिव्यक्तियों के आधे से अधिक योग में विभाजित करें: (ti - oi) ^ 2, जहां ti सही उत्तर में i-th सिग्नल का मूल्य है, और oi तंत्रिका नेटवर्क के i-th आउटपुट का मान है। यही है, हम इनपुट पर त्रुटियों के वर्गों का सारांश देते हैं और आधे हिस्से में सब कुछ विभाजित करते हैं। यदि यह त्रुटि (उदाहरण कोड में यह $ d है) काफी बड़ी है (हमें जो सटीकता की आवश्यकता नहीं है), हम न्यूरॉन्स के वजन को सही करते हैं।

वजन में सुधार के सूत्र पूरी तरह से विकी पर अपलोड किए गए हैं, मैंने उन्हें दोबारा नहीं बनाया है। मैं सिर्फ यह नोट करना चाहता हूं कि मैंने सूत्रों को शाब्दिक रूप से दोहराने की कोशिश की ताकि यह स्पष्ट हो सके कि यह व्यवहार में कैसा है। यह एक सक्रियण फ़ंक्शन को चुनने का लाभ लाता है - इसमें एक सरल व्युत्पन्न है (x '(x) = * (x) * (1-σ (x))), और इसका उपयोग वज़न को सही करने के लिए किया जाता है। प्रत्येक परत के वजन अलग-अलग समायोजित किए जाते हैं। यही है, परत से परत तक पहले से। और यहाँ मैंने एक गलती की, सबसे पहले मैंने प्रत्येक उदाहरण के लिए अलग-अलग वजन को समायोजित किया, और तंत्रिका नेटवर्क ने केवल एक "उदाहरण" को हल करना सीखा। इस तरह के एक एल्गोरिथ्म में बदले में इनपुट के लिए प्रशिक्षण नमूने के सभी उदाहरण देना सही है, इसे युग कहा जाता है। और केवल युग के अंत के साथ त्रुटि पर विचार करें (सभी नमूना उदाहरणों के लिए कुल) और वजन समायोजित करें।

प्रशिक्षण के दौरान, त्रुटियों में कूद संभव है, लेकिन ऐसा होता है। गुणांक α (प्रशिक्षण पर भार के प्रभाव को निर्धारित करता है) और η (सुधार e की परिमाण के प्रभाव को निर्धारित करता है) का चयन बहुत महत्वपूर्ण है - अभिसरण की दर और स्थानीय चरम सीमा में होना इस पर निर्भर करता है। मैं α = 0.7 और η = 0.001 को सबसे सार्वभौमिक मानता हूं, हालांकि उनके साथ खेलने का प्रयास करें: α और, सीखने में तेजी लाएं, लेकिन हम न्यूनतम उड़ान भर सकते हैं।

अगला, PHP में एक उदाहरण रखना। कोड आदर्श से बहुत दूर है, लेकिन यह अपने कार्य करता है।