तंत्रिका नेटवर्क पर प्रबलित शिक्षण। सिद्धांत

मैंने यहां "टू या मोर टीचर्स" की समस्या का लेख लिखा है। पहला स्पर्श , एक जटिल अनसुलझे समस्या को दिखाने की कोशिश कर रहा है। लेकिन पहला स्पर्श थोड़ा जटिल था। इसलिए, मैंने पाठकों को थोड़ा सिद्धांत चबाने का फैसला किया। काश, वे अब स्पष्ट रूप से पढ़ा रहे हैं / (क्या वे अध्ययन कर रहे हैं?) कुछ हद तक रूढ़िबद्ध - जैसे कि प्रत्येक विधि के अपने तरीके हैं।

इसलिए उन्होंने मुझे बताया कि वर्गीकरण समस्या के लिए, तंत्रिका नेटवर्क (एक शिक्षक के साथ सीखना), जेनेटिक एल्गोरिदम (एक शिक्षक के बिना सीखना) एक महत्वपूर्ण कार्य है, और एक एजेंट के कार्य के रूप में सुदृढीकरण सीखने (क्यू-लर्निंग) पर घूमने और कुछ करने के लिए है यह करता है। और कई लोग ऐसे पैटर्न के साथ न्याय करते हैं।

आइए यह पता लगाने की कोशिश करें कि तंत्रिका नेटवर्क का उपयोग क्या है, जैसा कि कुछ कहते हैं, एक समस्या के लिए जिसे वे हल नहीं कर सकते हैं - अर्थात्, प्रबलित शिक्षा।

और साथ ही, हम एमएस बर्तसेव के शोध प्रबंध , "नए प्रकार के स्व-संगठन और व्यवहार रणनीतियों के उद्भव की जांच" का विश्लेषण करेंगे, जिसमें सुदृढीकरण के साथ सीखने के कार्य में सरल तंत्रिका नेटवर्क का उपयोग कम सुंदर नहीं है।

सिद्धांत

आनुवंशिक एल्गोरिदम में और प्रबलित शिक्षण के लिए तरीकों में (जैसे, क्यू-लर्निंग), एक महत्वपूर्ण समस्या है - आपको एक फिटनेस फ़ंक्शन निर्दिष्ट करने की आवश्यकता है। इसके अलावा, यह सूत्र द्वारा स्पष्ट रूप से सेट किया गया है। कभी-कभी यह अप्रत्यक्ष रूप से प्रकट होता है - फिर ऐसा लगता है कि यह फ़ंक्शन स्पष्ट रूप से अनुपस्थित है (हम एम। बर्टसेव के शोध प्रबंध के बाद में इसका पालन करेंगे)। और एजेंट व्यवहार के सभी "चमत्कार" केवल इस सूत्र से आते हैं।

लेकिन एक सूत्र क्या है? - समारोह। या आउटपुट के लिए इनपुट की समान मैपिंग क्या है। और एक तंत्रिका नेटवर्क / परसेप्ट्रॉन क्या करता है? यह वही है जो वह करता है - वह आउटपुट के इनपुट्स को मैप करना सीखता है।

एक अतिरंजित सैद्धांतिक उदाहरण लें। एक एजेंट एक जीव है जो जीवित रहना चाहता है। ऐसा करने के लिए, उसे खाने की जरूरत है। वह दो तरह के जानवर हैं - खैर, खरगोश और चूहे। तदनुसार, इसके दो इनपुट पैरामीटर हैं - किलोग्राम की संख्या जो खाया गया है और माउस शामिल हैं :)। वह (शरीर) मूल्यांकन करना चाहता है कि वह कितना भरा हुआ है। फिर, वह कितना पूर्ण है, इसके आधार पर, वह कम या ज्यादा गति और इच्छा के साथ दौड़ सकता है। लेकिन यह एक और काम है, और हम तृप्ति के मूल्यांकन पर ध्यान केंद्रित करेंगे।

हम नहीं जानते कि दोनों के एक किलोग्राम को छोड़कर, तृप्ति का मूल्यांकन कैसे किया जाए। इसलिए, पहला प्राकृतिक मूल्यांकन पाउंड जोड़ना सीखना है। यानी हम एक साधारण फिटनेस फंक्शन c = a + b पेश करते हैं। उल्लेखनीय रूप से, इस तरह के कठोर मूल्यांकन कार्य के साथ, हम अपने व्यवहार को समायोजित नहीं कर सकते हैं।

इसलिए, एक तंत्रिका नेटवर्क का उपयोग किया जाता है। उसे पहले इन दो नंबरों को जोड़ना सिखाया जाता है। प्रशिक्षण के बाद, तंत्रिका नेटवर्क सही ढंग से मोड़ सकता है। एजेंट तंत्रिका नेटवर्क के आउटपुट का उपयोग करता है और समझता है कि यह कितना भरा हुआ है।

लेकिन आगे दुर्भाग्य होता है - उन्होंने अनुमान लगाया कि वह 7 अंक से भरा हुआ था = 4 किलो हैरे और 3 चूहे खा रहा था। और वह यह सोचकर भाग गया कि वह भर गया है, इसलिए उसने लगभग इसे पूरा कर लिया और मर नहीं गया। यह पता चला है कि 4 किलो प्रति हेक्टेयर और 3 चूहे 7 किलो हार के समान नहीं हैं। मायशैटिन समान तृप्ति नहीं देता है, और वास्तव में 4 + 3 = 6. को जोड़ना आवश्यक है और वह इस निष्कर्ष को फेंकता है जिसे उसने तंत्रिका नेटवर्क में एक सटीक तथ्य के रूप में बनाया है। वह फिर से काम करती है, और उसका फिटनेस फंक्शन अब एक साधारण जोड़ नहीं है, और पूरी तरह से अलग लुक देता है। इस प्रकार, एक तंत्रिका नेटवर्क होने पर, हम फिटनेस फ़ंक्शन को समायोजित कर सकते हैं, जो हम अन्य एल्गोरिदम में नहीं कर सकते हैं।

आप कह सकते हैं कि अन्य एल्गोरिदम में आपको केवल अतिरिक्त फ़ंक्शन नहीं लेना था। लेकिन कौन सा? आपके पास न तो प्रासंगिक मानदंड हैं, न ही वे सिद्धांत, जिन पर आप वांछित नियमितता घटाएंगे। आप बस ऐसे काम को औपचारिक रूप नहीं दे सकते थे, क्योंकि राज्य की जगह को नहीं समझ सका।

निबंध Burtseva एमएस के उदाहरण पर अभ्यास करें

उसका मॉडल पर्यावरण क्या है:

पी एजेंटों की एक आबादी एक आयामी कोशिका माध्यम में स्थित एक अंगूठी के रूप में बंद हो जाती है। कोशिकाओं में, कुछ संभाव्यता के साथ, एक संसाधन दिखाई देता है जो एजेंटों को कार्रवाई करने के लिए आवश्यक है। एक सेल में केवल एक एजेंट हो सकता है। एक वंशज एजेंट केवल दो मूल एजेंटों के बीच एक क्रॉस के परिणामस्वरूप दिखाई दे सकता है। एजेंट के पास 9 इनपुट हैं

1,2,3 - 1 यदि दिए गए क्षेत्र में एक संसाधन है (बाएं, पक्ष, दाएं), 0 अन्यथा;
4, 5 - 1 यदि सेल में कोई एजेंट बाईं / दाईं ओर, 0 अन्यथा;
6.7 - श्री पड़ोसी / बाएं / दाएं पार करने की प्रेरणा;
8 - भोजन की खोज के लिए स्व-प्रेरणा
9 - पार करने के लिए खुद की प्रेरणा

पार करने के लिए और भोजन की खोज के लिए अभिप्रेरणा को प्रयोगकर्ता द्वारा चुने गए दो गुणांक के अनुपात के माध्यम से निर्धारित किया जाता है - संतृप्ति और आर 1 के लिए आंतरिक संसाधन के मान - पार करने के लिए।

6 क्रियाएं हैं: दाईं ओर एक पड़ोसी के साथ क्रॉस करें, बाईं ओर पड़ोसी के साथ क्रॉस करें, कूदें, एक सेल को दाईं ओर ले जाएं, एक सेल को बाईं ओर ले जाएं, एक संसाधन का उपभोग करें, बाकी

जैसा कि तय किया गया:

एएनएन मूल रूप से स्थापित किया गया था, निश्चित रूप से इसका नेटवर्क नाम देना मुश्किल है - एक आंतरिक परत के बिना, लेकिन इसे करने दें। इसमें विभिन्न गुणांक थे, कैसे इनपुट क्रियाओं (आउटपुट) से जुड़े हैं। इसके बाद, एक आनुवंशिक एल्गोरिथ्म लागू किया गया था जिसने तंत्रिका नेटवर्क गुणांक को ट्यून किया और खराब व्यवहार के साथ शरीर को खारिज कर दिया।

वास्तव में, आनुवंशिक एल्गोरिदम यहां बहुत मजबूत नहीं हैं। इसी तरह विभिन्न व्यवहार रणनीतियों के माध्यम से बेतरतीब ढंग से छांट सकते हैं और तंत्रिका नेटवर्क को समायोजित करके उपयुक्त लोगों को ठीक कर सकते हैं।

वास्तव में, क्यू-लर्निंग और आनुवंशिक एल्गोरिदम के साथ समस्या यह है कि नए व्यवहार को मौके से खोजा जाता है। और मौका संभव राज्यों की पूरी जगह में समान रूप से संभावित खोज है। यानी कोई लक्षित खोज नहीं है। और यदि संभावित राज्यों का स्थान बड़ा है, तो प्राथमिक रणनीति कभी नहीं मिलेगी।

इसलिए, सामान्य तौर पर, अलग-अलग रणनीतियों के माध्यम से यादृच्छिक रूप से सॉर्ट करना आवश्यक नहीं है, लेकिन उद्देश्यपूर्ण रूप से (लेकिन पहले स्पर्श को समझने के बाद अगले लेख में इस पर चर्चा की जानी चाहिए :))।

निष्कर्ष।

मैं तेजी से भागा, क्योंकि केवल निष्कर्ष हमारे लिए महत्वपूर्ण हैं, विवरण नहीं। लेकिन आपको खुद इसके बारे में अधिक पढ़ने की आवश्यकता हो सकती है।

नतीजतन, एजेंट का फिटनेस फ़ंक्शन एक तंत्रिका नेटवर्क द्वारा दर्शाया जाता है। ऊपर प्रस्तुत सिद्धांत में, और बर्तसेव के शोध प्रबंध में दोनों।

लेकिन हम इसे माध्यम के उपयुक्तता समारोह से अलग करते हैं। यह यहाँ परोक्ष रूप से गुणांक r0 और r1 के माध्यम से दिया गया है। इसके अलावा, पर्यावरण के अनुकूलता का यह कार्य प्रयोगकर्ता को ज्ञात है। इसलिए, कोई कल्पना नहीं है जब बर्तसेव को पता चलता है कि पर्यावरणीय फिटनेस फ़ंक्शन के लिए एजेंट का फिटनेस फ़ंक्शन कैसे शुरू होता है।

लेख "दो या अधिक शिक्षकों की समस्या।" हमारी स्थिति पर पहला स्पर्श बुरा है। यहां तक ​​कि प्रयोग करने वाले को भी माध्यम की उपयुक्तता समारोह, या इस फ़ंक्शन के रूप का पता नहीं होता है। यह समस्या है, यह अप्रत्यक्ष रूप से निर्धारित नहीं है। हां, केवल फिटनेस का अंतिम कार्य ज्ञात है - अधिकतम धन, लेकिन इसके अंदर एक सबफ़ंक्शन शामिल है जो ज्ञात नहीं है। एजेंट उपयुक्तता फ़ंक्शंस, किसी को इस सबफ़ंक्शन के लिए प्रयास करना चाहिए - और इसकी गणना नहीं की जा सकती।

मुझे उम्मीद है कि अब यह थोड़ा और स्पष्ट होगा।