प्रोफेसर एनजी ने हमें क्या नहीं सिखाया

जैसा कि हैबे पर चर्चा से देखा जा सकता है, स्टैनफोर्ड विश्वविद्यालय में ml-class.org पर दर्जनों हाब्रोव्स्क नागरिकों ने भाग लिया, जो कि आकर्षक प्रोफेसर एंड्रयू एनजी द्वारा संचालित किया गया था। मुझे भी इस कोर्स को सुनने में बहुत मज़ा आया। दुर्भाग्य से, योजना में कहा गया एक बहुत ही दिलचस्प विषय व्याख्यान से बाहर हो गया: एक शिक्षक के साथ शिक्षण और एक शिक्षक के बिना शिक्षण का संयोजन। जैसा कि यह पता चला, प्रोफेसर एनजी ने इस विषय पर एक उत्कृष्ट पाठ्यक्रम प्रकाशित किया - अनसुप्राइज़्ड फ़ीचर लर्निंग एंड डीप लर्निंग (सहज सुविधा निष्कर्षण और गहन शिक्षण)। मैं इस पाठ्यक्रम का एक संक्षिप्त सारांश, सख्त प्रदर्शनी और सूत्रों की एक बहुतायत के बिना प्रस्तुत करता हूं। मूल में यह सब है।

मेरे इनसेट में इटैलिक टाइप किए गए हैं, जो मूल पाठ का हिस्सा नहीं हैं, लेकिन मैं विरोध नहीं कर सका और अपनी टिप्पणियों और विचारों को शामिल किया। मैं मूल से चित्र का उपयोग करते हुए बेशर्मी के लिए लेखक से माफी मांगता हूं। मैं अंग्रेजी से कुछ शब्दों के प्रत्यक्ष अनुवाद के लिए भी माफी मांगता हूं (उदाहरण के लिए, स्थानिक ऑटोसेनोडर -> विरल ऑटो-एनकोडर)। हम स्टैनफोर्डियन रूसी शब्दावली को अच्छी तरह से नहीं जानते हैं :)

विरल ऑटो एनकोडर

प्रत्यक्ष वितरण के सबसे अधिक उपयोग किए जाने वाले तंत्रिका नेटवर्क का उद्देश्य एक शिक्षक के साथ प्रशिक्षण के लिए किया जाता है और इसका उपयोग, उदाहरण के लिए, वर्गीकरण के लिए किया जाता है। इस तरह के तंत्रिका नेटवर्क की टोपोलॉजी का एक उदाहरण चित्र में दिखाया गया है:



इस तरह के एक तंत्रिका नेटवर्क का प्रशिक्षण आमतौर पर इस तरह से त्रुटि के पीछे प्रसार की विधि द्वारा किया जाता है जैसे कि प्रशिक्षण नमूने में नेटवर्क प्रतिक्रिया के रूट-मीन-स्क्वायर त्रुटि को कम करना। इस प्रकार, प्रशिक्षण सेट में फीचर वैक्टर (इनपुट डेटा) और संदर्भ वैक्टर (लेबल डेटा) {(x, y)} के जोड़े शामिल हैं।

अब कल्पना करें कि हमारे पास लेबल वाले डेटा नहीं हैं - बस फ़ीचर वैक्टर {x} का एक सेट। एक ऑटो एनकोडर एक शिक्षक रहित शिक्षण एल्गोरिथ्म है जो एक तंत्रिका नेटवर्क और एक पीठ प्रसार विधि का उपयोग करता है ताकि यह सुनिश्चित हो सके कि इनपुट सुविधा वेक्टर इनपुट वेक्टर के बराबर एक नेटवर्क प्रतिक्रिया प्राप्त करता है, अर्थात। y = x । ऑटो एनकोडर उदाहरण:



ऑटो एनकोडर फंक्शन h (x) = x बनाने की कोशिश कर रहा है। दूसरे शब्दों में, यह इस तरह के एक फ़ंक्शन का एक अनुमान लगाने की कोशिश करता है ताकि तंत्रिका नेटवर्क की प्रतिक्रिया लगभग इनपुट सुविधाओं के मूल्य के बराबर हो। इस समस्या के समाधान के लिए गैर-तुच्छ होने के लिए, नेटवर्क टोपोलॉजी पर विशेष शर्तें लगाई जाती हैं:

• छिपी हुई परत में न्यूरॉन्स की संख्या इनपुट डेटा के आयाम से कम होनी चाहिए (जैसा कि आंकड़ा में है), या
• छिपी परत में न्यूरॉन्स का सक्रियण विरल होना चाहिए।

पहली सीमा नेटवर्क आउटपुट पर इनपुट सिग्नल संचारित करते समय डेटा संपीड़न की अनुमति देती है। उदाहरण के लिए, यदि इनपुट वेक्टर 10x10 पिक्सल (कुल 100 विशेषताओं) की छवि चमक स्तरों का एक सेट है, और छिपी हुई परत में न्यूरॉन्स की संख्या 50 है, तो नेटवर्क को छवि संपीड़न सीखने के लिए मजबूर किया जाता है। दरअसल, आवश्यकता h (x) = x का अर्थ है कि, छिपी हुई परत के पचास न्यूरॉन्स के सक्रियण स्तर के आधार पर, आउटपुट परत को मूल छवि के 100 पिक्सल को पुनर्स्थापित करना चाहिए। इस तरह की संपीड़न संभव है यदि डेटा में छिपे हुए संबंध, विशेषताओं का सहसंबंध और आमतौर पर किसी प्रकार की संरचना है। इस रूप में, ऑटो-एनकोडर का संचालन इस तरह से मुख्य घटकों (पीसीए) के विश्लेषण की विधि के समान है कि इनपुट डेटा की गतिशीलता कम हो जाती है।

दूसरी सीमा - छिपी हुई परत न्यूरॉन्स की विरल सक्रियण की आवश्यकता - जब आप छिपे हुए परत न्यूरॉन्स की संख्या इनपुट डेटा के आयाम से अधिक है, तो भी आपको गैर-तुच्छ परिणाम प्राप्त करने की अनुमति देता है। यदि हम अनौपचारिक रूप से विरलता का वर्णन करते हैं, तो हम एक न्यूरॉन को सक्रिय मानेंगे जब इसके स्थानांतरण फ़ंक्शन का मान 1 के करीब होता है। यदि एक सिग्मॉइड ट्रांसफर फ़ंक्शन का उपयोग किया जाता है, लेकिन एक निष्क्रिय न्यूरॉन के लिए इसका मान 0 के करीब होना चाहिए (हाइपरबोलिन स्पर्शरेखा फ़ंक्शन के लिए -1)। विरल सक्रियण तब होता है जब छिपी हुई परत में निष्क्रिय न्यूरॉन्स की संख्या सक्रिय लोगों की संख्या से अधिक हो जाती है।

यदि हम छिपे हुए परत न्यूरॉन्स के सक्रियण के औसत (प्रशिक्षण नमूने पर) मूल्य के रूप में पी के मूल्य की गणना करते हैं, तो हम बैकप्रॉपैजैशन विधि द्वारा एक तंत्रिका नेटवर्क के क्रमिक सीखने में उपयोग किए जाने वाले उद्देश्य फ़ंक्शन में एक अतिरिक्त जुर्माना शब्द पेश कर सकते हैं। सूत्र मूल व्याख्यान में हैं, और दंड गुणांक का अर्थ प्रतिगमन गुणांक की गणना में नियमितीकरण तकनीक के समान है: यदि पूर्व निर्धारित स्पार्सिटी पैरामीटर से भिन्न होता है, तो त्रुटि फ़ंक्शन काफी बढ़ जाता है। उदाहरण के लिए, हमें आवश्यकता हो सकती है कि प्रशिक्षण नमूने के लिए औसत सक्रियण मान 0.05 हो।

छिपे हुए परत न्यूरॉन्स के विरल सक्रियण की आवश्यकता एक हड़ताली जैविक सादृश्य है। मस्तिष्क की संरचना के मूल सिद्धांत के लेखक, जेफ हॉकिन्स, न्यूरॉन्स के बीच निरोधात्मक कनेक्शन के मूल महत्व को नोट करते हैं (रूसी पाठ पदानुक्रमित टेम्पोरल मेमोरी (HTM) और इसके कॉर्टिकल लर्निंग एल्गोरिदम देखें )। एक ही परत में स्थित न्यूरॉन्स के बीच मस्तिष्क में "क्षैतिज कनेक्शन" की एक बड़ी संख्या होती है। हालांकि सेरेब्रल कॉर्टेक्स में न्यूरॉन्स बहुत कसकर परस्पर जुड़े होते हैं, कई निरोधात्मक (निरोधात्मक) न्यूरॉन्स गारंटी देते हैं कि सभी न्यूरॉन्स का केवल एक छोटा प्रतिशत एक समय में सक्रिय होगा। यही है, यह पता चलता है कि जानकारी हमेशा मस्तिष्क में केवल सभी उपलब्ध सक्रिय न्यूरॉन्स की एक छोटी संख्या द्वारा प्रस्तुत की जाती है। यह, जाहिरा तौर पर, मस्तिष्क को सामान्यीकरण करने की अनुमति देता है, उदाहरण के लिए, कार की तरह किसी भी कोण से कार की छवि को देखने के लिए।

छिपे हुए परत कार्यों का दृश्य

एक गैर-सूचीबद्ध डेटासेट पर ऑटो एनकोडर को प्रशिक्षित करने के बाद, आप इस एल्गोरिथ्म द्वारा अनुमानित कार्यों की कल्पना कर सकते हैं। 10x10 पिक्सेल छवियों पर एक एनकोडर प्रशिक्षण के उपरोक्त उदाहरण का दृश्य बहुत स्पष्ट है। हम खुद से पूछते हैं: "इनपुट x के किस संयोजन से छिपे हुए न्यूरॉन नंबर i की अधिकतम सक्रियता का कारण होगा?", यह है कि इनपुट डेटा की प्रत्येक विशेषता के लिए छिपे हुए न्यूरॉन्स में से प्रत्येक के लिए क्या सेट है?

इस प्रश्न का एक गैर-तुच्छ उत्तर व्याख्यान में निहित है, और हम 100 न्यूरॉन्स की छिपी हुई परत के साथ नेटवर्क फ़ंक्शन की कल्पना करते समय खुद को उस दृष्टांत तक सीमित रखते हैं।



प्रत्येक वर्ग का टुकड़ा एक इनपुट छवि x का प्रतिनिधित्व करता है, जो अधिकतम छिपे हुए न्यूरॉन्स में से एक को सक्रिय करता है। चूंकि संबंधित तंत्रिका नेटवर्क को प्राकृतिक छवियों (उदाहरण के लिए, प्रकृति की तस्वीरों के टुकड़े) के उदाहरणों का उपयोग करके प्रशिक्षित किया गया था, छिपी हुई परत के न्यूरॉन्स ने स्वतंत्र रूप से विभिन्न कोणों से आकृति का पता लगाने के कार्यों का अध्ययन किया!

मेरी राय में, यह बहुत प्रभावशाली परिणाम है। तंत्रिका नेटवर्क ने स्वतंत्र रूप से, बड़ी संख्या में विविध छवियों को देखते हुए, मनुष्यों और जानवरों के मस्तिष्क में जैविक संरचनाओं के समान एक संरचना का निर्माण किया। जैसा कि जे। निकोलस और अन्य लोगों द्वारा महान पुस्तक "द न्यूरॉन से दि ब्रेन" के लिए निम्नलिखित दृष्टांत से देखा जा सकता है, यह है कि मस्तिष्क के निचले दृश्य वर्गों को कैसे व्यवस्थित किया जाता है:



आकृति बिल्ली के धारीदार कॉर्टेक्स में दृश्य उत्तेजनाओं के लिए जटिल कोशिकाओं की प्रतिक्रियाओं को दिखाती है। सेल लंबवत सीमा (पहले टुकड़े को देखें) के सर्वोत्तम तरीके (अधिकांश आउटपुट दालों) में प्रतिक्रिया करता है। क्षैतिज सीमा पर प्रतिक्रिया व्यावहारिक रूप से अनुपस्थित है (तीसरा टुकड़ा देखें)। धारीदार कॉर्टेक्स में एक जटिल कोशिका लगभग कृत्रिम न्यूरल नेटवर्क की छिपी हुई परत में हमारे प्रशिक्षित न्यूरॉन से मेल खाती है।

छिपी हुई परत के न्यूरॉन्स का पूरा सेट विभिन्न कोणों पर आकृति (चमक में अंतर की सीमाओं) का पता लगाने के लिए सीखा - जैसे एक जैविक मस्तिष्क में। "न्यूरॉन से मस्तिष्क तक" पुस्तक का निम्नलिखित चित्रण योजनाबद्ध रूप से न्यूरॉन्स के ग्रहणशील क्षेत्रों के अभिविन्यास अक्ष को दर्शाता है क्योंकि वे बिल्ली के मस्तिष्क के प्रांतस्था में गहरी डुबकी लगाते हैं। इसी तरह के प्रयोगों से यह स्थापित करने में मदद मिली कि बिल्लियों और बंदरों में समान गुणों वाली कोशिकाओं को स्तंभों में व्यवस्थित किया जाता है जो कॉर्टेक्स की सतह पर कुछ कोणों पर जाते हैं। स्तंभ में अलग-अलग न्यूरॉन्स, सफेद पृष्ठभूमि पर एक काले रंग की पट्टी के साथ जानवर के दृष्टि क्षेत्र के संबंधित हिस्से के दृश्य जलन पर सक्रिय होते हैं, जो स्तंभ में प्रत्येक न्यूरॉन के लिए एक निश्चित कोण पर घुमाया जाता है।

स्वयं सीखने

एक विश्वसनीय मशीन लर्निंग सिस्टम प्राप्त करने का सबसे प्रभावी तरीका है, जितना संभव हो उतना डेटा के साथ लर्निंग एल्गोरिदम प्रदान करना। बड़े पैमाने पर समस्याओं को हल करने के अनुभव के अनुसार, एक गुणात्मक संक्रमण तब होता है जब प्रशिक्षण नमूने की मात्रा 1-10 मिलियन नमूनों से अधिक हो जाती है। आप एक शिक्षक के साथ प्रशिक्षण के लिए अधिक लेबल डेटा प्राप्त करने का प्रयास कर सकते हैं, लेकिन यह हमेशा संभव नहीं है (और लागत प्रभावी)। इसलिए, तंत्रिका नेटवर्क के स्व-प्रशिक्षण के लिए अचिह्नित डेटा का उपयोग आशाजनक लगता है।

चिह्नित डेटा में लेबल किए गए डेटा की तुलना में प्रशिक्षण के लिए कम जानकारी है। लेकिन शिक्षक के बिना सीखने के लिए उपलब्ध आंकड़ों की मात्रा बहुत अधिक है। उदाहरण के लिए, छवि पहचान कार्यों में असीमित संख्या में डिजिटल तस्वीरें इंटरनेट पर उपलब्ध हैं, और उनमें से केवल एक नगण्य प्रतिशत चिह्नित है।

सेल्फ-लर्निंग एल्गोरिदम में, हम अपने तंत्रिका नेटवर्क को बड़ी मात्रा में अचिह्नित डेटा देंगे, जिससे नेटवर्क अन्य विशेषताओं को निकालना सीखेगा। इसके अलावा, इन विशेषताओं का उपयोग अपेक्षाकृत छोटे, लेबल प्रशिक्षण नमूनों के उपयोग से विशिष्ट क्लासिफायरियर को प्रशिक्षित करने के लिए किया जा सकता है।

आइए हम 6 इनपुट और एक छिपी हुई परत के तीन न्यूरॉन्स के साथ तंत्रिका नेटवर्क के रूप में आत्म-शिक्षा के पहले चरण को चित्रित करें। इन न्यूरॉन्स के आउटपुट सामान्यीकृत संकेत होंगे जो विरल ऑटो-एनकोडर एल्गोरिथ्म द्वारा अनलिस्टेड डेटा से निकाले जाते हैं।

अब आप तंत्रिका नेटवर्क की आउटपुट परत को प्रशिक्षित कर सकते हैं, या चयनित सुविधाओं के आधार पर वर्गीकरण को प्रशिक्षित करने के लिए लॉजिस्टिक रिग्रेशन, एक सपोर्ट वेक्टर मशीन, या सॉफ्टमैक्स एल्गोरिदम का उपयोग कर सकते हैं। इन पारंपरिक एल्गोरिदम के लिए, चिह्नित प्रशिक्षण नमूना xm को इनपुट के रूप में उपयोग किया जाएगा। स्व-शिक्षण नेटवर्क की टोपोलॉजी के लिए दो विकल्प संभव हैं:

• पारंपरिक क्लासिफायरियर के इनपुट पर (उदाहरण के लिए, तंत्रिका नेटवर्क की आउटपुट परत) केवल संकेत दिए गए हैं ;
• पारंपरिक क्लासिफायरियर के इनपुट पर (उदाहरण के लिए, तंत्रिका नेटवर्क की आउटपुट परत) एक संकेत देता है और इनपुट संकेत xm दिए जाते हैं ।

इसके अलावा, एनजी व्याख्यान, बहुपरत नेटवर्क और उनके प्रशिक्षण के लिए ऑटो-एनकोडर के उपयोग पर चर्चा की जाती है।