तंत्रिका नेटवर्क, बुरी युक्तियां

ऐतिहासिक रूप से, आधे से अधिक शताब्दी के इतिहास के लिए कृत्रिम तंत्रिका नेटवर्क ने तेजी से अप की अवधि का अनुभव किया है और सार्वजनिक ध्यान में वृद्धि हुई है, साथ ही संदेह और उदासीनता की अवधि भी। अच्छे समय में, यह वैज्ञानिकों और इंजीनियरों को लगता है कि एक सार्वभौमिक तकनीक आखिरकार मिल गई है जो किसी व्यक्ति को किसी भी संज्ञानात्मक कार्य में बदल सकती है। बारिश के बाद मशरूम की तरह, तंत्रिका नेटवर्क के विभिन्न नए मॉडल उनके लेखकों, पेशेवर गणितज्ञों के बीच दिखाई देते हैं, उनके प्रस्तावित मॉडल की जैविकता की अधिक या कम डिग्री के बारे में गहन बहस होती है। पेशेवर जीवविज्ञानी इन चर्चाओं को समय-समय पर देखते हैं, समय-समय पर टूटते हैं और "हाँ, यह वास्तविक प्रकृति में नहीं होता है!" - और बहुत अधिक प्रभाव के बिना, चूंकि तंत्रिका नेटवर्क गणितज्ञ जीवविज्ञानी सुनते हैं, एक नियम के रूप में, केवल जब जीवविज्ञानी के तथ्य उनके अनुरूप होते हैं स्वयं के सिद्धांत। हालांकि, समय के साथ, कार्यों का एक पूल धीरे-धीरे जमा होता है, जिस पर तंत्रिका नेटवर्क स्पष्ट रूप से खराब होते हैं और लोगों का उत्साह ठंडा होता है।

आजकल, न्यूरल नेटवर्क महिमा के क्षेत्र में हैं, जो कि "नो टीचर" प्री-ट्रेनिंग विधि के आविष्कार के लिए धन्यवाद है, जो प्रतिबंधित बोलज़मैन मशीन (आरबीएम) पर आधारित है, जो गहन तंत्रिका नेटवर्क को प्रशिक्षित करने की अनुमति देता है (यानी, अतिरिक्त-बड़े लोगों के साथ, हज़ारों के क्रम में। न्यूरॉन्स की संख्या) और मौखिक भाषण [1] और छवियों [2] की मान्यता की व्यावहारिक समस्याओं में गहरे तंत्रिका नेटवर्क की सफलता। उदाहरण के लिए, एंड्रॉइड में भाषण मान्यता गहरे तंत्रिका नेटवर्क पर कार्यान्वित की जाती है। यह कब तक चलेगा और तंत्रिका नेटवर्क कितना गहरा होगा, इसकी अपेक्षाएं अज्ञात हैं।
इस बीच, सभी वैज्ञानिक विवादों, प्रवृत्तियों और रुझानों के समानांतर, तंत्रिका नेटवर्क के उपयोगकर्ताओं का एक समुदाय स्पष्ट रूप से प्रतिष्ठित है - सॉफ्टवेयर इंजीनियर और चिकित्सक जो तंत्रिका नेटवर्क के लागू पहलू में रुचि रखते हैं, एकत्रित डेटा से सीखने और मान्यता समस्याओं को हल करने की उनकी क्षमता है। कई व्यावहारिक वर्गीकरण और पूर्वानुमान कार्यों को बहुपरत perceptrons (बहुपरत Perceptron, MLP) और रेडियल बेसिक फंक्शन नेटवर्क (RBF) के अच्छी तरह से विकसित, अपेक्षाकृत छोटे मॉडल द्वारा आश्चर्यजनक रूप से नियंत्रित किया जाता है। इन तंत्रिका नेटवर्क को कई बार वर्णित किया गया है, मैं निम्नलिखित पुस्तकों की सलाह दूंगा, उनके लिए मेरी व्यक्तिगत सहानुभूति के क्रम में: ओसोवस्की [3], बिशप [4], खिकिन [5]; कौरसेरा और इसी तरह के संसाधनों पर भी अच्छे पाठ्यक्रम हैं ।

हालांकि, व्यवहार में तंत्रिका नेटवर्क का उपयोग करने के सामान्य दृष्टिकोण के संबंध में, यह सामान्य रूप से नियतात्मक विकास के दृष्टिकोण से अलग है "क्रमादेशित, काम करता है, जिसका अर्थ है कि यह हमेशा काम करता है।" तंत्रिका नेटवर्क स्वाभाविक रूप से संभाव्य मॉडल हैं, और उनके लिए दृष्टिकोण पूरी तरह से अलग होना चाहिए। दुर्भाग्य से, कई प्रोग्रामर जो सामान्य और तंत्रिका नेटवर्क में मशीन सीखने की तकनीक के लिए नए हैं, विशेष रूप से सिस्टम त्रुटियां करते हैं जब उनके साथ काम करते हैं, तो वे निराश होते हैं और इस चीज को छोड़ देते हैं। हुर्र पर एक वास्तविक ग्रंथ लिखने का विचार तंत्रिका नेटवर्क के ऐसे निराश उपयोगकर्ताओं के साथ बात करने के बाद उत्पन्न हुआ - उत्कृष्ट, अनुभवी, आश्वस्त प्रोग्रामर।

यहाँ तंत्रिका नेटवर्क का उपयोग करने के लिए नियमों और सामान्य गलतियों की सूची है।

1. यदि यह संभव है कि तंत्रिका नेटवर्क का उपयोग न करें - उनका उपयोग न करें।
तंत्रिका नेटवर्क समस्या को हल करना संभव बनाता है अगर आंखों के माध्यम से बार-बार (या बहुत अधिक) डेटा को देखकर एल्गोरिथ्म को प्रस्तावित करना असंभव है। उदाहरण के लिए, यदि बहुत अधिक डेटा है, तो वे गैर-रैखिक, शोर और / या बड़े हैं।

2. तंत्रिका नेटवर्क की जटिलता कार्य की जटिलता के लिए पर्याप्त होनी चाहिए।
आधुनिक व्यक्तिगत कंप्यूटर (उदाहरण के लिए, कोर i5, 8 जीबी रैम) आपको एक आरामदायक समय में सैकड़ों उदाहरणों के सैकड़ों के इनपुट डेटा के साथ तंत्रिका नेटवर्क को प्रशिक्षित करने की अनुमति देता है। बड़े नमूने मल्टीपर्पस जीपीयू पर प्रशिक्षण देने वाले उपर्युक्त गहरे तंत्रिका नेटवर्क के लिए एक चुनौती हैं। ये मॉडल बहुत दिलचस्प हैं, लेकिन असली हब्र लेख के फोकस से बाहर हैं।

3. प्रशिक्षण के लिए डेटा प्रतिनिधि होना चाहिए।
प्रशिक्षण नमूना पूरी तरह से और विविध रूप से वर्णित घटना का प्रतिनिधित्व करना चाहिए, विभिन्न संभावित स्थितियों को शामिल करना चाहिए। यह बहुत अच्छा है जब बहुत अधिक डेटा होता है, लेकिन यह अपने आप में हमेशा मदद नहीं करता है। संकीर्ण हलकों में, एक मजाक व्यापक रूप से होता है जब एक भूविज्ञानी एक पहचानकर्ता के पास आता है, तो उसके सामने खनिज का एक टुकड़ा डालता है और उससे ऐसे पदार्थ के लिए एक मान्यता प्रणाली विकसित करने के लिए कहता है। "क्या डेटा के अधिक उदाहरण देना संभव है?" पहचानकर्ता पूछता है। "बेशक!" भूविज्ञानी जवाब देता है, एक पिकैक्स निकालता है और अपने खनिज के टुकड़े को कई और टुकड़ों में विभाजित करता है। जैसा कि आप जानते हैं, इस तरह के ऑपरेशन में कोई फायदा नहीं होगा - ऐसा बढ़ा हुआ नमूना कोई नई जानकारी नहीं रखता है।

4. चयन में फेरबदल करें।
इनपुट और आउटपुट डेटा वैक्टर एकत्र किए जाने के बाद, यदि माप आपस में स्वतंत्र हैं, तो वैक्टर के क्रम को अनियंत्रित तरीके से बदल दें। यह नमूना को ट्रेन / टेस्ट / वैधता में और सभी प्रशिक्षण विधियों जैसे "नमूना-दर-उदाहरण" ("नमूना-दर-नमूना") के लिए सही ढंग से विभाजित करने के लिए महत्वपूर्ण है।

5. डेटा को सामान्य और केंद्रित करें।
बहुपरत पेसेप्ट्रॉन और कई अन्य मॉडलों के लिए, इनपुट डेटा के मूल्यों को [-1; 1] के भीतर होना चाहिए। उन्हें तंत्रिका नेटवर्क में जमा करने से पहले, डेटा से औसत घटाएं और सभी मानों को अधिकतम मूल्य से विभाजित करें।

6. नमूना को ट्रेन, टेस्ट और सत्यापन में विभाजित करें।
शुरुआती लोगों की मुख्य गलती प्रशिक्षण सेट में तंत्रिका नेटवर्क के काम में एक न्यूनतम त्रुटि सुनिश्चित करने के साथ-साथ इसे विनम्रतापूर्वक वापस लेने और फिर नए वास्तविक डेटा पर एक ही अच्छी गुणवत्ता चाहते हैं। यह विशेष रूप से करना आसान है अगर थोड़ा डेटा है (या वे सभी "एक टुकड़े में" हैं)। परिणाम बहुत निराशाजनक हो सकता है: तंत्रिका नेटवर्क अधिकतम नमूने के अनुकूल होगा और वास्तविक डेटा पर काम करने की क्षमता खो देगा। अपने मॉडल की सामान्यीकरण क्षमताओं को नियंत्रित करने के लिए - 70: 20: 10 के अनुपात के साथ सभी डेटा को तीन नमूनों में विभाजित करें। ट्रेन पर अध्ययन करें, समय-समय पर मॉडल की गुणवत्ता की जांच करें। एक अंतिम, निष्पक्ष मूल्यांकन, सत्यापन के लिए।
क्रॉस-मान्यता तकनीक, जब ट्रेन और टेस्ट एक ही डेटा से कई बार मनमाने तरीके से बनते हैं, चालाक हो सकते हैं और एक अच्छी गुणवत्ता प्रणाली की गलत धारणा दे सकते हैं - उदाहरण के लिए, यदि डेटा विभिन्न स्रोतों से लिया गया है और यह महत्वपूर्ण है। सही सत्यापन का उपयोग करें!

7. नियमितीकरण लागू करें।
नियमितिकरण एक ऐसी तकनीक है जो प्रशिक्षण के दौरान तंत्रिका नेटवर्क के पुनः उपयोग से बचती है, भले ही थोड़ा डेटा हो। यदि आप इस शब्द के साथ एक चेकमार्क पाते हैं, तो इसे रखना सुनिश्चित करें। एक छंटनी की गई तंत्रिका नेटवर्क का एक संकेत वजन का बड़ा मूल्य है, सैकड़ों और हजारों के क्रम में, ऐसा तंत्रिका नेटवर्क सामान्य रूप से नए डेटा पर काम नहीं करेगा जो पहले नहीं देखा गया है

8. तंत्रिका नेटवर्क को ऑनलाइन रीटेन करने की आवश्यकता नहीं है।
नए आने वाले डेटा पर हर समय स्थायी रूप से तंत्रिका नेटवर्क को प्रशिक्षित करने का विचार अपने आप में सही है, और वास्तविक जैविक प्रणालियों में ठीक यही होता है। हम हर दिन सीखते हैं और शायद ही कभी पागल होते हैं। फिर भी, तकनीकी विकास के आधुनिक चरण में साधारण कृत्रिम तंत्रिका नेटवर्क के लिए, यह अभ्यास जोखिम भरा है: नेटवर्क प्राप्त किए गए नवीनतम डेटा को पुनः प्राप्त या समायोजित कर सकता है - और अपनी सामान्यीकरण क्षमताओं को खो सकता है। व्यवहार में उपयोग की जाने वाली प्रणाली के लिए, तंत्रिका नेटवर्क होना चाहिए: 1) प्रशिक्षित, 2) परीक्षण और सत्यापन के नमूनों पर गुणवत्ता का परीक्षण करें, 3) नेटवर्क का एक सफल संस्करण चुनें, उसके भार को रिकॉर्ड करें और 4) अभ्यास में एक प्रशिक्षित तंत्रिका नेटवर्क का उपयोग करें, प्रक्रिया में वजन। उपयोग न बदलें।

9. नए शिक्षण एल्गोरिदम का उपयोग करें: लेवेनबर्ग-मार्क्वार्ड, बीएफजीएस, कंजुगेट ग्रेडिएंट्स आदि।
मुझे इस बात पर गहरा यकीन है कि बैकप्रॉपैगैशन ट्रेनिंग को लागू करना सभी का पवित्र कर्तव्य है जो तंत्रिका नेटवर्क के साथ काम करता है। यह विधि सबसे सरल, अपेक्षाकृत आसान कार्यक्रम है, और तंत्रिका नेटवर्क की सीखने की प्रक्रिया का एक अच्छा अध्ययन करने की अनुमति देता है। इस बीच, 70 के दशक की शुरुआत में बैकप्रॉपैगैनेशन का आविष्कार किया गया था और पिछली शताब्दी के मध्य 80 के दशक में लोकप्रिय हो गया था, तब से अधिक उन्नत तरीके दिखाई दिए हैं जो प्रशिक्षण की गुणवत्ता में काफी सुधार कर सकते हैं। उनका बेहतर उपयोग करें।

MATLAB और इसी तरह के अनुकूल वातावरण में ट्रेन तंत्रिका नेटवर्क।
यदि आप तंत्रिका नेटवर्क के प्रशिक्षण के लिए नए तरीके विकसित करने वाले वैज्ञानिक नहीं हैं, लेकिन एक व्यावहारिक प्रोग्रामर हैं, तो मैं आपके स्वयं के तंत्रिका नेटवर्क के प्रशिक्षण के लिए प्रक्रिया को कोडित करने की सिफारिश नहीं करूंगा। मुख्य रूप से MATLAB और पायथन पर बड़ी संख्या में सॉफ़्टवेयर पैकेज हैं, जो आपको सुविधाजनक दृश्य और डीबगिंग टूल का उपयोग करके सीखने और परीक्षण की प्रक्रिया को नियंत्रित करते हुए तंत्रिका नेटवर्क को प्रशिक्षित करने की अनुमति देते हैं। मानव जाति की विरासत का उपयोग करें! मुझे व्यक्तिगत रूप से "एक अच्छे पुस्तकालय के साथ MATLAB में सीखना - अपने हाथों से एक प्रशिक्षित मॉडल लागू करना" पसंद है, यह काफी शक्तिशाली और लचीला है। एक अपवाद STATISTICA पैकेज है, जिसमें तंत्रिका नेटवर्क के प्रशिक्षण के लिए उन्नत तरीके हैं और आपको सी कोड के रूप में उन्हें उत्पन्न करने की अनुमति देता है जो कार्यान्वयन के लिए सुविधाजनक है।

अगले लेख में, मैं ऊपर वर्णित सिद्धांतों के आधार पर कार्यान्वित एक वाणिज्यिक सॉफ्टवेयर उत्पाद में मान्यता कार्यों के लिए उपयोग किए जाने वाले तंत्रिका नेटवर्क को तैयार करने के पूर्ण औद्योगिक चक्र का विस्तार से वर्णन करने की योजना बना रहा हूं।

सौभाग्य!

साहित्य

[१] Hinton G., Deng L., Yu D., Dahl G., Mohamed A., Jaitly N., Senior A., ​​Vanhoucke V., Nguyen P., Sainath T. और Kingsbury B. Deep Gural Networks के लिए। भाषण मान्यता, IEEE सिग्नल प्रोसेसिंग पत्रिका, वॉल्यूम में ध्वनिक मॉडलिंग। 29, नहीं। 6, 2012, पीपी। 82 - 97।
[२] ट्रैफ़िक साइन वर्गीकरण के लिए Ciresan D., Meier U., Masci J और Schmidhuber J. Multi-column Deep Neural Network। तंत्रिका नेटवर्क, वॉल्यूम। 34, अगस्त 2012, पीपी। 333 - 338
[३] एस। ओसोव्स्की। सूचना प्रसंस्करण के लिए तंत्रिका नेटवर्क। पोलिश से। एम ।: वित्त और सांख्यिकी, 2002. - 344 पी।
[४] बिशप सीएम पैटर्न मान्यता और मशीन लर्निंग। स्प्रिंगर, 2006 - 738 पी।
[५] एस। खिकिन तंत्रिका नेटवर्क: एक पूर्ण पाठ्यक्रम। विलियम्स, 2006।