🥇 🗄️ 👨🏽‍🎤 SOINN - रोबोटों के लिए एक स्व-शिक्षण एल्गोरिदम 👩🏽‍🎓 🕺🏽 ♓️

पोस्ट नंबर 1। SOINN क्या है

SOINN रोबोट

SOINN एक स्व-व्यवस्थित वृद्धिशील तंत्रिका नेटवर्क है। इस तरह के एक तंत्रिका नेटवर्क की संरचना और एल्गोरिथ्म ने स्पष्ट रूप से जापानी प्रयोगशाला हसेगावा (वेबसाइट haselab.info ) में अच्छी तरह से काम किया है, क्योंकि इसे अंततः आधार के रूप में लिया गया था और कृत्रिम बुद्धिमत्ता एल्गोरिदम का आगे का विकास छोटे संशोधनों और SOINN नेटवर्क के ऐड-ऑन के माध्यम से हुआ।

SOINN कोर नेटवर्क में दो लेयर होते हैं। नेटवर्क एक इनपुट वेक्टर प्राप्त करता है और प्रशिक्षण के बाद पहली परत पर एक नोड (न्यूरॉन) बनाता है - इनपुट डेटा के लिए परिभाषित वर्ग। यदि इनपुट वेक्टर एक मौजूदा वर्ग के समान है (सीखने की एल्गोरिथ्म की सेटिंग्स द्वारा समानता का माप निर्धारित किया जाता है), तो पहली परत के दो सबसे समान न्यूरॉन्स संचार द्वारा संयुक्त होते हैं, या यदि इनपुट वेक्टर एक से अधिक मौजूदा वर्ग की तरह नहीं दिखता है, तो पहली परत में एक नया न्यूरॉन बनाया जाता है जो वर्तमान वर्ग को परिभाषित करता है। पहली परत के बहुत समान न्यूरॉन्स, एक कनेक्शन द्वारा एकजुट होते हैं, उन्हें एक वर्ग के रूप में परिभाषित किया जाता है। पहली परत दूसरी परत के लिए इनपुट परत है, और एक समान एल्गोरिथ्म के अनुसार, कुछ अपवादों के साथ, दूसरी परत में कक्षाएं बनाई जाती हैं।

SOINN के आधार पर, ऐसे नेटवर्क बनाए गए थे (इसके रचनाकारों से नेटवर्क का नाम और विवरण नीचे प्रस्तुत किया गया है):

ESOINN - तंत्रिका नेटवर्क का विस्तार SOINN बाहरी हस्तक्षेप के बिना और सीखने के कार्य को निर्धारित किए बिना ऑनलाइन सीखता है। यह ऑन-लाइन अनियंत्रित वर्गीकरण और प्रशिक्षण टोपोलॉजी के लिए SOINN नेटवर्क का एक उन्नत संस्करण है। 1 - इस नेटवर्क में SOINN में दो परतों के विपरीत एक परत होती है; 2 - ओवरलैप के उच्च घनत्व के साथ इसके क्लस्टर; 3 - यह SOINN की तुलना में कम मापदंडों का उपयोग करता है; और 4 - यह SOINN की तुलना में अधिक स्थिर है। डेमो डेटा और वास्तविक डेटा पर प्रयोग यह भी बताते हैं कि ESOINN SOINN से बेहतर काम करता है।

ASC डेटा क्लासिफायर SOINN पर आधारित है। यह स्वचालित रूप से प्रोटोटाइप की संख्या निर्धारित करता है और पहले से संग्रहीत जानकारी को हटाए बिना नई जानकारी को आत्मसात करता है। यह शोर डेटा के लिए प्रतिरोधी है, वर्गीकरण बहुत तेज है। प्रयोग में, हम ASC को दर्शाने के लिए डेमो डेटा और वास्तविक डेटा सेट दोनों का उपयोग करते हैं। इसके अतिरिक्त, हम ASC की तुलना उसके वर्गीकरण, संपीड़न और वर्गीकरण की गति के आधार पर अन्य क्लासिफायर-आधारित परिणामों के साथ करते हैं। परिणाम बताते हैं कि एएससी का प्रदर्शन बेहतर है और यह एक बहुत प्रभावी क्लासिफायरियर ( मूल से लिंक ) है।

GAM - सामान्य सहयोगी मेमोरी (GAM) एक प्रणाली है जो अन्य प्रकार की साहचर्य मेमोरी (AM) के कार्यों को जोड़ती है। GAM एक नेटवर्क है जिसमें तीन लेयर होते हैं: एक इनपुट लेयर, एक मेमोरी लेयर और एक एसोसिएटिव लेयर। इनपुट लेयर इनपुट वैक्टर को स्वीकार करता है। एक मेमोरी लेयर समान कक्षाओं में इनपुट स्टोर करती है। साहचर्य परत वर्गों के बीच साहचर्य संबंध बनाती है। GAM बाइनरी या नॉन-बाइनरी जानकारी को स्टोर और कॉल कर सकता है, कई-से-कई एसोसिएशन बना सकता है, स्थिर डेटा और सूचना के समय अनुक्रम दोनों को स्टोर और याद कर सकता है। यह जानकारी को याद कर सकता है, भले ही उसमें अधूरा इनपुट डेटा या शोर डेटा हो। वास्तविक समय के बाइनरी डेटा प्रयोगों, स्थिर डेटा और समय अनुक्रम डेटा प्राप्त करना, यह दर्शाता है कि GAM एक कुशल प्रणाली है। ह्यूमनॉइड रोबोट का उपयोग करने वाले प्रयोगों में, वह दर्शाता है कि जीएएम वास्तविक समस्याओं को हल कर सकता है और विभिन्न आकारों ( मूल से लिंक ) के साथ डेटा संरचनाओं के बीच संबंध बना सकता है।

नया STAR-SOINN (STAtICAL Recognition - Self-Organizing and Incremental Neural Networks) - स्मार्ट रोबोट बनाने के लिए, हमें एक स्वायत्त रोबोट का एक मानसिक प्रणाली विकसित करना होगा जो एक व्यक्ति, उसके पर्यावरण और इंटरनेट से लगातार और तेज़ी से सीखता है। इसलिए, हम STAR-SOINN नेटवर्क की पेशकश करते हैं - एक अल्ट्रा-फास्ट, मल्टीमॉडल नेटवर्क जो वास्तविक समय में सीखता है और इंटरनेट के माध्यम से आगे सीखने की क्षमता रखता है। हमने इस शिक्षण पद्धति का मूल्यांकन करने के लिए प्रयोग किए और अन्य शिक्षण विधियों के साथ परिणामों की तुलना की। परिणाम से पता चलता है कि मान्यता सटीकता एक प्रणाली से अधिक है जो बस शर्तों को जोड़ती है। इसके अलावा, प्रस्तावित विधि बहुत तेज़ी से काम कर सकती है (ऑब्जेक्ट का अध्ययन करने के लिए लगभग 1 सेकंड के लिए, वस्तु को पहचानने के लिए 25 मिलीसेकंड)। एल्गोरिथ्म ज्ञात वस्तुओं की विशेषता जानकारी को खोजकर "अज्ञात" वस्तुओं की विशेषताओं की पहचान करने में सक्षम था। अंत में, हमने तय किया कि यह प्रणाली संभावित रूप से भविष्य के रोबोटों के लिए अंतर्निहित तकनीक बन रही है।

SOIAM साहचर्य स्मृति के लिए SOINN का एक संशोधन है।

एसओएनएन-पीबीआर - स्थिति का उपयोग करते हुए नियम बनाने के लिए एसओएनएन का संशोधन -> तब (यदि-तब)

एएमडी (ऑटोनॉमस मेंटल डेवलपमेंट) - विभिन्न समस्याओं को हल करने के तरीके जानने के लिए इस एल्गोरिदम का उपयोग करने वाला रोबोट।

SOINN एल्गोरिथ्म के ब्लॉक आरेख को यहाँ देखा जा सकता है।

पत्रिका को पीडीएफ प्रारूप में लिंक करें, जिसमें अंग्रेजी में SOINN नेटवर्क की कई किस्मों का वर्णन किया गया है और जहां मैंने रूसी में नोट्स बनाए हैं (मैंने rar संग्रह को पैक किया है, पत्रिका का मूल आकार 20 mb है ( ऑनलाइन पढ़ा गया है ), संग्रह का आकार 13 mb ( डाउनलोड संग्रह ) है।

पीडीएफ प्रारूप में एक अन्य पत्रिका से लिंक करें, जिसमें अंग्रेजी में SOINN नेटवर्क की कई किस्मों का वर्णन है और जहां मैंने रूसी में नोट्स बनाए (मैंने संग्रह को rar संग्रह में पैक किया है, पत्रिका का मूल आकार 4mb है ( ऑनलाइन पढ़ा गया ), संग्रह का आकार 2.5mb है ( डाउनलोड संग्रह) )।

SOINN नेटवर्क के बारे में रूसी भाषा के इंटरनेट पर केवल कुछ ही लेख हैं जो इस एल्गोरिथ्म पर काम करने वाले रोबोट ने समस्याओं के समाधान का पता लगाया है, और अगर उन्होंने यह नहीं बताया कि समस्या को कैसे हल किया जाए, तो यह इंटरनेट से जुड़ता है और वहां समाधान की तलाश करता है। लेकिन मुझे एल्गोरिथ्म और कोड के संचालन के उदाहरण नहीं मिले। रोबोक्राफ्ट पर केवल एक लेख था जहां ओपनसीवी के साथ संयोजन के रूप में एसओएनएन नेटवर्क के बुनियादी एल्गोरिदम का एक छोटा सा उदाहरण दिया गया है। यदि कोई SOINN नेटवर्क के साथ प्रयोग कर रहा था, तो यदि संभव हो तो कोड को देखना दिलचस्प होगा।

2006 में वापस, क्रमिक (वृद्धिशील) सीखने का एक तरीका प्रस्तावित किया गया था, जिसे अनियंत्रित सीखने (एक शिक्षक के बिना आत्म-शिक्षण) प्रदान करने का प्रयास करने के लिए स्व-आयोजन वृद्धि तंत्रिका नेटवर्क (SOINN) कहा जाता है। SOINN गैर-स्थिर डेटा को ऑनलाइन संसाधित करने का एक अच्छा काम करता है, परिभाषित समूहों की संख्या पर रिपोर्ट करता है और इनपुट डेटा के सामयिक संरचना को प्रस्तुत करता है, जिसमें संभावना घनत्व घनत्व वितरण को ध्यान में रखा जाता है। हासागावा, जिन्होंने SOINN नेटवर्क का एक संस्करण प्रस्तावित किया, ने अपने नेटवर्क के परिणामों की तुलना GNG नेटवर्क (तंत्रिका गैस का विस्तार) के साथ की और SOINN नेटवर्क का परिणाम GNG से बेहतर था।

SOINN नेटवर्क के साथ ऐसी समस्याएं थीं:
1. इस तथ्य के कारण कि इसमें दो प्रसंस्करण परतें शामिल थीं, उपयोगकर्ता को नेटवर्क में भाग लेना था। उपयोगकर्ता को यह तय करना था कि पहली परत को सीखना कब बंद करना है और दूसरी परत में ज्ञान प्राप्त करना कब शुरू करना है।
2. यदि समूहों में उच्च घनत्व है, तो नेटवर्क ने उन्हें पहचानने का अच्छा काम किया है, लेकिन यदि समूह के नेटवर्क को आंशिक रूप से ओवरलैप किया गया है, तो नेटवर्क ने सोचा कि यह एक समूह है और उन्हें एक साथ एकजुट किया है।

इन समस्याओं को हल करने और नेटवर्क आर्किटेक्चर को सरल बनाने के लिए, एक SOINN- आधारित नेटवर्क को बढ़ाया गया जिसमें स्व-संगठन प्रस्तावित था और इसे ESOINN कहा गया।

SOINN का संक्षिप्त अवलोकन।
सोइन में दो परतों वाला एक नेटवर्क होता है। पहली परत इनपुट डेटा के वितरण घनत्व का अध्ययन करती है और डेटा वितरण के परिणाम का प्रतिनिधित्व करने के लिए नोड्स और उनके बीच संबंधों का उपयोग करती है। दूसरी परत सबसे कम वितरण घनत्व वाले डेटा के लिए पहली परत में खोज करती है, उनके लिए समूहों की पहचान करती है और अध्ययन की जा रही डेटा की टोपोलॉजिकल संरचना प्रदान करने के लिए पहली परत की तुलना में कम नोड का उपयोग करती है। जब दूसरी परत का प्रशिक्षण पूरा हो जाता है, तो SOINN पाए गए समूहों की संख्या की रिपोर्ट करता है और इसके लिए सबसे उपयुक्त समूह को इनपुट डेटा प्रदान करता है। पहली और दूसरी परतें एक ही एल्गोरिदम के अनुसार काम करती हैं।

जब एक इनपुट वेक्टर नेटवर्क पर लागू होता है, तो यह इनपुट वेक्टर के निकटतम नोड (विजेता) और दूसरा निकटतम नोड (दूसरा विजेता) पाता है। थ्रेसहोल्ड समानता मानदंडों का उपयोग करते हुए, नेटवर्क यह निर्धारित करता है कि इनपुट वेक्टर विजेता और दूसरे विजेता के समान समूह से संबंधित है या नहीं। पहली SOINN परत अनुकूल रूप से प्रत्येक नोड के लिए व्यक्तिगत रूप से समानता सीमा को अपडेट करती है, क्योंकि इनपुट डेटा के लिए वितरण मानदंड पहले से ज्ञात नहीं है।

यदि एक नोड i में पड़ोसी नोड्स हैं, तो इस नोड i और उसके पड़ोसी नोड्स के बीच अधिकतम दूरी का उपयोग करके समानता थ्रेशोल्ड टीआई की गणना की जाती है।

फार्मूला 1 ए
$T {i} = max \ left \ | W {i} - W {s} \ right \ |$
यहाँ, Ti (समानता दहलीज) नोड I के सबसे दूर के पड़ोसी से दूरी है। वाई - नोड का वजन i, Ws - पड़ोसी नोड का वजन i

यदि नोड I में कोई पड़ोसी नोड नहीं है, तो समानता थ्रेशोल्ड टीआई की गणना वेक्टर i और नेटवर्क पर उपलब्ध निकटतम वेक्टर के बीच की दूरी के रूप में की जाती है।

फार्मूला 1 बी
$T {i} = min \ left \ | W {i} - W {n} \ right \ |$
यहाँ, Wn नोड i को छोड़कर किसी भी नेटवर्क नोड का वजन है

यदि इनपुट वेक्टर और विजेता या दूसरे विजेता के बीच की दूरी क्रमशः विजेता या दूसरे विजेता की समानता सीमा से अधिक है, तो इनपुट वेक्टर को एक नए नोड के रूप में नेटवर्क में डाला जाता है और अब एक नए वर्ग के पहले नोड का प्रतिनिधित्व करता है। इस इंसर्ट को क्लासेस के बीच इंसर्ट कहा जाता है, क्योंकि यह इंसर्ट नई क्लास जनरेशन बनाता है, भले ही भविष्य में किसी भी मौजूदा क्लास के रूप में नई क्लास को वर्गीकृत किया जा सके।

यदि इनपुट वेक्टर को एक क्लस्टर से विजेता या दूसरे विजेता के रूप में परिभाषित किया जाता है, और अगर विजेता और दूसरे विजेता को जोड़ने वाले कोई कनेक्शन नहीं हैं, तो हम कनेक्शन का उपयोग करके विजेता और दूसरे विजेता को जोड़ेंगे और इस कनेक्शन की आयु शून्य पर सेट करेंगे; 1 से विजेता के साथ जुड़े सभी संबंधों की उम्र को और बढ़ाएं।
फिर हम विजेता और उसके पड़ोसी नोड्स के वेक्टर के वजन को अपडेट करते हैं। विजेता नोड को खोजने के लिए हम नोड के साथ नोड नोड का उपयोग करते हैं और नोड चर में - विजय_नंबर - शो में मैं विजेता कितनी बार नोड था।

सूत्र के अनुसार विजेता का वजन बदलें:

फार्मूला 1 सी
$W {जीत} = \ frac {1} {C {जीत}} \ left \ | W {i} - W {win} \ right \ |$
जहां Wwin विजेता का वजन है, Cwin विजेता की संख्या है, Wi इनपुट वेक्टर का वजन है

सूत्र के अनुसार विजेता के सभी पड़ोसियों का वजन बदलें:

फार्मूला 1 डी
$W {swin} = \ frac {1} {100C {win}} \ left \ | W {i} - W {swin} \ right \ |$
Wswin विजेता के पड़ोसी का वजन है, Cwin विजेता की जीत की संख्या है, Wi इनपुट की वेक्टर का वजन है

यदि नोड्स के बीच कनेक्शन की आयु पूर्वनिर्धारित मैक्सिमम_एज_कोनेक्शन_ पैरामीटर से अधिक है, तो इस कनेक्शन को हटा दें।
जब पूर्वनिर्धारित टाइमर पैरामीटर Learning_time चलने वाले नेटवर्क प्रशिक्षण के दौरान समाप्त हो गया, तो SOINN समझता है कि प्रशिक्षण का समय समाप्त हो गया है, यह स्थलाकृतिक मानचित्र में एक बिंदु पर एक नया नोड सम्मिलित करता है, जहां संचित त्रुटि सबसे बड़ी है। अगर प्रविष्टि त्रुटि के आकार को कम नहीं कर सकती है तो हम नोड के सम्मिलन को रद्द कर देंगे। इस सम्मिलन को कक्षा के भीतर सम्मिलन कहा जाता है क्योंकि सम्मिलन कक्षा के भीतर होता है। इसके अलावा इस प्रविष्टि के दौरान कोई नया वर्ग नहीं बनाया जाएगा। SOINN तब नोड्स खोजता है जिनके पड़ोसी की संख्या एक से कम या बराबर है और इस तरह के नोड्स को इस धारणा के आधार पर हटा देता है कि ऐसे नोड कम घनत्व वाले क्षेत्र में स्थित हैं। ऐसे नोड्स को शोर नोड्स (शोर नोड्स) कहा जाता है।

वास्तव में, क्योंकि पहली SOINN परत की समानता सीमा अनुकूल रूप से अपडेट की जाती है, संचय त्रुटि अधिक नहीं होगी। इसलिए, एक वर्ग के भीतर डालने से बहुत कम फायदा होता है। पहली परत के लिए कक्षा के भीतर एक प्रविष्टि की आवश्यकता नहीं है।
पहली परत के पुनरावृत्त सीखने के समय समाप्त हो जाने के बाद, पहली परत के सीखने के परिणाम दूसरी परत के इनपुट के रूप में खिलाए जाते हैं। दूसरी परत पहली परत की तरह ही लर्निंग एल्गोरिदम का उपयोग करती है। दूसरी परत के लिए, समानता सीमा (तिवारी) स्थिर है। इसकी गणना कक्षा के भीतर की दूरी और कक्षाओं के बीच की दूरी का उपयोग करके की जाती है। पहली परत के विपरीत समानता की एक बड़ी निरंतर सीमा के साथ, दूसरी परत के नोड्स के लिए संचित त्रुटि बहुत अधिक होगी, और यहां कक्षा के भीतर सम्मिलित सीखने की प्रक्रिया में एक बड़ी भूमिका निभाता है। एक बड़ी निरंतर समानता दहलीज के साथ, दूसरी परत कुछ शोर नोड्स को भी हटा सकती है जो पहली परत के प्रशिक्षण के दौरान अनिर्धारित रहती हैं।

दो-परत SOINN नेटवर्क के निम्नलिखित नुकसान हैं:
पहली परत सीखना बंद करना और दूसरी परत सीखना शुरू करना कब चुनना मुश्किल है;

यदि पहली परत के अध्ययन के परिणामों को बदल दिया गया था, तो दूसरी परत के सभी अध्ययन किए गए परिणाम नष्ट हो जाएंगे, इस प्रकार दूसरी परत के पुनर्पाठ की आवश्यकता होगी। SOINN की दूसरी परत क्रमिक ऑनलाइन सीखने के लिए उपयुक्त नहीं है।

वर्ग के भीतर प्रविष्टि दूसरी परत के लिए आवश्यक है, हालांकि, इसके लिए कई उपयोगकर्ता-परिभाषित मापदंडों की आवश्यकता होती है।
SOINN अस्थिर है - यह उच्च घनत्व वाले आंशिक रूप से अतिव्यापी के साथ वर्गों को अलग नहीं कर सकता है।

उपरोक्त कमियों से छुटकारा पाने के लिए, डेवलपर्स ने SOINN की दूसरी परत को हटा दिया और एकल परत को दो परतों के साथ SOINN की तुलना में बेहतर वर्गीकरण परिणाम प्राप्त करने में मदद करने के लिए कुछ तरीकों को बदल दिया। ऐसे नेटवर्क को ESOINN कहा जाता है।
ESOINN एक परत पर डेटा लेता है। कक्षाओं के बीच सम्मिलित करने के लिए, उसी एल्गोरिथ्म का उपयोग SOINN के रूप में किया जाता है। नोड्स के बीच एक लिंक बनाते समय, ESOINN यह शर्त जोड़ता है कि क्या लिंक बनाया जाना चाहिए।

Learning_Time टाइमर की समय सीमा समाप्त होने के बाद, ESOINN नोड्स को अलग-अलग उपवर्गों में अलग करता है और उन लिंक को हटा देता है जो अतिव्यापी क्षेत्रों में झूठ बोलते हैं। ESOINN वर्ग के भीतर इन्सर्ट का उपयोग नहीं करता है।

दूसरी परत को हटाने से ESOINN दो-परत SOINN की तुलना में निरंतर (वृद्धिशील) ऑनलाइन सीखने के लिए अधिक उपयुक्त हो जाता है। यह भी तय करने की कठिनाई को दूर करता है कि कब पहली परत को पूरा करना है और दूसरी परत को शुरू करना है। कक्षा के भीतर सम्मिलित करने से इनकार करने से नेटवर्क से पांच पैरामीटर निकाल दिए जाते हैं जो इस तरह के सम्मिलित के कार्यान्वयन के लिए आवश्यक थे, नेटवर्क ऑपरेशन एल्गोरिदम की समझ सरल है।

ESOINN परिचालन एल्गोरिथम

ओवरलैपिंग कक्षाएं (एक दूसरे पर कक्षाओं का आंशिक अतिव्यापी)। हम चर्चा करेंगे कि एक नोड के घनत्व का निर्धारण कैसे किया जाए, किस विधि का उपयोग करके एक वर्ग को दूसरे के साथ ओवरलैप ढूंढना संभव है, क्या विजेता और दूसरे विजेता के बीच संबंध बनाना आवश्यक है। अतिव्यापी क्षेत्र में नोड्स के स्थानिक वितरण का घनत्व वर्ग के केंद्र की तुलना में कम है।

गाँठ घनत्व
नोड का घनत्व स्थानीय संचय उदाहरणों की संख्या (इनपुट डेटा) द्वारा निर्धारित किया जाता है। यदि नोड के पास बहुत सारे इनपुट नमूने हैं, तो नोड का घनत्व अधिक माना जाता है, यदि नोड के पास कई इनपुट उदाहरण नहीं हैं, तो नोड का घनत्व कम माना जाता है। इसलिए, जिस समय नेटवर्क प्रशिक्षण कर रहा होता है, उस समय हमें विचार करना चाहिए कि चर में विजेता कितनी बार was_winner था जो इस नोड के घनत्व को दिखाएगा। नोड का घनत्व SOINN जैसे एल्गोरिथम द्वारा निर्धारित किया जा सकता है। निम्नलिखित समस्याएं यहां दिखाई देती हैं:
1. कई नोड्स होंगे जो उच्च घनत्व वाले क्षेत्रों में झूठ बोलते हैं। उच्च घनत्व वाले क्षेत्र में, एक विजेता होने का मौका कम घनत्व वाले क्षेत्र की तुलना में काफी अधिक नहीं होगा। इसलिए, हम केवल घनत्व को मापने के लिए नोड_विनर का उपयोग नहीं कर सकते।
2. प्रशिक्षण के बढ़ते कार्यों में, पहले चरणों में बनाए गए कुछ नोड्स फिर से लंबे समय तक विजेता नहीं होंगे। Was_winner की परिभाषा का उपयोग करते हुए, इस तरह के नोड्स का मूल्यांकन प्रशिक्षण के बाद के चरण में कम घनत्व वाले नोड के रूप में किया जा सकता है।
ESOINN ऊपर वर्णित समस्याओं को हल करने में मदद करने के लिए एक नई घनत्व परिभाषा का उपयोग करता है। मूल विचार इनपुट उदाहरण (डेटा) की संख्या के स्थानीय संचय के समान है, लेकिन हम "संख्या" के स्थान पर कब्जा करने वाले "बिंदु" का निर्धारण करते हैं और नोड के संचित बिंदुओं का उपयोग करके इस नोड के घनत्व का वर्णन करते हैं। विजेता_ के विपरीत जो खुद को केवल एक विशेष नोड से जोड़ता है, नोड्स के बीच संबंध को यहां माना जाता है जब हम नोड के बिंदु P की गणना करते हैं। पहले हम औसत दूरी की गणना करते हैं ${d {i}} ^ {-}$ मैं अपने पड़ोसियों से नोड।

फार्मूला 1
$d_i ^ - = \ frac {1} {m} \ sum_ {i = 1} ^ {m} \ left \ | W_i - W_j \ right \ |$
जहाँ m नोड नोड के पड़ोसियों की संख्या है, Wi, नोड के वेक्टर का भार है i, Wj पड़ोसी के वेक्टर का वजन है i

फिर हम निम्न नोड के बिंदु की गणना करते हैं:

फार्मूला 2
$P {i} = \ frac {1} {(1+ {d {i}} ^ {-}) ^ {2}}$ अगर नोड मैं विजेता हूं

अगर नोड मैं विजेता नहीं हूं
POINT की परिभाषा से, हम देखते हैं कि यदि नोड I से उसके पड़ोसियों की औसत दूरी बड़ी है, तो इस क्षेत्र में नोड्स की संख्या छोटी है। इसलिए, नोड्स का वितरण दुर्लभ है और इस क्षेत्र में घनत्व कम होगा। इसलिए हम नोड i को कम अंक देते हैं। यदि औसत दूरी छोटी है, तो इसका मतलब है कि इस क्षेत्र में नोड्स की संख्या अधिक है और इस क्षेत्र में घनत्व अधिक होगा। इसलिए, हम नोड I को एक उच्च बिंदु देते हैं। एक पुनरावृत्ति के लिए, हम केवल नोड I के लिए DOTS की गणना करते हैं जब नोड I विजेता होता है। इस पुनरावृत्ति में अन्य नोड्स के डॉट्स 0. हैं। इसलिए, एक पुनरावृत्ति के लिए, विजेता के संचित डॉट्स को बदल दिया जाएगा, लेकिन अन्य नोड्स के संचित डॉट्स अपरिवर्तित रहेंगे।
POINTS Si के संचय की गणना इसके प्रशिक्षण की अवधि के दौरान नोड I के लिए डॉट्स के योग के रूप में की जाती है।

फार्मूला 3
$S_i = \ sum_ {i = 1} ^ {n} (\ sum_ {k = 1} ^ {sig }__i)$
यहाँ sig एक प्रशिक्षण अवधि के दौरान इनपुट संकेतों की संख्या है। n - प्रशिक्षण अवधि का समय दिखाता है (जिसकी गणना LT / sig के रूप में की जा सकती है, जहाँ LT औसत कुल इनपुट संकेतों की संख्या है)।
इसलिए, हम नोड i की औसत संचित POINT (घनत्व) लेते हैं

फार्मूला 4
$h_ {i} = {s_ {i}} ^ {-} = \ frac {1} {N} s_ {i} = \ frac {1} {N} \ sum_ {i = 1} ^ {n} (\) sum_ {k = 1} ^ {sig} p_ {i})$
यहाँ N, उस अवधि की संख्या को दर्शाता है जब संचित Si POINTS 0. से अधिक है। ध्यान दें कि N आवश्यक रूप से n के बराबर नहीं है। हम स्पेस N को लेने के लिए n का उपयोग नहीं करते हैं, क्योंकि सीखने की अवधि में सीखने में वृद्धि के लिए, संचित Si POINTS 0. होगा। यदि हम संचित POINTS के औसत की गणना करने के लिए n का उपयोग करते हैं, तो अध्ययन किए गए कुछ पुराने नोड्स का घनत्व कम हो जाएगा। संचित डॉट्स के औसत की गणना करने के लिए एन का उपयोग करते हुए, आजीवन सीखने के दौरान भी, अध्ययन किए गए पुराने नोड्स का घनत्व अपरिवर्तित रहेगा यदि इन नोड्स के करीब कोई नया सिग्नल सिस्टम में नहीं भेजा जाता है। हालांकि, कुछ अनुप्रयोगों के लिए यह आवश्यक है कि बहुत पुरानी सीखी गई जानकारी को भुला दिया जाए। ऐसे मामलों में, हमें स्पेस एन को लेने के लिए n का उपयोग करना चाहिए। इस प्रकार, हम नए ज्ञान को सीख सकते हैं और बहुत पुराने ज्ञान को भूल सकते हैं। नेटवर्क में बने रहने के लिए सभी अध्ययन किए गए ज्ञान के लिए, आपको नोड के घनत्व को निर्धारित करने के लिए एन लेने की आवश्यकता है।

वर्गों के बीच अतिव्यापी क्षेत्रों की खोज करें।
घनत्व के निर्धारण के संबंध में, अतिव्यापी क्षेत्रों को खोजने का सबसे आसान तरीका कम घनत्व वाले क्षेत्रों की तलाश करना है। कुछ तरीके, जैसे जीसीएस और एसओएनएन, अतिव्यापी क्षेत्रों की पहचान करने के लिए इस तकनीक का उपयोग करते हैं। हालांकि, यह तकनीक इस बात की गारंटी नहीं दे सकती है कि कम घनत्व वाला क्षेत्र ठीक ओवरलैप्ड क्षेत्र है। उदाहरण के लिए, एक निश्चित वर्ग के लिए जो गाऊसी वितरण का अनुसरण करता है, कक्षा की सीमा पर घनत्व कम होगा। ओवरले में अतिव्यापी वर्गों की कुछ सीमाएं शामिल हैं। इसलिए, ओवरलैप का घनत्व अनौपचारिक सीमा क्षेत्र की तुलना में अधिक होना चाहिए। इस समस्या को हल करने के लिए, ESOINN न्यूनतम घनत्व नियम का उपयोग नहीं करता है, बल्कि एक अतिव्यापी क्षेत्र को खोजने के लिए एक नई तकनीक बनाता है।
SOINN में, एक प्रशिक्षण अवधि के बाद, यदि कक्षाओं के बीच ओवरलैप होता है, तो ऐसी कक्षाओं के सभी नोड एक वर्ग बनाने के लिए जुड़ जाते हैं। हमारा लक्ष्य विभिन्न वर्गों के बीच नए संबंधों के निर्माण से बचने के लिए एक जटिल वर्ग (जिसमें कई समूह शामिल हैं) में एक अतिव्यापी क्षेत्र का पता लगाना है, और इस प्रकार ओवरलैपिंग वर्गों को प्रभावी ढंग से अलग करना है।
एक अतिव्यापी क्षेत्र का पता लगाने के लिए, आपको निम्नलिखित नियम का उपयोग करके पहले जटिल वर्ग को कई उपवर्गों में विभाजित करना होगा:

एल्गोरिथम 1. उपवर्गों में एक समग्र वर्ग का विभाजन
1. हम नोड को उप-वर्ग का एक शीर्ष कहते हैं यदि नोड में अधिकतम स्थानीय घनत्व है। एक जटिल कक्षा में सभी कोने खोजें और प्रत्येक शीर्ष को अलग-अलग लेबल दें।
2. हम उनके उपग्रहों के रूप में एक ही उपवर्ग लेबल के साथ अन्य सभी नोड्स को वर्गीकृत करते हैं।
3. प्रत्येक नोड एक ओवरलैप्ड क्षेत्र में निहित है यदि कनेक्ट किए गए नोड में अलग-अलग उपवर्ग लेबल हैं।
यह तरीका उचित लगता है, लेकिन वास्तविक कार्य के लिए, यह कई समस्याओं को जन्म देगा। उदाहरण के लिए, दो वर्ग हैं जिनमें नोड्स का घनत्व वितरण चिकना नहीं है, बल्कि शोर की उपस्थिति के समान है। एल्गोरिथम 1 के साथ, इन दो वर्गों को बहुत अधिक उपवर्गों में विभाजित किया जाएगा और कई अतिव्यापी क्षेत्रों का पता लगाया जाएगा। किसी जटिल वर्ग को विभाजित करने से पहले आपको इनपुट डेटा को सुचारू करना होगा।

चित्र 1

चित्रा 1 में, दो गैर-चिकने इनपुट वर्ग।
चित्र 1 से उपवर्ग A और उपवर्ग B ले लो। मान लीजिए कि उपवर्ग A के शीर्ष का घनत्व Amax है, और उपवर्ग B के शीर्ष का घनत्व Bmax है। यदि निम्न स्थिति सत्य है, तो हम उपवर्गों A और B को एक वर्ग में जोड़ते हैं:
अगर

फार्मूला 5
$मिनट (h_ {जीत}, h_ {swin})> L_ {A} A_ {max}$
या

फार्मूला 6
$मिनट (h_ {जीत}, h_ {swin})> L_ {B} B_ {max}$
यहां, विजेता और दूसरा विजेता उपवर्ग ए और बी के बीच ओवरलैप के क्षेत्र में स्थित है। वास्तव में, एल एक पैरामीटर है जो [0,1] से संबंधित है जिसे थ्रेशोल्ड फ़ंक्शन का उपयोग करके स्वचालित रूप से गणना की जा सकती है।

फार्मूला 7
$L_ {A} = \ _ {केस} & \ _ {0.0 {3.0 अगर 3.0 3.0 माध्य_ {A} \ geq A_ {अधिकतम}> 2.0 शुरू करें माध्य_ {ए} \\ और \ पाठ {1.0 अगर} ए_ {अधिकतम}> 3.0 माध्य_ {ए} \\ \ {{{}}$
यहां $माध्य_ {ए}$ एक उपवर्ग में नोड्स का औसत घनत्व है।

फार्मूला 8
$mean_A = \ frac {1} {N_A} \ sum_ {i \ _ A} ^ {} h_i$
यहाँ N, उपवर्ग A में नोड्स की संख्या है।
इस प्रकार, एक समग्र वर्ग को विभिन्न उपवर्गों में विभाजित करना और फिर उन्हें उपवर्गों के बिना एक उपवर्ग में संयोजित करना, आप समग्र वर्ग के भीतर एक अतिव्याप्त क्षेत्र पा सकते हैं। ओवरलैपिंग क्षेत्र को खोजने के बाद, हम अलग-अलग उपवर्गों से संबंध रखने वाले बागानों के बीच के बॉन्ड को हटा देते हैं और ओवरलैपिंग वर्गों को अलग कर देते हैं।

एल्गोरिथम 2. नोड्स के बीच लिंक बनाना
1. दो नोड्स को एक लिंक से कनेक्ट करें यदि विजेता और दूसरा विजेता नए नोड्स हैं (यह अभी तक परिभाषित नहीं है कि ये नोड्स किस उपवर्ग से संबंधित हैं)
2. दो नोड्स को संचार द्वारा कनेक्ट करें यदि विजेता और दूसरा विजेता एक ही उपवर्ग के हैं।
3. यदि विजेता उपवर्ग A से संबंधित है, और दूसरा विजेता उपवर्ग B से संबंधित है। यदि सूत्र 5 और 6 संतुष्ट हैं, तो हम इन नोड्स को एक लिंक से जोड़ते हैं और उप-वर्ग A और B को जोड़ते हैं। अन्यथा, हम इन नोड्स को एक लिंक से नहीं जोड़ेंगे, लेकिन यदि इन नोड्स के बीच का कनेक्शन पहले से है। मौजूद है, तो इसे हटा दें।
हम एल्गोरिथ्म 2 का उपयोग करते हैं, यदि विजेता और दूसरा विजेता अलग-अलग उपवर्गों से संबंधित है, तो इस मामले में ESOINN इन दो नोड्स को एक कनेक्शन द्वारा कनेक्ट होने का अवसर देता है। हम ऐसा कर सकते हैं कि उपवर्ग के दौरान शोर के प्रभावों को सीमित करें और उपवर्गों के कंपन को शांत करने का प्रयास करें। उपवर्गों को अभी भी एक दूसरे से संबंधित किया जा सकता है (उदाहरण के लिए, उपवर्ग A और उपवर्ग B चित्र 1 में) यदि दो उपवर्गों को गलती से अलग किया गया है।
एल्गोरिथम 2 दर्शाता है कि एसओएनएन नेटवर्क की तुलना में ईएसओएनएन का परिणाम अधिक स्थिर होगा, क्योंकि कम ओवरलैप घनत्व के साथ भी, एसओएनएन कई बार अलग-अलग वर्गों को सही ढंग से अलग-अलग करेगा, और कई बार अलग-अलग वर्गों को एक वर्ग के रूप में मान्यता देगा। एक चौरसाई विधि का उपयोग करके, ESOINN इस तरह के अतिव्यापी वर्गों को विभाजित कर सकता है। ESOINN भी अत्यधिक अलगाव की समस्याओं को हल करता है।

शोर से उत्पन्न नोड्स को हटाना
शोर के कारण होने वाले नोड्स को हटाने के लिए, SOINN उन क्षेत्रों में नोड्स को हटाता है जहां बहुत कम घनत्व होता है। SOINN इस रणनीति का उपयोग करता है: यदि उत्पन्न इनपुट संकेतों की संख्या अभी भी एक से अधिक पैरामीटर है $\ lambda$ , वे नोड्स हटाएं जिनमें केवल एक पड़ोसी नोड है या कोई पड़ोसी नोड्स नहीं हैं। एक आयामी इनपुट और कम शोर के डेटासेट के लिए, SOINN डिलीट व्यवहार को नियंत्रित करने के लिए उम्मीदवार डिलीट नोड से संकेतों की संख्या का एक स्थानीय संचय का उपयोग करता है। इसके अलावा, SOINN नेटवर्क की दो-परत संरचना में, एक दूसरी परत शोर के कारण नोड्स को हटाने में मदद करती है।
ESOINN के लिए, हम SOINN के रूप में लगभग एक ही शोर हटाने की तकनीक का उपयोग करते हैं। यदि अब तक उत्पन्न इनपुट संकेतों की संख्या कई पैरामीटर है $\ lambda$ , फिर हम उन नोड्स को हटाते हैं जिनके लिए टोपोलॉजिकल पड़ोसी 2 या दो से कम हैं (<= 2)। ESOINN और SOINN के बीच का अंतर यह है कि हम दो टोपोलॉजिकल पड़ोसियों के साथ नोड भी निकालते हैं। हम नोड्स को हटाने के व्यवहार का चयन करने के लिए POINTS के स्थानीय संचय और विभिन्न नियंत्रण मापदंडों C1 (दो पड़ोसी नोड्स के लिए) और C2 (एक पड़ोसी नोड के लिए) का उपयोग करते हैं। दो पड़ोसियों के साथ नोड्स को भी हटा दिया जाता है, क्योंकि ESOINN केवल एक परत पर डेटा प्राप्त करता है जिसमें अनुकूली बदलती समानता दहलीज शोर नोड्स बनाता है जो मूल SOINN रणनीति का उपयोग करके निकालना मुश्किल होता है। SOINN . ESOINN, . 1 .

1 2 . 1 5, 5 3, 3 2. 1 2 .
, . , . , . , . , SOINN.

3.
1. .
2. i . i Ci
3. , i. i.
4. 2 , .

, ESOINN

4. ESOINN
1. , . , ⊂×
2. $\xi \in R^{n}$
3. () a1 ( ) a2 :
$a_{1}=arg\: min_{a\in A}\left \| \xi - W_a \right \|$
$a_{2}=arg\: min_{a\in A\setminus \left \{ a_1 \right \}}\left \| \xi - W_a \right \|$

ξ a1 a2 $T_{a_1}$ या $T_{a_2}$ , 2 . T 1 1
4. a1 1
5. 2 a1 a2.
) : a1 a2 , 0; a1 a2 , a1 a2 0.
) : a1 a2 , a1 a2.
6. 4.
7. 1 $M_{a_1}$ । $M_{a_1}(t+1)=M_{a_1}(t)+1$
8. $\epsilon _1(t)$ और $\epsilon _2(t)$ .
$\bigtriangleup W_{a_1}=\epsilon _1(M_{a_1})(\xi - W_{a_1})$
$\bigtriangleup W_{i}=\epsilon _2(M_{a_1})(\xi - W_{i})$ i a1
SOINN $\epsilon _1(t)=\frac{1}{t}$ और $\epsilon _2(t)=\frac{1}{100t}$
9. , $age_{max}$ .
10. λ:
) 1
) :
1. , a , $h_{a}< C_1\sum_{j=1}^{N_A}h_j/N_A$ , a.

– .
2. , $h_a < C_2\sum_{j=1}^{N_A} h_j/N_A$ , .
3. , , .
11. , 3; , .
12. 2 .

, . . , λ . , . λ . , , . ; . , . . , . ; . , , .

ESOINN

.

№ 1 Hasegawa SOINN. , . 10% . , , SOINN , . . . , , № 1 ( 1). .

1. № 1

2. ESOINN № 1

3. ESOINN № 1

ESOINN . λ=100, $age_{max}$ =100, c1=0.001 c2=1. 2 ; 3 . ESOINN . ESOINN SOINN .
№ 2 ( 4), , SOINN ESOINN. 10% . , , . . , , . 1. 10000 , 2. 10000 , 3 . , , .

4. № 2

5. SOINN № 2

6. SOINN № 2

5 6 SOINN ( : λ=200, $age_{max}$ =50, c =1 , Shen, F., & Hasegawa, O. (2006a). An incremental network for on-line unsupervised classification and topology learning. Neural Networks, 19, 90–106.) SOINN .

7. ESOINN № 2

8. ESOINN № 2

7 8 ESOINN ( : λ=200, $age_{max}$ =50, c1=0.001 c2=1). SOINN, ESOINN . , . № 2 , ESOINN , SOINN.

10 AT&T_FACE ; 10 ( 9). 92112 , 256 . . , 92112, 2328 . 2328 width=4, q=2 2328 ( 10)

10.

, . 1, 1000 , 2 . : λ=25, $age_{max}$ =25, c1=0.0 c2=1.0. , ESOINN 10 ( ) . . SOINN, (90% 86% ).

11.

SOINN ESOINN, 1000 . 11 SOINN, 11 – ESOINN. SOINN (2-16) , ESOINN (6-14); 10 SOINN ESOINN, , ESOINN , SOINN.
, Optical Recognition of Handwritten Digits database (optdigits) ( www.ics.uci.edu ˜mlearn/MLRepository.html ) SOINN ESOINN. 10 ( ) 43 , 30 13 – . 3823 , 1797 . 64.

12. . SOINN, ESOINN

-, SOINN ( λ=200, $age_{max}$ =50, c =1.0 ). SOINN 10 . , 12, SOINN. SOINN . 92,2%; 90,4%. 100 SOINN. 6 13 ( ).
ESOINN. (λ=200, $age_{max}$ =50, c1=0.001 c2=1), ESOINN 12 . 12 ESOINN. ESOINN 1 9 , 1 1' 9 9'. SOINN , 1' 9'. ESOINN 1 1' (9 9'), .
ESOINN . 94,3% 95,8%. 100 ESOINN. 10 13 .
, ESOINN , SOINN. ESOINN SOINN.

निष्कर्ष

ESOINN, SOINN. SOINN, ESOINN . ESOINN () . ESOINN , . ESOINN . ESOINN SOINN. , ESOINN SOINN.

, Learning Vector Quantization (LVQ). . , . , , . ESOINN SOINN , , ESOINN . . ESOINN .

- ESOINN

ESOINN 1,8 . ( )

ESOINN , . .
Github SOINN ++ ( )
SOINN OpenCV ( SOINN )

SOINN - रोबोटों के लिए एक स्व-शिक्षण एल्गोरिदम

More articles: