परिचय

एक शिक्षक के बिना शिक्षण के कार्यों में से एक सामयिक संरचना खोजने का कार्य है जो इनपुट डेटा के वितरण की टोपोलॉजी को सबसे सटीक रूप से दर्शाता है। इस समस्या को हल करने के लिए कई दृष्टिकोण हैं। उदाहरण के लिए, कोहेनन सेल्फ-ऑर्गनाइजिंग मैप्स एल्गोरिदम एक पूर्वनिर्धारित संरचना के साथ कम आयाम (आमतौर पर दो आयामी) वाले अंतरिक्ष में बहुआयामी अंतरिक्ष को पेश करने की एक विधि है। मूल समस्या के आयाम में कमी, और पूर्वनिर्धारित नेटवर्क संरचना के कारण, प्रक्षेपण दोष उत्पन्न होते हैं, जिसका विश्लेषण एक मुश्किल काम है। इस दृष्टिकोण के विकल्पों में से एक के रूप में, हेब्ब के प्रतिस्पर्धी प्रशिक्षण और तंत्रिका गैस का संयोजन एक सामयिक संरचना के निर्माण में अधिक प्रभावी है। लेकिन इस दृष्टिकोण का व्यावहारिक अनुप्रयोग कई समस्याओं से बाधित है: आवश्यक नेटवर्क आकार का एक पूर्व ज्ञान और इस नेटवर्क के लिए प्रशिक्षण दर अनुकूलन विधियों को लागू करने की कठिनाई आवश्यक है, नए डेटा को सीखने पर अत्यधिक अनुकूलन क्षमता में कमी आती है, और एक अनुकूलन गति जो बहुत धीमी है शोर डेटा के लिए उच्च संवेदनशीलता का कारण बनती है।

ऑनलाइन प्रशिक्षण या दीर्घकालिक प्रशिक्षण के कार्यों के लिए, उपरोक्त विधियां उपयुक्त नहीं हैं। इस तरह के कार्यों के लिए मूलभूत समस्या यह है कि सिस्टम पहले से ही ज्ञात चीजों को नुकसान पहुंचाए या नष्ट किए बिना नई जानकारी के लिए कैसे अनुकूल हो सकता है।

यह आलेख SOINN एल्गोरिथ्म पर चर्चा करता है, जो ऊपर वर्णित समस्याओं को आंशिक रूप से हल करता है।

विचाराधीन एल्गोरिथ्म का अवलोकन

शिक्षक के बिना शिक्षण के कार्य में, हमें आने वाली डेटा को उनकी मात्रा के पूर्व ज्ञान के बिना, कक्षाओं में विभाजित करना होगा। स्रोत डेटा की टोपोलॉजी को निर्धारित करना भी आवश्यक है।

इसलिए, एल्गोरिथ्म को निम्नलिखित आवश्यकताओं को पूरा करना चाहिए:

• ऑनलाइन प्रशिक्षण, या जीवनकाल
• इनपुट डेटा के पूर्व ज्ञान के बिना वर्गीकरण
• एक फजी सीमा के साथ डेटा का पृथक्करण और समूहों की मूल संरचना का खुलासा करना

SOINN दो परतों वाला एक तंत्रिका नेटवर्क है। पहली परत का उपयोग समूहों की टोपोलॉजिकल संरचना को निर्धारित करने के लिए किया जाता है, और दूसरा समूहों की संख्या निर्धारित करने और उनके लिए प्रोटोटाइप नोड्स की पहचान करने के लिए किया जाता है। सबसे पहले, नेटवर्क की पहली परत को प्रशिक्षित किया जाता है, और फिर, पहली परत के प्रशिक्षण के दौरान प्राप्त आंकड़ों का उपयोग करके, नेटवर्क की दूसरी परत को प्रशिक्षित किया जाता है।

शिक्षक के बिना वर्गीकरण कार्य के लिए, यह निर्धारित करना आवश्यक है कि इनपुट छवि पहले से प्राप्त क्लस्टर्स में से एक की है या किसी नए का प्रतिनिधित्व करती है। मान लीजिए कि दो चित्र समान क्लस्टर के हैं, यदि उनके बीच की दूरी (पूर्व निर्धारित मीट्रिक के अनुसार) दूरी थ्रेशोल्ड टी से कम है। यदि टी बहुत बड़ी है, तो सभी इनपुट छवियों को एक ही क्लस्टर में सौंपा जाएगा। यदि टी बहुत छोटा है, तो प्रत्येक छवि को एक अलग क्लस्टर के रूप में अलग किया जाएगा। एक उचित क्लस्टराइज़ेशन प्राप्त करने के लिए, T इंट्राक्लास की दूरी से अधिक होना चाहिए और इंटरक्लास एक से कम होना चाहिए।

SOINN नेटवर्क की प्रत्येक परत के लिए, हमें थ्रेशोल्ड T की गणना करनी चाहिए। पहली परत को स्रोत डेटा की संरचना के बारे में प्राथमिक ज्ञान नहीं है, इसलिए T को पहले से निर्मित नेटवर्क और वर्तमान इनपुट छवि की संरचना के ज्ञान के आधार पर अनुकूल रूप से चुना गया है। दूसरी परत को प्रशिक्षित करते समय, हम इंट्राक्लास और इंटरक्लास दूरी की गणना कर सकते हैं और दहलीज टी के निरंतर मूल्य को चुन सकते हैं।

टोपोलॉजिकल संरचना का प्रतिनिधित्व करने के लिए, ऑनलाइन या आजीवन सीखने के कार्यों में, नेटवर्क विकास त्रुटियों को कम करने और पुराने डेटा को बनाए रखते हुए बदलती परिस्थितियों के अनुकूल होने के लिए एक महत्वपूर्ण तत्व है। लेकिन एक ही समय में, नोड्स की संख्या में अनियंत्रित वृद्धि नेटवर्क की भीड़ और समग्र रूप से इसे "पीछे हटाना" की ओर ले जाती है। इसलिए, यह तय करना आवश्यक है कि नेटवर्क में नए नोड्स को कब और कैसे जोड़ा जाए, और नए नोड्स को जोड़ने से कब रोका जाए।

नोड्स जोड़ने के लिए, SOINN एक ऐसी योजना का उपयोग करता है जिसमें अधिकतम त्रुटि वाले क्षेत्र में प्रविष्टि होती है। और डालने की उपयोगिता का मूल्यांकन करने के लिए, "त्रुटि त्रिज्या" का उपयोग किया जाता है, जो कि डालने की उपयोगिता का अनुमान है। यह आकलन सुनिश्चित करता है कि सम्मिलन त्रुटि को कम करेगा और नोड्स के विकास को नियंत्रित करेगा, और अंततः उनकी संख्या को स्थिर करेगा।

न्यूरॉन्स के बीच संबंध बनाने के लिए, टोपोलॉजी वितरण नेटवर्क (TRNs) में मार्टिनेज द्वारा प्रस्तावित हेब प्रतिस्पर्धी नियम का उपयोग किया जाता है। हेब्ब के प्रतिस्पर्धी नियम को निम्नानुसार वर्णित किया जा सकता है: प्रत्येक इनपुट सिग्नल के लिए, दो निकटतम नोड संयुक्त हैं। यह साबित होता है कि प्रत्येक ग्राफ इनपुट डेटा के टोपोलॉजी को बेहतर ढंग से दर्शाता है। ऑनलाइन या आजीवन सीखने के कार्यों में, नोड्स धीरे-धीरे लेकिन लगातार अपना स्थान बदलते हैं। इस प्रकार, नोड्स जो प्रारंभिक चरण में पड़ोसी हैं, बाद के चरण में बंद नहीं हो सकते हैं। यह उन कनेक्शनों को हटाना आवश्यक बनाता है जिन्हें हाल ही में अपडेट नहीं किया गया है।

सामान्य स्थिति में, मौजूदा क्लस्टर को ओवरलैप करना भी होता है। समूहों की संख्या को सटीक रूप से निर्धारित करने के लिए, यह माना जाता है कि इनपुट डेटा अलग-अलग है: प्रत्येक क्लस्टर के मध्य भाग में संभावना घनत्व क्लस्टर के बीच के भाग की घनत्व से अधिक है, और समूहों के ओवरलैप में कम स्थायित्व घनत्व होता है। कम पृथक्करण घनत्व वाले क्षेत्रों से नोड्स को हटाकर क्लस्टर पृथक्करण होता है। SOINN एल्गोरिथ्म कम संभावना घनत्व वाले क्षेत्रों से नोड्स को हटाने के लिए निम्नलिखित रणनीति प्रदान करता है: यदि अब तक उत्पन्न संकेतों की संख्या किसी दिए गए पैरामीटर का एक पूर्णांक है, तो उन नोड्स को हटा दें जिनमें केवल एक सामयिक पड़ोसी है, या सभी पड़ोसी हैं और यदि स्थानीय संचित है चूंकि सिग्नल का स्तर छोटा है, हम ऐसे नोड्स को कम संभावना घनत्व के क्षेत्र में मानते हैं और उन्हें हटा देते हैं।

एल्गोरिथम विवरण

अब, पूर्वगामी के आधार पर, हम SOINN नेटवर्क के लिए लर्निंग एल्गोरिथम का औपचारिक विवरण दे सकते हैं। इस एल्गोरिथ्म का उपयोग नेटवर्क की पहली और दूसरी दोनों परतों को प्रशिक्षित करने के लिए किया जाता है। एकमात्र अंतर यह है कि दूसरी परत के प्रशिक्षण के लिए इनपुट पहली परत द्वारा उत्पन्न होता है और दूसरी परत को प्रशिक्षित करते समय, हमें निरंतर समानता सीमा की गणना करने के लिए पहली परत के सामयिक संरचना का ज्ञान होता है।

संकेतन का उपयोग किया

• नोड्स को संग्रहीत करने के लिए उपयोग किया जाने वाला सेट A है
• एनए सेट ए में नोड्स की संख्या है
• सी - नोड्स के बीच कई लिंक
• C में किनारों की संख्या NC है
• नोड - नोड I के लिए एन-डायमेंशनल वेट वेक्टर
• ईआई - नोड I के लिए स्थानीय त्रुटि संचायक
• Mi - नोड i के लिए स्थानीय सिग्नल संचायक
• Ri नोड i के लिए त्रुटि त्रिज्या है। री = ईई / एमआई
• Ci - नोड i के लिए क्लस्टर लेबल
• Q क्लस्टर की संख्या है
• टीआई - नोड आई के लिए समानता थ्रेसहोल्ड
• नी - नोड i के लिए सामयिक पड़ोसियों का सेट
• आयु (i, j) - नोड्स i और j के बीच संचार की आयु

एल्गोरिथ्म

1. दो नोड्स, सी 1 और सी 2 के साथ नोड्स ए के सेट को प्रारंभ करें:
   A = {c1, c2}
   खाली सेट के साथ किनारों के सेट को आरम्भ करें:
   सी = {}।
2. R ^ n से एक नया सिग्नल x इनपुट करें।
3. सेट ए में विजेता s1 और दूसरे विजेता के नोड्स को ढूंढें, निकटतम और अगले वजन वाले वैक्टर के साथ नोड्स (कुछ दिए गए मीट्रिक द्वारा)। यदि x, s1 और s2 के बीच की दूरी समानता थ्रेसहोल्ड Ts1 या Ts2 से अधिक है, तो एक नया नोड बनाएं और चरण 2 पर जाएं।
4. यदि s1 और s2 के बीच की बढ़त मौजूद नहीं है, तो इसे बनाएं। उनके बीच की आयु को 0 पर सेट करें।
5. 1 से s1 से उभरने वाले सभी आर्क्स की आयु बढ़ाएं।
6. इनपुट सिग्नल और विजेता के बीच की दूरी को स्थानीय कुल त्रुटि ES1 में जोड़ें।
7. नोड s1 के संकेतों की स्थानीय संख्या बढ़ाएँ:
   Ms1 = Ms1 +1
8. विजेता और उसके प्रत्यक्ष टोपोलॉजिकल पड़ोसियों के वेट वैक्टर को अपनाएँ:
   Ws1 = Ws1 + e1 (t) (x - Ws1)
   Wsi = Wsi + e2 (t) (x - Wsi)
   जहाँ e1 (t) और e2 (t) विजेता और उसके पड़ोसियों के सीखने के कारक हैं।
9. एक निर्दिष्ट सीमा से अधिक आयु वाले किनारों को हटा दें।
10. यदि अब तक उत्पन्न इनपुट संकेतों की संख्या कई लंबोमीटर पैरामीटर है, तो एक नया नोड डालें और निम्न नियमों के अनुसार कम संभावना घनत्व वाले क्षेत्रों में नोड्स हटाएं:
    
    1. अधिकतम त्रुटि के साथ नोड q खोजें।
    2. पड़ोसियों के बीच अधिकतम त्रुटि के साथ नोड एफ खोजें।
    3. नोड r जोड़ें ताकि इसका भार वेक्टर भार q और f का अंकगणितीय माध्य हो।
    4. संचित त्रुटि एर, संकेतों की कुल संख्या की गणना करें श्री, और विरासत में मिली त्रुटि त्रिज्या:
       एर = अल्फ़ा 1 * (Eq + Ef)
       Mr = अल्फ़ा 2 * (Mq + Mf)
       आरआर = अल्फा 3 * (आरक्यू + आरएफ)
    5. नोड्स q और r की कुल त्रुटि कम करें:
       Eq = beta * Eq
       ईएफ = बीटा * ईएफ
    6. संकेतों की संचित संख्या कम करें:
       मक = गामा * मक
       Mf = गामा * Mf
    7. निर्धारित करें कि क्या नया नोड का सम्मिलित सफल था। यदि सम्मिलन इस क्षेत्र की औसत त्रुटि को कम नहीं कर सकता है, तो सम्मिलन विफल हो गया। जोड़े गए शीर्ष को हटा दिया गया है, और सभी मापदंडों को उनके मूल राज्यों में लौटा दिया गया है। अन्यथा, हम प्रविष्टि में शामिल सभी नोड्स के त्रुटि त्रिज्या को अपडेट करते हैं:
       Rq = Eq / Mq
       आरएफ = ईएफ / एमएफ
       आरआर = एर / मि।
    8. यदि इंसर्ट सफल रहा, तो q <-> r और r <-> f लिंक बनाएं और q <-> f लिंक को डिलीट करें।
    9. ए में सभी नोड्स के बीच, उन लोगों को ढूंढें जिनके पास केवल एक पड़ोसी है, फिर सभी नोड्स के औसत मूल्य के साथ इनपुट संकेतों की संचित संख्या की तुलना करें। यदि नोड में केवल एक पड़ोसी होता है और संकेत काउंटर अनुकूली सीमा से अधिक नहीं होता है, तो इसे नोड्स के सेट से हटा दें। उदाहरण के लिए, यदि Li = 1 और Mi <c * sum_ {j = 1 ... Na} Mj / Na (जहां 0 <c <1), तो शीर्ष i को हटा दें।
    10. सभी पृथक नोड्स को हटा दें।
11. लंबे समय के बाद, एलटी, इनपुट डेटा से प्रत्येक वर्ग में निर्मित ग्राफ में एक जुड़ा घटक होगा। अद्यतन वर्ग लेबल।
12. चरण 2 पर जाएं और प्रशिक्षण जारी रखें।

थ्रेशोल्ड गणना एल्गोरिथ्म

पहली परत के लिए, समानता थ्रेशोल्ड टी की गणना निम्न एल्गोरिथम द्वारा अनुकूल रूप से की जाती है:

1. नए नोड्स को + oo के लिए समानता दहलीज को प्रारंभ करें।
2. जब नोड पहला या दूसरा विजेता होता है, तो समानता सीमा मान अपडेट करें:
   
   1. यदि नोड का सीधा टोपोलॉजिकल पड़ोसी (Li> 0) है, तो Ti के मान को नोड और उसके पड़ोसियों के बीच की अधिकतम दूरी के रूप में अपडेट करें:
      ति = अधिकतम || वाई - डब्ल्यूजे ||
   2. यदि नोड में कोई पड़ोसी नहीं है, तो Ti को सेट A में नोड और अन्य नोड्स के बीच न्यूनतम दूरी के रूप में सेट किया गया है:
      तिय = मिनट || वाई - डब्ल्यूसी ||

दूसरी परत के लिए, समानता सीमा निरंतर है और इसकी गणना निम्नानुसार की जाती है:

1. इंट्राक्लास दूरी की गणना करें:
   dw = 1 / Nc * sum _ {(i, j) C} में || वाई - डब्ल्यूजे ||
2. अंतरवर्गीय दूरी की गणना करें। वर्ग C और Cj के बीच की दूरी की गणना निम्नानुसार की जाती है:
   db (Ci, Cj) = max_ {i in Ci, j in Cj} || वाई - डब्ल्यूजे ||
3. समानता दहलीज टीसी के रूप में, न्यूनतम अंतर दूरी जो इंट्राक्लास दूरी से अधिक है ले लो।

एल्गोरिथ्म के योजनाबद्ध आरेख

"सशर्त" हीरे में, काले तीर हालत की पूर्ति के अनुरूप हैं, और लाल तीर गैर-पूर्ति के लिए।

प्रयोगों

इस एल्गोरिथ्म के साथ प्रयोग करने के लिए, इसे C ++ में Boost Graph लाइब्रेरी का उपयोग करके लागू किया गया था। यहां कोड डाउनलोड किया जा सकता है ।

प्रयोगों के लिए, निम्नलिखित एल्गोरिथ्म मापदंडों का चयन किया गया था:

1. मेमना = १००
2. age_max = 100
3. सी = 1.0
4. अल्फ़ा १ = ०.१६
5. अल्फा 2 = 0.25
6. अल्फ़ा ३ = ०.२५
7. बीटा = 0.67
8. गामा = 0.75

दो वर्गों (रिंग और सर्कल) का प्रतिनिधित्व करने वाली निम्न छवि का उपयोग परीक्षण डेटा के रूप में किया गया था।

SOINN नेटवर्क के इनपुट के लिए आवेदन करने के बाद इन वर्गों से बेतरतीब ढंग से 20,000 अंक लिए गए, पहली नेटवर्क लेयर बनाई गई, निम्नलिखित फॉर्म में

पहली परत पर प्राप्त आंकड़ों के आधार पर, निम्नलिखित फॉर्म की एक दूसरी परत बनाई गई थी

निष्कर्ष

इस लेख में, हमने डेटा टॉपोलोगाइज़ेशन के आधार पर शिक्षक-कम सीखने वाले एल्गोरिदम की जांच की। प्रयोगात्मक रूप से प्राप्त परिणामों से, हम यह निष्कर्ष निकाल सकते हैं कि इस पद्धति का अनुप्रयोग उचित है।
लेकिन फिर भी, यह SOINN एल्गोरिथ्म के नुकसान को ध्यान देने योग्य है:

1. चूंकि नेटवर्क परतें एक के बाद एक क्रमिक रूप से सीखती हैं, इसलिए उस क्षण को निर्धारित करना मुश्किल है जब यह पहली परत के प्रशिक्षण को रोकने और दूसरी परत के प्रशिक्षण के साथ आगे बढ़ने के लायक है।
2. नेटवर्क की पहली परत को बदलते समय, आपको दूसरी परत को पूरी तरह से वापस लेना होगा। इस संबंध में, ऑनलाइन सीखने की समस्या का समाधान नहीं किया गया है।
3. नेटवर्क पर कई पैरामीटर हैं जिन्हें मैन्युअल रूप से चयनित करने की आवश्यकता है।

साहित्य का इस्तेमाल किया

"ऑन-लाइन असुरक्षित वर्गीकरण और टोपोलॉजी सीखने के लिए एक वृद्धिशील नेटवर्क" Sgen Furao, Osamu Hasegawa, 2005