परावर्तन तंत्रिका नेटवर्क

हाल ही में मुझे TEDx पर बोलने के लिए आमंत्रित किया गया था, मैंने एआई में वर्तमान स्थिति के बारे में लोकप्रिय रूप से बात करने की कोशिश की, और इसके अलावा मैंने तंत्रिका नेटवर्क के सार को रेखांकित किया, जिस पर हम वर्तमान में काम कर रहे हैं (देखें वीडियो)।



चूंकि रिपोर्ट विशुद्ध रूप से लोकप्रिय थी, इसलिए मैंने वहां कोई विवरण प्रस्तुत नहीं किया, लेकिन मॉडल में दिलचस्प गुण हैं, जिसके बारे में मैं अधिक विस्तार से बात करना चाहता हूं।

नेटवर्क संरचना

आधार प्रसिद्ध हॉपफील्ड नेटवर्क से लिया गया था, लेकिन प्रत्येक न्यूरॉन से प्रत्येक में मुख्य कनेक्शन के अलावा (जिसे तकनीकी रूप से एक घड़ी चक्र की देरी के साथ लिंक माना जा सकता है), 1 से अधिक बीट की देरी के साथ अतिरिक्त लिंक जोड़े गए थे (2-8 घड़ियों के विलंब व्यावहारिक रूप से अध्ययन किए गए थे )।
ये अतिरिक्त कनेक्शन प्रत्येक न्यूरॉन से प्रत्येक में भी गए, इसके अलावा, एक ही समय में इस तरह के कनेक्शन के कई ब्लॉक थे - विशेष रूप से, वीडियो पर प्रत्येक से प्रत्येक से 2, 3, 4, 5 और 6 चक्रों में देरी के कनेक्शन हैं।
इस प्रकार, एन न्यूरॉन्स के एक नेटवर्क के लिए, एन ^ 2 लिंक नहीं बनाए जाते हैं, लेकिन (के + 1) * एन ^ 2 लिंक, जहां कश्मीर विलंबित लिंक के ब्लॉक की संख्या है।

समस्या का बयान

सामान्य तौर पर, इस तरह के नेटवर्क के साथ भविष्य में हम जिस कार्य को हल करना चाहते हैं, वह गतिशील छवियों (यानी, मोटे तौर पर बोलने की क्षमता, और इनपुट पर छवियों के कुछ निरंतर अनुक्रम में अक्सर सामना किए गए यादों को याद करने की क्षमता) के लिए स्व-शिक्षण है।
लेकिन शुरुआत के लिए, हमने एक सरल समस्या हल की - कई प्रसिद्ध अनुक्रम हैं (अर्थात्, क्रम से दिखाए गए अक्षरों से बने शब्द), उन्हें इनपुट के लिए एक शोर तरीके से भेजा जाता है (और शो शब्द में किसी भी अक्षर से शुरू हो सकता है, जरूरी नहीं कि पहले से ही हो), और नेटवर्क को जल्द से जल्द यह समझना चाहिए कि कौन सा शब्द अब इनपुट पर है (यह तुरंत निर्धारित करना संभव नहीं है - शब्दों में सामान्य अक्षर और यहां तक ​​कि शब्दांश भी हैं)।
मॉडल समस्या के पैरामीटर निम्नानुसार हैं: प्रत्येक 7 अक्षरों के साथ 6 शब्द, प्रत्येक अक्षर - 100 पिक्सेल की तस्वीर, शोर स्तर - लगभग 20% (यानी, प्रत्येक बार प्रत्येक पत्र प्रदर्शित होने पर, यादृच्छिक रूप से चयनित पिक्सेल का 20% उल्टा होता है)।

मूल समस्या का समाधान

नेटवर्क ने समस्या को सफलतापूर्वक हल किया - लगभग मानव स्तर पर, इस तरह के शोर के साथ, जब यह समझना हमेशा संभव नहीं होता है कि कौन सा अक्षर दिखाया जा रहा है, शब्द के कुछ पूर्ण छापों में नेटवर्क काफी आत्मविश्वास से कह सकता है कि कौन सा शब्द दिखाया गया है। शोर की एक छोटी डिग्री के साथ, शब्द को पहले 2-4 अक्षरों को दिखाने के बाद पहचाना जाता है।
परिणाम अच्छा है, लेकिन अन्य तरीकों से काफी प्राप्त करने योग्य है।

परावर्तन प्रभाव

इनपुट पर किसी प्रकार के अनुक्रम के साथ प्रस्तुत किए जाने के बाद नेटवर्क का व्यवहार सबसे दिलचस्प निकला, और फिर इनपुट "बंद" हो गया, लेकिन अपने राज्यों की गणना करना जारी रखा। यह पता चला कि एक ही समय में नेटवर्क क्रमिक रूप से उन राज्यों में गुजरता है जो बाह्य रूप से अक्षरों से मिलते-जुलते हैं (जो कि स्वाभाविक है - लर्निंग एल्गोरिदम के अनुसार, अक्षरों को नेटवर्क की स्थिर स्थिति होना चाहिए), लेकिन सबसे पहले, हमेशा नहीं, और दूसरी बात, ये अक्षर अनुक्रम में जोड़ते हैं। , जो कुछ हद तक याद किए गए शब्दों के शब्दांशों की याद दिलाते हैं, लेकिन उनके समान नहीं, एक अलग लय में बदलते हैं (कुछ अक्षर लंबे समय तक दोहराए जाते हैं जब तक कि राज्य बदल नहीं जाता, अन्य लोग जल्दी से पास हो जाते हैं), और मूल शब्दों की तुलना में एक चक्र की लंबाई लंबे समय तक होती है (याद किया गया 7 अक्षरों के शब्द, और इस प्रक्रिया से उत्पन्न शब्द लूप से पहले 50 से अधिक अक्षर हो सकते हैं)।
इसके अलावा, जब इनपुट को बंद करने से पहले अलग-अलग शब्द दिखाए गए थे, और जब अलग-अलग समय पर बंद हुए, तो परिणामी शब्द अलग थे।
यानी यह तर्क दिया जा सकता है कि नेटवर्क की स्थिति अपने पिछले राज्यों के आधार पर बेहद गैर-कानूनी है। यदि आप अपने आप को एक मुक्त व्याख्या की अनुमति देते हैं कि क्या हो रहा है, तो आप सपनों के साथ एक सादृश्य आकर्षित कर सकते हैं - वे जटिल भूखंडों में पंक्तिबद्ध करते हैं, किसी तरह से पिछले अनुभव को दर्शाते हैं, लेकिन इसे सीधे दोहराएं नहीं।

सामान्य तौर पर, मॉडल में दिलचस्प व्यवहार होता है, जो निश्चित रूप से आपको लगता है। वीडियो में, मैंने खुद को इस व्यवहार के बारे में अधिक स्पष्ट व्याख्या की अनुमति दी, लेकिन अगर यह गलत है, तो आप अभी भी उम्मीद कर सकते हैं कि निकट भविष्य में यह अभी भी सोच के बुनियादी तंत्रों की व्याख्या करने के लिए संभव होगा, फिर भी एक मोटे, लेकिन मूल रूप से वास्तविक सन्निकटन में।

PS चर्चा का बहुत स्वागत है - मैं यह नहीं समझ सकता कि सीखने की समस्या को कैसे हल किया जाए जब अनुक्रम बाहर से निर्धारित नहीं किए जाते हैं, लेकिन इनपुट स्ट्रीम से निकाला जाना चाहिए, और मुझे इस विषय पर किसी भी विचार पर बहुत खुशी होगी और न केवल।