रोसेनब्लट पर्सेप्ट्रॉन में पहली "यादृच्छिक" परत की भूमिका क्या है

तो रोसेनब्लट पर्सेप्ट्रॉन लेख में - इतिहास द्वारा क्या भूल और आविष्कार किया गया है? सिद्धांत रूप में, अपेक्षित रूप से, रोसेनब्लाट पर्सेप्ट्रॉन के सार के बारे में जागरूकता की कुछ कमी (किसी में अधिक है, किसी में कम है) सामने आई है। लेकिन ईमानदारी से, मुझे लगा कि यह बदतर होगा। इसलिए, उन लोगों के लिए जो जानते हैं कि कैसे और सुनना चाहते हैं, मैंने यह लिखने का वादा किया कि यह कैसे पता चलता है कि पहली परत में यादृच्छिक कनेक्शन एक अविभाज्य (रैखिक रूप से अलग) समस्या का प्रतिनिधित्व करने के इस तरह के एक कठिन कार्य को एक अलग (रैखिक रूप से अलग करने योग्य) समस्या का प्रतिनिधित्व करते हैं।

ईमानदारी से, मैं केवल रोसेनब्लाट अभिसरण प्रमेय का उल्लेख कर सकता हूं, लेकिन जब मैं "Google को भेजा जाता हूं," तो मुझे यह पसंद नहीं है। लेकिन मैं इस तथ्य से आगे बढ़ता हूं कि आप मूल से जानते हैं कि रोसेनब्लैट पर्सेप्ट्रॉन क्या है (हालांकि समझ की समस्याएं सामने आई हैं, लेकिन मुझे अभी भी उम्मीद है कि केवल व्यक्तियों के पास ही है)।



शुरुआत करते हैं मैटरियल से

तो, सबसे पहले हमें यह जानना चाहिए कि अवधारणात्मक का A- मैट्रिक्स क्या है और Perceptron का G- मैट्रिक्स क्या है। मैं विकिपीडिया को लिंक दूंगा, मैंने खुद लिखा था ताकि आप भरोसा कर सकें (मूल से सीधे):
1. परसेप्ट्रोन का एक-मैट्रिक्स
2. अवधारणकर्ता का G- मैट्रिक्स , यहाँ हमें A और G के बीच के संबंध पर ध्यान देना चाहिए - अवधारणात्मक के मैट्रिक्स

जो कोई भी यह मास्टर नहीं करता है, कृपया आगे न पढ़ें, लेख और धूम्रपान बंद करें - यह लेख आपके लिए नहीं है। जल्दी मत करो, जीवन में एक बार में सब कुछ स्पष्ट नहीं हो जाता है, मुझे भी अवधारणात्मक की बारीकियों का अध्ययन करने में कुछ साल लग गए। यहाँ थोड़ा पढ़ें - प्रयोग करें।

इसके बाद, आइए हम अवधारणात्मक के अभिसरण के सिद्धांत के बारे में बात करते हैं। वे उसके बारे में बहुत बात करते हैं, लेकिन मुझे यकीन है कि 50% ने उसे आंख में नहीं देखा है।

इसलिए, मेरे एक वैज्ञानिक लेख से:

निम्नलिखित प्रमेय सिद्ध किया गया था:

"'' प्रमेय 3. '' एक प्रारंभिक बोधगम्य, एक प्रेरणा स्थान W और कुछ वर्गीकरण C (W) को देखते हुए। फिर समाधान के अस्तित्व के लिए यह आवश्यक और पर्याप्त है कि वहां एक वेक्टर यू मौजूद है जो C (W) के समान ओर्थंट में पड़ा है, और कुछ वेक्टर x जैसे कि Gx = u। "

इस प्रमेय से दो प्रत्यक्ष कोरोलरीज:

"'' कोरोलरी 1. '' एक प्रारंभिक अवधारणात्मक और प्रेरक स्थान डब्ल्यू को देखते हुए। फिर, यदि जी एक विलक्षण मैट्रिक्स है (जिसका निर्धारक शून्य है), तो कुछ वर्गीकरण C (W) है जिसके लिए कोई समाधान नहीं है।"

"" "कोरोलरी 2." "यदि अंतरिक्ष डब्ल्यू में उत्तेजनाओं की संख्या प्राथमिक परसेप्ट्रोन के तत्वों की संख्या ए से अधिक है, तो कुछ वर्गीकरण सी (डब्ल्यू) है जिसके लिए कोई समाधान नहीं है।"

रोसेनब्लट ने उत्तेजना को स्रोत डेटा स्पेस कहा।

मैं स्वाभाविक रूप से सबूत पर विचार नहीं करूंगा (मूल देखें), लेकिन हमारे लिए आगे क्या महत्वपूर्ण होगा, यह है कि अवधारणात्मक के अभिसरण की गणितीय रूप से गारंटी नहीं है (यह गारंटी नहीं है कि इसका मतलब यह नहीं होगा - यह सरल इनपुट डेटा के साथ होगा, भले ही इसका उल्लंघन हो, हम मनमाना इनपुट डेटा के बारे में बात कर रहे हैं) दो मामलों में:
1. यदि प्रशिक्षण सेट में उदाहरणों की संख्या मध्य परत (ए-तत्वों) में न्यूरॉन्स की संख्या से अधिक है
2. यदि मैट्रिक्स G के निर्धारक शून्य हैं

पहले भाग में, सब कुछ सरल है, हम हमेशा प्रशिक्षण सेट में उदाहरणों की संख्या के बराबर ए-तत्वों की संख्या निर्धारित कर सकते हैं।

और यहां, दूसरा भाग हमारे प्रश्न के प्रकाश में विशेष रूप से दिलचस्प है। यदि आपको यह समझने में महारत हासिल है कि यह किस प्रकार का जी-मैट्रिक्स है, तो यह स्पष्ट है कि यह इनपुट डेटा पर निर्भर करता है और पहली परत में संयोग से किस तरह के कनेक्शन का गठन किया गया था।

और अब हम प्रश्न पर आते हैं:

लेकिन चूंकि अवधारणात्मक में बंधों की पहली परत यादृच्छिक रूप से चयनित होती है और प्रशिक्षित नहीं होती है, इसलिए अक्सर यह माना जाता है कि समान संभावना के साथ अवधारणात्मक काम कर सकता है या रैखिक अविभाज्य इनपुट डेटा के साथ काम नहीं कर सकता है, और केवल रैखिक इनपुट डेटा आपके पूर्ण संचालन की गारंटी देता है। दूसरे शब्दों में, - समान संभाव्यता वाला अवधारणात्मक मैट्रिक्स दोनों विशेष हो सकता है और विशेष नहीं। यह यहाँ दिखाया जाएगा कि इस तरह की राय गलत है। (इसके बाद, मेरे वैज्ञानिक लेखों के उद्धरण)

ए - तत्वों की गतिविधि की संभावना

मैट्रिक्स ए की परिभाषा से हम देखते हैं कि यह द्विआधारी है, और संबंधित ए - तत्व सक्रिय होने पर मूल्य 1 लेता है। हम इस बात में रुचि लेंगे कि मैट्रिक्स में प्रदर्शित होने वाली इकाई की संभावना क्या है और तदनुसार, शून्य की संभावना क्या है।

अगला, मैं विवरण को थोड़ा छोड़ दूंगा और तुरंत एक तस्वीर दूंगा:


यह तथाकथित है Q- कार्यों का विश्लेषण रोसेनब्लाट द्वारा किया गया। मैं विवरण में नहीं जाऊंगा, लेकिन यह महत्वपूर्ण है कि:

एक्स पहली परत में रोमांचक बॉन्ड की संख्या है, एक ए-एलिमेंट (वजन +1) से मेल खाता है और वाई निरोधात्मक बॉन्ड (वजन -1) की संख्या है। चित्र में y- अक्ष इस Q-function की परिमाण को दर्शाता है, जो रेटिना पर प्रबुद्ध तत्वों की सापेक्ष संख्या (इनपुट पर 1) पर निर्भर करता है।

आंकड़ा रेटिना के प्रबुद्ध क्षेत्र की भयावहता पर ए - तत्व क्यूई की गतिविधि की संभावना की निर्भरता को दर्शाता है। ध्यान दें कि जिन मॉडलों में केवल रोमांचक बॉन्ड्स (y = 0) होते हैं, उनमें अधिक संख्या में प्रबुद्ध S - एलिमेंट्स होते हैं, क्यूई का मान 1 दृष्टिकोण होता है। अर्थात, ए - एक्टिविटीज़ की गतिविधि की संभावना सीधे प्रबुद्ध एस-एलिमेंट्स की संख्या पर निर्भर करती है, जो खराब है। अपेक्षाकृत छोटी और बड़ी छवियों की मान्यता को प्रभावित करता है। जैसा कि नीचे दिखाया गया है, यह उच्च संभावना के कारण है कि ए - मैट्रिक्स विशेष होगा। इसलिए, किसी भी ज्यामितीय आयामों की पैटर्न मान्यता की स्थिरता के लिए, x: y अनुपात चुनना आवश्यक है ताकि ए - तत्वों की गतिविधि की संभावना कम से कम प्रबुद्ध एस-तत्वों की संख्या पर निर्भर हो।

... यह देखा जा सकता है कि x = y पर क्यूई का मान पूरे क्षेत्र में लगभग स्थिर रहता है, जिसमें बहुत कम या बहुत बड़ी संख्या में प्रबुद्ध एस तत्व होते हैं। और यदि आप बांड की कुल संख्या में वृद्धि करते हैं, तो जिस क्षेत्र में क्यूई स्थिर रहता है, फैलता है। एक छोटी सी सीमा पर और x और y के बराबर, यह 0.5 तक पहुंच जाता है, अर्थात। एक मनमाना उत्तेजना पर ए - तत्व की गतिविधि की संभावित घटना के बराबर । इस प्रकार, ऐसी स्थितियाँ पाई जाती हैं, जिनके तहत मैट्रिक्स A में एकता और शून्य की उपस्थिति समान रूप से संभावित है।

इस मामले में, मैट्रिक्स ए में इकाइयों की संख्या एक द्विपद वितरण द्वारा वर्णित की जाएगी। उदाहरण के लिए, निम्नलिखित आंकड़ा मैट्रिक्स में इकाइयों n की संख्या के आधार पर मैट्रिक्स एन की संख्या के वितरण को दर्शाता है, आकार 5x5



और आखिरकार, क्या संभावना है कि ए विशेष है?

द्विपद वितरण से, आप यह पता लगा सकते हैं कि मैट्रिक्स में अलग-अलग संख्या वाली इकाइयों की कुल संख्या कैसे वितरित की जाती है (पिछले चित्र में ऊपरी वक्र)। लेकिन nonsingular matrices की संख्या (पिछले आंकड़े में कम वक्र) के लिए, एक गणितीय सूत्र वर्तमान में मौजूद नहीं है।
लेकिन एक अनुक्रम A055165 [6] है, जो सटीक रूप से इस तथ्य की संभावना देता है कि आकार nxn का एक मैट्रिक्स विशेष नहीं है। लेकिन इसे केवल विस्तृत खोज के द्वारा ही गिना जा सकता है और यह मामलों n <= 8 से पहले किया जाता है। लेकिन बाद के मूल्यों को मोंटे कार्लो विधि का उपयोग करके प्राप्त किया जा सकता है ...

और यह वह है जो निम्न आकृति में देखा जा सकता है (ये आकार के आधार पर गैर- विशेष मैट्रिक्स की उपस्थिति की संभावनाएं हैं:



तो, इससे यह देखा जा सकता है कि 30 x 30 के मैट्रिक्स आकार के साथ भी (अर्थात, जब A- तत्वों की संख्या 30 या अधिक है), हम लगभग 100% विश्वास के बारे में बात कर सकते हैं कि यादृच्छिक रूप से प्राप्त मैट्रिक्स विशेष नहीं होगा। यह अंतिम व्यावहारिक स्थिति है जिसके तहत रोसेनब्लाट पेसेप्ट्रॉन एक स्थान बनाएगा जो कॉम्पैक्टनेस परिकल्पना को संतुष्ट करता है। व्यवहार में, जी-मैट्रिक्स विशेष होने पर मामले को बाहर करने के लिए लगभग 100 ए-तत्वों का न्यूनतम होना अधिक विश्वसनीय है।

और निष्कर्ष में। अब अपने आप से पूछें: MLP + BackProp की गारंटी है, मैंने आपको यहाँ रोसेनब्लट पर्सेप्ट्रॉन के बारे में क्या बताया है? मुझे इसके लिए कहीं भी पुख्ता सबूत नहीं मिले (बस चटाई से लिंक नहीं फेंका। ढाल वंश के अभिसरण का प्रमाण - यह इस पर लागू नहीं होता है, मैं अपने विरोधियों को इस विषय पर अपने बुद्धिमानी भरा लेख लिखने की सलाह देता हूं: " एक के सिर पर विचार का हबरब्र में स्वागत है " अधिक रचनात्मक)। लेकिन बैकप्रॉप का उपयोग करते समय स्थानीय मिनीमा में होने की समस्या के आधार पर, ऐसा लगता है कि रोसेनब्लैट पर्सेप्ट्रॉन के साथ सब कुछ साफ और चिकना नहीं है।

युपीडी। मैंने प्रस्तुति में कुछ हद तक अनदेखी की, और संवाद के दौरान हमने यहां स्पष्ट किया। अग्रणी सवालों के लिए रिट्रान और जस्टसेरेगा का धन्यवाद।

सारांश। कोरोलरीज 1 और 2 में कहा गया है कि कुछ शर्तों के तहत एक समाधान असंभव है। यहां मैंने साबित किया कि ऐसी स्थितियां n> 30 पर नहीं होती हैं (रोसेनब्लट ने ऐसा नहीं किया)। लेकिन पाठकों के दो सवाल थे

1. खैर, ए-मैट्रिक्स (और, इसके माध्यम से, जी) उच्च संभावना के साथ उपयुक्त है। लेकिन यह मदद दूसरे स्थान पर कैसे जाती है? । वास्तव में, बहुत स्पष्ट नहीं है। मैं समझाता हूं। A- मैट्रिक्स "अन्य स्थान" है - संकेतों का स्थान। तथ्य यह है कि मैट्रिक्स विशेष नहीं है और यह मैट्रिक्स एक आयाम है जो मूल से बड़ा है एक संकेत है कि इसे रैखिक रूप से विभाजित किया जा सकता है। (यह कोरोलरीज और प्रमेय 3 से इस प्रकार है)

2. " क्या कोई सबूत है कि रोसेनब्लाट पेसेप्ट्रॉन में त्रुटि सुधार एल्गोरिथ्म जुटेगा? " दरअसल, प्रमेय 3 केवल यह कहता है कि एक समाधान मौजूद है। यह पहले से ही इसका मतलब है कि यह समाधान विशेषताओं के स्थान में मौजूद है, अर्थात। यादृच्छिक पहली परत काम करने के बाद। त्रुटि सुधार एल्गोरिथ्म को दूसरी परत द्वारा पढ़ाया जाता है, और रोसेनब्लाट में प्रमेय 4 होता है, जिसमें वह साबित करता है कि मौजूदा संभावित समाधान (प्रमेय 3, कि वे भी मौजूद हैं) त्रुटि सुधार सीखने के एल्गोरिथ्म को लागू करके ठीक से प्राप्त किया जा सकता है।

एक अन्य महत्वपूर्ण बिंदु इस तथ्य से है कि ए-मैट्रिक्स इनपुट डेटा पर एक ओर निर्भर करता है, और दूसरी ओर कनेक्शन के यादृच्छिक मैट्रिक्स पर। अधिक सटीक रूप से, इनपुट मैट्रिक्स को यादृच्छिक ए (यादृच्छिक रूप से गठित बांड) के माध्यम से मैट्रिक्स ए में मैप किया जाता है। अगर हम यादृच्छिकता का एक माप पेश करते हैं, जैसे कि बाद में होने वाली घटनाओं की दर (छद्म-यादृच्छिकता), तो यह पता चलता है: (1) यदि यह बिल्कुल यादृच्छिक नहीं है, लेकिन एक ऑपरेटर कुछ नियमों के अनुसार निर्मित होता है (यानी, पहली परत में शामिल होता है), तो इसके प्राप्त होने की संभावना काफी बढ़ जाती है। -विशेष मैट्रिक्स (2) यदि, हमारे द्वारा प्राप्त छद्म-यादृच्छिकता द्वारा इनपुट मैट्रिक्स को गुणा करने के बाद, ए-मैट्रिक्स नियमित नहीं है, लेकिन इकाइयों का एक यादृच्छिक प्रसार (चलो इस स्थिति को आर कहते हैं), तो यह वास्तव में ऊपर के लेख में विश्लेषण किया गया है।

यहाँ मैं आपको अपनी परीक्षित बात प्रकट करूँगा। संबंध बनाते समय यादृच्छिकता के द्विपद मॉडल के विचार के अनुसार (यह तब होता है जब ए-तत्व लिया जाता है और एस-तत्वों के लिए रोमांचक और एम अवरोधक कनेक्शन यादृच्छिक रूप से इसे तैयार किया जाता है) यह शर्त आर को पूरा करने के लिए पर्याप्त है। लेकिन अभिसरण प्रक्रिया को गति देने के लिए, आप अराजकता का एक बड़ा स्तर प्राप्त कर सकते हैं। मैट्रिक्स ए। यह कैसे करें - क्रिप्टोग्राफी हमें बताती है। यहाँ क्रिप्टोग्राफी के साथ इस तरह का संबंध अभी भी खींचा गया है।