संरचनात्मक अनुकूलन की अवधारणा और "शुद्ध सामान्यीकरण" का परिचय

हम लेख "दुमियों के लिए ऐ" की श्रृंखला जारी रखते हैं। यदि पिछले लेख में हमने "कमजोर एआई" के कार्यों से "मजबूत एआई के oracles" की समस्याओं को सुलझाने वाले लोगों के बीच अंतर करने की कोशिश की, और इस तरह के समस्याओं के समाधान को दिखाने के लिए गीतात्मक "खुलासे" से अधिक दिया। इनमें से एक कार्य को हमने "दो शिक्षकों का कार्य" कहा है।

अब हम इसे एक अलग कोण से देखते हैं। जैसा कि मैंने कहा, इस कार्य का विभिन्न पहलुओं में सामना किया जाता है। और साथ ही, हम देखेंगे कि एआई के कार्यों को समझने की मौजूदा प्रवृत्ति में "कमजोर एआई" के इंजीनियरों को कितनी गहराई से देखा जाता है। दुर्भाग्य से, अब इस क्षेत्र में शिक्षा दयनीय औपचारिकताओं के निर्माण को प्रोत्साहित कर रही है और एआई पर नजर गड़ाए हुए है। इस तरह की शिक्षा में से एक "गर्भपात" के साथ, हमने पिछले लेख में चर्चा की थी। लेकिन ऐसे बहुत से लोग हैं, और ऐसे "शिक्षित छात्रों" को "मोहर" देने की प्रवृत्ति कष्टप्रद है।

अनुकूलन के कार्य का सार

यहां मैं मूल बातें फिर से बताने की कोशिश करूंगा। वे L. A. Rastrigin द्वारा मोनोग्राफ से लिए गए हैं "जटिल प्रणालियों का अनुकूलन"।

अनुकूलन की अवधारणा को नई परिस्थितियों में अनुकूलन के रूप में स्पष्ट किया जाता है, जो जीवविज्ञानी और समाजशास्त्रियों को पूरी तरह से संतुष्ट करता है, एक इंजीनियर के दृष्टिकोण से पूरी तरह से असंतोषजनक है।

अनुकूलन की अवधारणा को दो प्रकारों में विभाजित किया जा सकता है (वास्तव में, दोनों प्रकार के अनुकूलन एक साथ मिलते हैं और एक दूसरे के साथ बातचीत करते हैं):
निष्क्रिय अनुकूलन - एक निश्चित वातावरण के लिए अनुकूलन। अनुकूली प्रणाली इस तरह से कार्य करती है जैसे कि दिए गए वातावरण में अपने कार्यों को सर्वोत्तम तरीके से निष्पादित करना, अर्थात् दिए गए वातावरण में कामकाज की प्रभावशीलता के अपने मानदंड को अधिकतम करता है। पौधों में निष्क्रिय अनुकूलन का एक उदाहरण देखा जा सकता है।
सक्रिय अनुकूलन - इस प्रणाली के लिए पर्याप्त वातावरण की खोज। इसका अर्थ है कि प्रदर्शन मानदंड को अधिकतम करने के लिए पर्यावरण में बदलाव, या ऐसे वातावरण की सक्रिय खोज जिसमें वांछित आराम प्राप्त हो। जानवरों में सक्रिय अनुकूलन का एक उदाहरण देखा जा सकता है।

क्या उल्लेखनीय है रस्तृगिन का काम, इसमें उन्होंने गणितीय रूप से विषय की अवधारणा को पेश किया , जबकि बाकी सभी केवल वस्तुनिष्ठ कार्यों को बोलते हैं, इसलिए बोलने के लिए। और तदनुसार, चूंकि उनके पास विषय की गणितीय अवधारणा नहीं है - तदनुसार, ये सभी सिद्धांत एआई से दूर हैं। अधिक सटीक रूप से, विषय की गणितीय अवधारणा की कमी हमें केवल कमजोर एआई के ढांचे के भीतर बोलने की अनुमति देती है। एअर इंडिया में विषय की एक दार्शनिक, मनोवैज्ञानिक अवधारणा - इससे भी बदतर - "मजबूत एआई के oracles" की समस्या।

हमारे उद्देश्यों के लिए, यह समझने की आवश्यकता नहीं है कि विषय गणितीय रूप से क्या है। मुख्य बात यह है कि इस तरह की एक अवधारणा है और यह हमें अनुकूलन के विभिन्न स्तरों को अलग करने की अनुमति देता है: जो लागू होते हैं: (1) नियंत्रण उद्देश्यों का निर्माण, (2) एक नियंत्रण वस्तु की परिभाषा, (3) संरचनात्मक मॉडल संश्लेषण (4) पैरामीट्रिक मॉडल संश्लेषण।

एआई विज्ञान की वर्तमान स्थिति इस तथ्य में निहित है कि स्वचालित रूप से हम केवल मॉडल के पैरामीट्रिक संश्लेषण को पूरा कर सकते हैं, और तदनुसार, केवल पैरामीट्रिक अनुकूलन स्वचालित रूप से होता है।

हम पहले दो स्तरों (प्रबंधन के लक्ष्य और प्रबंधन की वस्तु का निर्धारण) के बारे में नहीं बोलेंगे, क्योंकि ऐसा करने की करीबी समझ भी नहीं है। यह हमारे लिए संरचनात्मक और पैरामीट्रिक अनुकूलन के बीच कम से कम अंतर पर विचार करने के लिए पर्याप्त है।

पैरामीट्रिक और संरचनात्मक अनुकूलन

पैरामीट्रिक अनुकूलन सुधार, मॉडल मापदंडों के समायोजन के साथ जुड़ा हुआ है। नियंत्रित वस्तु की विशेषताओं के बहाव के कारण इस तरह के अनुकूलन की आवश्यकता उत्पन्न होती है। अनुकूलन आपको प्रत्येक नियंत्रण कदम पर मॉडल को समायोजित करने की अनुमति देता है, और इसके लिए प्रारंभिक जानकारी ऑब्जेक्ट और मॉडल की प्रतिक्रियाओं का बेमेल है, जिसका उन्मूलन अनुकूलन प्रक्रिया को लागू करता है।

अनुकूली प्रबंधन, जिसके दौरान न केवल लक्ष्यों को प्राप्त किया जाता है, बल्कि मॉडल को भी परिष्कृत किया जाता है, दोहरी कहा जाता है। यहां, प्रबंधन के एक विशेष संगठन के माध्यम से, दो लक्ष्यों को तुरंत प्राप्त किया जाता है - प्रबंधन और मॉडल का अनुकूलन।

यह ठीक इसी तरह का अनुकूलन था, जिसे हमने "दो या दो से अधिक शिक्षकों की समस्या" और एआई समुदाय की व्यक्तिपरक राय के लेख सारांश में बताया था, जब हमने कृत्रिम तंत्रिका नेटवर्क का उपयोग करके फिटनेस फ़ंक्शन को कैसे और क्यों सेट किया था ।

संरचनात्मक अनुकूलन के बीच अंतर क्या है?

किसी भी मॉडल F में एक संरचना और पैरामीटर होते हैं: F = St, C>, जहां St मॉडल F की संरचना है, C = (C_1, ..., C_k) इसके पैरामीटर हैं।

हमेशा अपने मापदंडों को सही करके मॉडल को अपनाने से हमें ऑब्जेक्ट का पर्याप्त मॉडल प्राप्त करने की अनुमति मिलती है। अपर्याप्तता तब होती है जब मॉडल और ऑब्जेक्ट की संरचनाएं मेल नहीं खाती हैं। यदि किसी वस्तु के विकास की प्रक्रिया में इसकी संरचना बदल जाती है, तो यह स्थिति लगातार विकसित होती है।

व्यक्तिपरक उदाहरण पर एक कड़वी गोली

आधुनिक एआई इंजीनियरों को स्वयं संरचनात्मक अनुकूलन करने के लिए सिखाया जाता है - अर्थात। कार के लिए काम करते हैं। इसके अलावा, ऐसा आत्म-बलिदान और आत्म-प्रेम के साथ होता है कि वे यह भी नहीं समझते कि वे क्या कर रहे हैं। यहाँ विशेषता वाक्यांश (लुलज़ा) हैं जिन्हें आप यहाँ पकड़ सकते हैं:

1. अपनी समस्या को हल करने के लिए आपको कुछ भी नहीं बल्कि उसकी आवश्यकता है।
2. आपको एक छिपी हुई परत की आवश्यकता क्यों है, अगर एक न्यूरॉन इस कार्य के साथ मुकाबला करता है?
3. मैं समस्याओं को हल कर सकता हूं और उनके लिए "सार्वभौमिक विलायक" के बजाय सही उपकरण चुन सकता हूं।

हमारे पास एक शास्त्रीय शुरुआत है - एक व्यक्ति संरचनात्मक अनुकूलन की आवश्यकता के कार्य को नहीं समझता है। अपने ज्ञान की मदद से वह "मॉडल की संरचना के संश्लेषण" की समस्या को हल करने की कोशिश कर रहा है। उसी समय, वह इस मशीन को पढ़ाने की आवश्यकता को अस्वीकार करता है। और यह सब पूरी तरह से मंत्रमुग्ध कर देता है - वह खुद को "स्मार्ट" घोषित करता है, और बाकी "मूर्ख" केवल इसलिए कि वह "उपयुक्त उपकरण" चुनना जानता है।

नहीं, यह एक "उपकरण विकल्प" नहीं है, अफसोस, ये आधुनिक एआई इंजीनियरों की वर्तमान पंथ हैं, जो अपने विकास में रुक गए हैं और वे मशीन के लिए बौद्धिक कार्य नहीं देखते हैं। ये एआई इंजीनियर हैं जो केवल हमारे पिरामिड के चरणों पर चारों ओर धक्का देने के लिए और दूसरों को पिरामिड के शीर्ष पर गज़ेबो की ओर जाने से रोकने के लिए गर्व करेंगे।

ऐसे एआई इंजीनियरों के लिए मेरा व्यक्तिगत रवैया बिल्कुल एक मजबूत एआई के oracles जैसा है, और कभी-कभी यह मुझे खुश भी करता है जब एक मजबूत एआई के oracles इस तरह के एआई इंजीनियरों की आलोचना करते हैं। क्योंकि वे नहीं जानते कि वे क्या कर रहे हैं, और एआई के क्षेत्र में विशेषज्ञ के रूप में उनका कार्य क्या है।

"शुद्ध सामान्यीकरण" के बारे में थोड़ा सा

रोसेनब्लट ने शुद्ध सामान्यीकरण की अवधारणा तैयार की:

मॉडल को एन अलग उत्तेजनाओं के साथ प्रस्तुत किया जाता है और यह आवश्यक है कि वह विभिन्न तरीकों से उन पर प्रतिक्रिया करे। सबसे पहले, प्रशिक्षण आयोजित किया जाता है, जिसके दौरान छवियों का एक निश्चित अनुक्रम मॉडल को प्रस्तुत किया जाता है, जिसमें प्रत्येक वर्ग के प्रतिनिधियों को प्रतिष्ठित किया जाता है। फिर एक नियंत्रण उत्तेजना प्रस्तुत की जाती है और इस वर्ग की उत्तेजनाओं के लिए सही प्रतिक्रिया प्राप्त करने की संभावना निर्धारित की जाती है।

यदि नियंत्रण उत्तेजना किसी भी प्रशिक्षण उत्तेजनाओं के साथ मेल नहीं खाती है, तो प्रयोग न केवल "शुद्ध अंतर" के साथ जुड़ा हुआ है, बल्कि "सामान्यीकरण" के तत्व भी शामिल हैं। यदि एक नियंत्रण उत्तेजना संवेदी तत्वों के एक निश्चित सेट को उत्तेजित करती है जो उन तत्वों से पूरी तरह से अलग हैं जो एक ही वर्ग के पहले प्रस्तुत उत्तेजनाओं के संपर्क में सक्रिय थे, तो प्रयोग "शुद्ध सामान्यीकरण" की एक जांच है।

अब इन कार्यों को एक मजबूत एआई के प्रतिनिधियों द्वारा हल नहीं किया जाता है, न कि कमजोर एआई के प्रतिनिधियों द्वारा? मेरे पास केवल एक ही उत्तर है: पूर्व ऐसे प्रयोगों का सार नहीं समझता है, बाद वाले ऐसे प्रयोगों के महत्व को नहीं समझते हैं। और अंत में हम समय को चिह्नित कर रहे हैं।

आइए इस खंड में देखें कि हमने "दो या दो से अधिक शिक्षकों की समस्या" और एआई समुदाय की व्यक्तिपरक राय के लेख सारांश में जोड़ की समस्या को कैसे हल किया।

जब हमने संकेत दिया कि हमारे पास 256 आउटपुट हैं, और प्रशिक्षण का नमूना संभावित बदलावों का केवल आधा हिस्सा है, तो यह पता चला है:

* निम्न स्थिति का उल्लंघन किया जाता है: प्रशिक्षण आयोजित किया जाता है, जिसके दौरान छवियों का एक निश्चित अनुक्रम मॉडल को प्रस्तुत किया जाता है, जिसमें प्रत्येक वर्ग के प्रतिनिधियों को प्रतिष्ठित किया जाता है।

* हमने यह बोध कराया कि केवल विषम संख्याएँ कैसे प्राप्त होती हैं। उसे पता नहीं था कि प्रकृति में भी संख्याएँ मौजूद हैं। सम संख्याओं को प्रशिक्षण देने के बाद वजन शून्य था। यही कारण है कि इस तरह के एक गरीब रोग का निदान है। लेकिन फिर भी, अवधारणात्मक ने कुछ भविष्यवाणी की, इस तथ्य के बावजूद कि वह संख्याओं के अस्तित्व के बारे में नहीं जान सका। उन्होंने बिना किसी वर्गीकरण के केवल द्विआधारी प्रतिनिधित्व में शर्तों के प्रकार के आधार पर - उस स्थान पर प्रयास किया, जहां उन्हें ज्ञात कम से कम कुछ विषम संख्या देने के लिए एक समान संख्या होनी चाहिए थी, लेकिन ऐसा है कि यह भी करीब है। वास्तव में, उन्होंने "भोली" क्लस्टरिंग का प्रदर्शन किया।

* इसलिए, पूर्वानुमान परिणामों की तुलना जैसा कि एरर ने MLP + BackProp एल्गोरिथम के साथ किया था , यहाँ प्रासंगिक नहीं है

* यानी। परसेप्ट्रॉन ने समस्या को "सामान्यीकरण" तत्वों के साथ एक समस्या के रूप में हल किया, जबकि एमएलपी + बैकप्रॉप समस्या के बारे में बहुत अधिक जानता था - यह अनुमानित समस्या को हल करता है। लेकिन परसेप्ट्रॉन को ऐसा संरचनात्मक ज्ञान नहीं दिया गया था ( संरचनात्मक अनुकूलन याद रखें?) किस तरह का कार्य। और वास्तव में, अवधारणात्मक बस यहाँ शारीरिक रूप से सामान्यीकरण नहीं कर सकता है।

समस्या की स्थितियों को थोड़ा बदलें

आइए हम अगले चरण में समस्या की स्थितियों को थोड़ा बदलने की कोशिश करें ताकि परिधि में सामान्यीकरण के लिए आधार हो। सबसे पहले, कार्य के आयाम को 64x64 से 32x32 तक कम करें, इससे निष्कर्ष प्रभावित नहीं होंगे, लेकिन इसकी गणना जल्दी से की जाती है।

अब हमारा फ़ंक्शन c = a + b नहीं होगा, जिसमें ऊपर वर्णित विशेषता मौजूद है, कि विषम संख्याओं से सीखा है, यहां तक ​​कि संख्याओं की उपस्थिति को कम करने का कोई तरीका नहीं है।

अब हम फंक्शन c = (int) (a + b) / 4 को एक पूर्णांक तक ले जाते हैं। नेत्रहीन, यह इस तरह दिखता है (कार्यों को अलग करने के लिए जो हम इस समय को हरे रंग में ढालते हैं):



(दाईं ओर पूर्ण कार्य, दाईं ओर परसेप्ट्रॉन के लिए प्रशिक्षण बिंदु)

अब विश्लेषण करते हैं कि अध्ययन के तहत फ़ंक्शन c = (int) (a + b) / 4 कैसे पूर्वानुमान में योगदान देता है। यह स्पष्ट है कि प्रत्येक वर्ग के लिए छवियों के अधिक उदाहरण (संख्या सी के मूल्य), बेहतर पूर्वानुमान। इसे निम्नलिखित बॉक्स में प्रदर्शित किया जा सकता है:



ब्लू स्क्वायर ऐसे बिंदु हैं जिनके बारे में परसेप्ट्रॉन को कुछ भी नहीं पता है और उन्हें इसकी भविष्यवाणी करने की आवश्यकता है। लेकिन उसके बगल में साग जाना जाता है, हरियाली अधिक उज्जवल उदाहरण वह जानता है। चरम कोनों में केवल एक बिंदु ज्ञात है, और केंद्रीय विकर्ण में 62 उदाहरण हैं। तदनुसार, यह अपेक्षा करना आवश्यक नहीं है कि अवधारणात्मक समान रूप से इस फ़ंक्शन को सामान्य करेगा। इसकी पूर्वानुमान गुणवत्ता अनुमानित कार्य के प्रकार पर निर्भर करेगी।

और यह इस तरह होगा:


बाईं ओर पूर्ण पूर्वानुमान मानचित्र है, दाईं ओर त्रुटि मान का वितरण है (नीला डॉट्स एक त्रुटि की अनुपस्थिति को इंगित करता है, काले से हरे रंग में उन्नयन 10 इकाइयों तक की त्रुटि का संकेत देता है, लाल त्रुटियां 10 इकाइयों से अधिक होती हैं)। या संख्या में त्रुटियों का वितरण:

त्रुटि मान = संबंधित बिंदुओं की संख्या
0 = 631
1 = 114
2 = 63
३ = २३
४ = ४५
५ = २५
6 = 28
7 = 19
= १ ९
९ = १०
१० = १४
११ = ९
12 = 4
13 = 8
14 = 6
15 = 3
16 = 2
17 = 1

यह MLP + BackProp की तुलना में थोड़ा खराब है, लेकिन अंतर यह है कि परसेप्ट्रॉन केवल छवियों की उपस्थिति के आंकड़ों से आता है, और MLP + BackProp का उपयोग करते समय, प्रयोगात्मक रूप से संरचनात्मक अनुकूलन का कार्य करता है।

अब, यदि हमने सीखा कि संरचनात्मक अनुकूलन कैसे किया जाता है, तो पेसेप्ट्रॉन न केवल प्रशिक्षण नमूने के आंकड़ों के आधार पर भविष्यवाणी करने में सक्षम होगा, बल्कि संरचना / प्रकार के कार्यों को भी ध्यान में रखेगा।