मशीन लर्निंग उन लोगों के लिए यैंडेक्स से कोर्स जो नए साल की छुट्टियों को लाभ के साथ बिताना चाहते हैं

नए साल की छुट्टियां न केवल विश्राम के लिए, बल्कि आत्म-शिक्षा के लिए भी एक अच्छा समय है। आप रोजमर्रा के कामों से बच सकते हैं और कुछ दिनों के लिए कुछ नया सीख सकते हैं जो आपको पूरे साल मदद करेगा (और शायद एक नहीं)। इसलिए, हमने इस सप्ताह के अंत में स्कूल ऑफ डेटा एनालिसिस के पहले सेमेस्टर के लिए व्याख्यान पाठ्यक्रमों की एक श्रृंखला प्रकाशित करने का निर्णय लिया।

आज का दिन सबसे महत्वपूर्ण है। इसके बिना आधुनिक डेटा विश्लेषण की कल्पना करना असंभव है। पाठ्यक्रम के हिस्से के रूप में, मिसाल द्वारा सीखने के मुख्य उद्देश्यों पर विचार किया जाता है: वर्गीकरण, क्लस्टरिंग, प्रतिगमन, कम करने वाला आयाम। हम उनके समाधान के लिए तरीकों का अध्ययन करते हैं, दोनों शास्त्रीय और नए, पिछले 10-15 वर्षों में बनाए गए। जोर गणितीय नींव की गहन समझ पर है, विचार-विमर्श के तरीके, फायदे और विचार की सीमाएं। अलग-अलग प्रमेय प्रमाणों के साथ दिए गए हैं।



लेक्चर कोर्स कोन्स्टेंटिन व्याचेस्लावविच वोरोत्सोव, वरिष्ठ शोधकर्ता, रूसी विज्ञान अकादमी का कम्प्यूटिंग सेंटर। विज्ञान के लिए उप निदेशक, सीजेएससी फॉरेक्सिस। विभाग के प्रमुख "इंटेलिजेंट सिस्टम" FUPM MIPT। VMiK MSU "पूर्वानुमान के गणितीय तरीके" विभाग के एसोसिएट प्रोफेसर। यैंडेक्स में विशेषज्ञ। शारीरिक और गणितीय विज्ञान के डॉक्टर।

व्याख्यान 1. बुनियादी अवधारणाओं और लागू समस्याओं के उदाहरण

• मिसाल के द्वारा सीखने के उद्देश्यों को स्थापित करना। वस्तु और संकेत। तराजू के प्रकार: द्विआधारी, नाममात्र, क्रमिक, मात्रात्मक।
• कार्यों के प्रकार: वर्गीकरण, प्रतिगमन, पूर्वानुमान, क्लस्टरिंग।
• बुनियादी अवधारणाएं: एल्गोरिदम का मॉडल, प्रशिक्षण विधि, हानि कार्य और गुणवत्ता कार्यात्मक, अनुभवजन्य जोखिम को कम करने का सिद्धांत, क्षमता का सामान्यीकरण, गति नियंत्रण।
• लागू कार्यों के उदाहरण हैं।

व्याख्यान 2. बायेसियन वर्गीकरण एल्गोरिदम, गैर-समरूप तरीके

• वर्गीकरण समस्या का संभाव्य कथन। मुख्य अवधारणाएँ: एक प्राथमिक संभावना, पीछे की संभावना, वर्ग संभावना समारोह।
• मध्यम जोखिम की कार्यक्षमता। I और II प्रकार की त्रुटियां।
• इष्टतम बायेसियन क्लासिफायरियर।
• वितरण घनत्व का अनुमान: तीन मुख्य दृष्टिकोण।
• नैवे बेस क्लासिफायर।
• परजेन-रोसेनब्लैट के अनुसार वितरण घनत्व का अप्रगामी अनुमान। कर्नेल फ़ंक्शन का विकल्प। विंडो चौड़ाई चयन, चर विंडो चौड़ाई। Parzenovsky खिड़की विधि।
• नोनपामेट्रिक भोले बेयस क्लासिफायरियर
• मजबूत घनत्व का अनुमान। नमूने की सेंसरशिप (उत्सर्जन वस्तुओं की स्क्रीनिंग)।

व्याख्यान 3. पैरामीटर तरीके, सामान्य भेदभावपूर्ण विश्लेषण

• बहुआयामी सामान्य वितरण: ज्यामितीय व्याख्या, नमूना पैरामीटर अनुमान: गणितीय अपेक्षा वेक्टर और सहसंयोजक मैट्रिक्स।
• चतुष्कोणीय भेदभाव करनेवाला। विभाजन की सतह का प्रकार। प्रतिस्थापन एल्गोरिथ्म, इसकी कमियों और उनके उन्मूलन के लिए तरीके।
• फिशर रैखिक भेदभावपूर्ण।
• मल्टीकोलिनरिटी और रिट्रेनिंग की समस्याएं। सहसंयोजक मैट्रिक्स का नियमितीकरण।
• आयाम घटाने की विधि।
• वितरण मिश्रण मॉडल।
• ईएम एल्गोरिदम: मूल विचार, छिपे हुए चर की अवधारणा, ई-स्टेप, एम-स्टेप। एम-चरण फ़ार्मुलों का रचनात्मक व्युत्पत्ति (अभिसरण के औचित्य के बिना)।

व्याख्यान 4. ईएम-एल्गोरिदम और रेडियल आधार कार्यों का एक नेटवर्क

• मानदंड बंद करो, प्रारंभिक सन्निकटन का चयन, घटकों की संख्या का चयन।
• स्टोचैस्टिक ईएम एल्गोरिथ्म।
• बहुआयामी सामान्य वितरण का मिश्रण। रेडियल आधार फ़ंक्शन नेटवर्क (आरबीएफ) और इसे कॉन्फ़िगर करने के लिए ईएम एल्गोरिदम का अनुप्रयोग।
• निकटतम पड़ोसी विधि (kNN) और इसका सामान्यीकरण।
• गति नियंत्रण की कसौटी के अनुसार संख्या k का चयन।

व्याख्यान 5. मीट्रिक वर्गीकरण एल्गोरिदम

• सामान्यीकृत मीट्रिक क्लासिफायर, इंडेंटेशन की अवधारणा।
• संभावित कार्यों, ढाल एल्गोरिथ्म की विधि।
• संदर्भ वस्तुओं का चयन। छद्म कोड: STOLP एल्गोरिथ्म।
• प्रतिस्पर्धी आत्मीयता समारोह, FRIS-STOLP एल्गोरिथ्म।
• जैविक न्यूरॉन, मैकलॉक-पिट्स मॉडल।
• रैखिक क्लासिफायरमेंट, इंडेंटेशन की अवधारणा, थ्रेशोल्ड लॉस फंक्शन की निरंतर सन्निकटन।

व्याख्यान 6. रैखिक वर्गीकरण एल्गोरिदम

• द्विघात हानि कार्य, कम से कम वर्ग विधि, फिशर रैखिक विवेचक के साथ संबंध।
• स्टोकेस्टिक ग्रेडिएंट विधि और विशेष मामले: अनुकूली रैखिक तत्व ADALINE, रोसेनब्लैट पर्सेप्ट्रॉन, हब नियम।
• स्टोकेस्टिक ग्रेडिएंट विधि और उनके उन्मूलन के तरीकों का नुकसान। अभिसरण का त्वरण, स्थानीय मिनिमा का "नॉकिंग आउट"। छंटनी की समस्या, वजन में कमी (वजन में गिरावट)।
• वर्गों की संभावना कार्यों की घातीय परिकल्पना।
• बायेसियन इष्टतम क्लासिफायरियर की रैखिकता प्रमेय।
• सिग्मॉइड सक्रियण फ़ंक्शन का उपयोग करके पीछे की कक्षा की संभावनाओं का अनुमान।
• लॉजिस्टिक रिग्रेशन। संभावना अधिकतम सिद्धांत और लघुगणक हानि समारोह।
• स्टोचस्टिक ग्रेडिएंट विधि, हब नियम के अनुरूप।

व्याख्यान 7. समर्थन वैक्टर (SVM) की विधि

• इष्टतम विभाजन हाइपरप्लेन। वर्गों (मार्जिन) के बीच अंतर की अवधारणा। रैखिक वियोज्यता के मामले और लीनियर पृथक्करण की कमी।
• नियमित अनुभवजन्य जोखिम को कम करने के साथ संबंध। टुकड़ा करने की क्रिया रैखिक नुकसान समारोह।
• द्विघात प्रोग्रामिंग समस्या और दोहरी समस्या। समर्थन वैक्टर की अवधारणा।
• निरंतर सी चुनने की सिफारिशें।
• कर्नेल फ़ंक्शंस, रेक्टिफाइंग स्पेस, मर्सर का प्रमेय।
• नाभिक के रचनात्मक निर्माण के तरीके। कोर के उदाहरण।
• गाऊसी कोर और आरबीएफ नेटवर्क के साथ एसवीएम की तुलना।

व्याख्यान 8. रैखिक वर्गीकरण के तरीके: सामान्यीकरण और समीक्षा

• विभिन्न निरंतर हानि कार्यों और विभिन्न नियमितताओं की सैद्धांतिक पुष्टि।
• बायेसियन दृष्टिकोण। डेटा और मॉडल की अधिकतम संयुक्त संभावना का सिद्धांत।
• नियमित रूप से उपयोग किए जाने वाले कुछ प्रकार के रेग्युलर। द्विघात (एल 2) नियमित। L1- और L0- नियमित और पात्रों के चयन के साथ उनका संबंध।
• प्रासंगिक वैक्टर की विधि।
• जटिलता दृष्टिकोण। रेडीमर की जटिलता और इसके कुछ गुण। रैखिक classifiers के लिए त्रुटि संभावना के लिए ऊपरी बाध्य।

व्याख्यान 9. प्रतिगमन वसूली के तरीके

• रिग्रेशन रिकवरी की समस्या, कम से कम वर्ग विधि।
• एक आयामी गैरपारंपरिक प्रतिगमन (चौरसाई): नादरा-वाटसन का अनुमान, कर्नेल की पसंद और विंडो की चौड़ाई को चौरसाई करना।
• बहुआयामी रैखिक प्रतिगमन। एकवचन अपघटन।
• नियमितीकरण: रिज रिग्रेशन और लासो टिब्शिरानी।
• प्रमुख घटक विधि और आकर्षक करुणेन-लोव परिवर्तन।
• मजबूत प्रतिगमन: एक सरल कम उत्सर्जन स्क्रीनिंग एल्गोरिथ्म।

व्याख्यान 10. समय श्रृंखला पूर्वानुमान

• Additive और गुणात्मक समय श्रृंखला मॉडल। प्रवृत्ति, मौसमी, कैलेंडर प्रभाव।
• अनुकूली मॉडल: घातीय चौरसाई, होल्ट-विंटर्स और थिल-वेज मॉडल।
• स्लाइडिंग पायलट और ट्रिग-लिच मॉडल।
• अनुकूली चयन और भविष्यवाणी मॉडल की संरचना।
• लागू कार्यों के उदाहरण: ट्रैफ़िक पूर्वानुमान, विज़िट की संख्या, बिक्री वॉल्यूम।

व्याख्यान 11. तंत्रिका नेटवर्क

• एक बहुपरत तंत्रिका नेटवर्क की संरचना। सक्रियण कार्य।
• संपूर्णता की समस्या। अनन्य का कार्य या। बूलियन कार्यों के स्थान में दो-परत नेटवर्क की पूर्णता।
• Backpropagation एल्गोरिथ्म त्रुटि। प्रारंभिक सन्निकटन का गठन। नेटवर्क पक्षाघात की समस्या।
• नेटवर्क संरचना अनुकूलन के तरीके। परतों की संख्या और छिपी हुई परत में न्यूरॉन्स की संख्या का विकल्प। नेटवर्क की क्रमिक जटिलता। इष्टतम नेटवर्क thinning (इष्टतम मस्तिष्क क्षति)।

व्याख्यान 12. क्लस्टरिंग एल्गोरिदम

• क्लस्टरिंग समस्या कथन। क्लस्टर संरचनाओं के प्रकार।
• ग्राफ क्लस्टरिंग विधियाँ: जुड़े हुए घटकों की पहचान के लिए एल्गोरिथ्म, FOREL एल्गोरिथ्म, गुणवत्ता कार्यात्मकता को क्लस्टर करना।
• पदानुक्रमित क्लस्टरिंग (टैक्सोनॉमी): एग्लोमेरेटिव पदानुक्रमित क्लस्टरिंग, डेंड्रोग्राम और एकरसता संपत्ति, संपीड़न, विस्तार और पुनर्विकास गुण।
• सांख्यिकीय क्लस्टरिंग विधि: EM एल्गोरिथ्म, k- साधन विधि।

व्याख्यान 13. आंशिक सीखने के तरीके

• सरल अनुमानी तरीके: एसएसएल कार्य की विशेषताएं, स्व-प्रशिक्षण विधि, वर्गीकरण एल्गोरिदम की संरचना।
• क्लस्टरिंग विधियों का संशोधन: अनुकूलन दृष्टिकोण, प्रतिबंधों के साथ क्लस्टरिंग।
• वर्गीकरण के तरीकों में संशोधन: पारगमन एसवीएम, लॉजिस्टिक रिग्रेशन, एक्सपेक्टेशन रेगुलराइजेशन।

व्याख्यान 14-15। श्रेणीबद्ध रचनाएँ। बूस्टिंग ( भाग 1 , भाग 2 )

• सहपाठियों की रचना: सीखने की रचनाओं की समस्याएं, शास्त्रीय AdaBoost एल्गोरिथ्म, धीरे-धीरे बूस्टिंग।
• बैगिंग और कमेटी के तरीके: बैगिंग और रैंडम सबस्पेस तरीके, सरल और संतुलित वोटिंग, वरिष्ठता मतदान।
• एल्गोरिदम का मिश्रण: क्षमता के क्षेत्रों का विचार, एक मिश्रण सीखने की एक पुनरावृत्ति विधि, क्रमिक रूप से एक मिश्रण का निर्माण

व्याख्यान 16. सामान्यीकरण क्षमता का आकलन

• शिक्षण पद्धति को चुनने के लिए कार्य और मानदंड: एक मॉडल या शिक्षण पद्धति को चुनने के लिए कार्य, चलती नियंत्रण के अनुभवजन्य अनुमान, विश्लेषणात्मक अनुमान और नियमित अध्ययन मानदंड।
• सामान्यीकरण क्षमता का सिद्धांत: रिट्रेनिंग की संभावना और वीसी-सिद्धांत, ओक्टम का रेजर, रिट्रेनिंग का कॉम्बिनेटरियल सिद्धांत।
• विशेषताओं के चयन के तरीके: संपूर्ण खोज और लालची एल्गोरिदम, गहराई और चौड़ाई खोज, स्टोकेस्टिक खोज।

व्याख्यान 17. सुविधाओं के चयन के लिए तरीके। फ़ीचर चयन

• सुविधाओं के चयन के कार्य की जटिलता। पूर्ण खोज।
• जोड़ने और हटाने की विधि, स्टेप वाइज रिग्रेशन।
• गहराई से खोजें, शाखाओं और सीमाओं की विधि।
• छंटनी की चौड़ाई-पहली खोज, MSUA बहु-पंक्ति पुनरावृत्ति एल्गोरिथ्म।
• आनुवंशिक एल्गोरिथ्म, MGUA के साथ इसकी समानता।
• रैंडम खोज और अनुकूलन के साथ यादृच्छिक खोज (एसपीए)।

व्याख्यान 18. तार्किक वर्गीकरण एल्गोरिदम

• नियमितता और सूचना सामग्री की अवधारणा: परिभाषाएँ और पदनाम, व्याख्या, सूचना सामग्री।
• सूचनात्मक पैटर्न की खोज के तरीके: लालची एल्गोरिथ्म, एल्गोरिथ्म संकेतों के चयन के आधार पर, डेटा बिनराइजेशन।
• पैटर्न की रचनाएं: निर्णायक सूची, निर्णायक पेड़, मतदान पैटर्न, निर्णायक वन।

व्याख्यान 19. तार्किक वर्गीकरण एल्गोरिदम। निर्णायक पेड़

• निर्णायक सूची। एक लालची सूची संश्लेषण एल्गोरिथ्म।
• निर्णायक वृक्ष। छद्म कोड: लालची ID3 एल्गोरिथ्म। एल्गोरिथ्म का नुकसान और उनके उन्मूलन के तरीके। छंटनी की समस्या।
• निर्णय वृक्ष में कमी: पूर्व-कटौती और बाद में कमी।
• निर्णय पेड़ को निर्णय सूची में परिवर्तित करना।
• LISTBB एल्गोरिथ्म।
• बारी-बारी से निर्णय लेने वाले पेड़।
• असंगत निर्णय पेड़।
• निर्णायक जंगल और निर्णायक पेड़ों पर बढ़ावा। ट्रीनेट एल्गोरिथ्म।

व्याख्यान 20. तार्किक वर्गीकरण एल्गोरिदम। वेटिंग वोटिंग

• संयुक्त पैटर्न के संश्लेषण के लिए तरीके। छद्म कोड: CORA एल्गोरिथ्म, TEMP एल्गोरिथ्म।
• पैटर्न की विविधता और उपयोगिता प्रदान करने वाली सांख्यिकी। पारेतो-इष्टतम पैटर्न का निर्माण। इंडेंटेशन वितरण संरेखण।
• AdaBoost बूस्टिंग एल्गोरिदम पैटर्न पर लागू होता है। बढ़ाने में सूचना की कसौटी।
• लागू कार्यों के उदाहरण: क्रेडिट स्कोरिंग, ग्राहक देखभाल का पूर्वानुमान।

व्याख्यान 21. साहचर्य नियमों की खोज करें

• संयुक्त पैटर्न के संश्लेषण के लिए तरीके। छद्म कोड: CORA एल्गोरिथ्म, TEMP एल्गोरिथ्म।
• पैटर्न की विविधता और उपयोगिता प्रदान करने वाली सांख्यिकी। पारेतो-इष्टतम पैटर्न का निर्माण। इंडेंटेशन वितरण संरेखण।
• AdaBoost बूस्टिंग एल्गोरिदम पैटर्न पर लागू होता है। बढ़ाने में सूचना की कसौटी।
• लागू कार्यों के उदाहरण: क्रेडिट स्कोरिंग, ग्राहक देखभाल का पूर्वानुमान।

व्याख्यान 22. सहयोगात्मक पुनरावृत्तियों

• समस्या और आवेदन का विवरण।
• डेटा भंडारण के आधार पर सहसंबंध मॉडल, लापता मूल्यों को पुनर्प्राप्त करने का कार्य निकटता फ़ंक्शन है।
• अव्यक्त मॉडल: बाइक्लेस्टराइजेशन और मैट्रिक्स डिकम्पोजिशन, प्रोबेबिलिस्टिक अव्यक्त मॉडल, यैंडेक्स डेटा से प्रयोग।

व्याख्यान 23-24। विषयगत मॉडलिंग ( भाग 1 , भाग 2 )

• विषयगत मॉडलिंग कार्य: संभाव्य विषयगत मॉडल, यूनिग्राम मॉडल।
• विषयगत मॉडल PLSA और LDA: संभाव्य अव्यक्त अर्थ मॉडल, अव्यक्त डिरिक्लेट प्लेसमेंट, विषयगत मॉडल की गुणवत्ता का अनुभवजन्य आकलन।
• मजबूत संभाव्य विषयगत मॉडल: पृष्ठभूमि और शोर घटकों के साथ एक मॉडल, एक मजबूत मॉडल के लिए एक ईएम एल्गोरिथ्म, एक मजबूत मॉडल की विरलता।

व्याख्यान 25. सुदृढीकरण प्रशिक्षण

• बहु-सशस्त्र दस्यु: समस्या, लालची और अर्ध-लालची रणनीतियों, अनुकूली रणनीतियों का सरल कथन।
• डायनेमिक प्रोग्रामिंग: समस्या का पूरा विवरण, बेलमैन समीकरण।
• समय के अंतर की विधि।

अद्यतन: Yandex.Disk पर एक खुले फ़ोल्डर के रूप में मशीन लर्निंग कोर्स के सभी व्याख्यान ।