मशीन लर्निंग और डेटा विश्लेषण। यैंडेक्स स्मॉल शाद के लिए व्याख्यान

अधिक से अधिक बार हम बड़ी मात्रा में डेटा के आंतरिक पैटर्न की पहचान करने की आवश्यकता के साथ सामना कर रहे हैं। उदाहरण के लिए, स्पैम को पहचानने के लिए, आपको ईमेल की सामग्री में पैटर्न खोजने और स्टॉक की कीमतों, वित्तीय आंकड़ों में पैटर्न की भविष्यवाणी करने में सक्षम होना चाहिए। दुर्भाग्य से, उन्हें "मैन्युअल रूप से" पहचानना अक्सर असंभव होता है, और फिर मशीन सीखने के तरीके बचाव में आते हैं। वे आपको एल्गोरिदम बनाने में मदद करते हैं जो आपको नए पैटर्न खोजने में मदद करते हैं जो अभी तक वर्णित नहीं किए गए हैं। हम इस बारे में बात करेंगे कि मशीन सीखना क्या है, जहां यह उपयोग करने के लायक है और क्या कठिनाइयां पैदा हो सकती हैं। कई लोकप्रिय मशीन सीखने के तरीकों के संचालन के सिद्धांतों को वास्तविक उदाहरणों के साथ माना जाएगा।

व्याख्यान का उद्देश्य हाई स्कूल के छात्रों - स्मॉल एसएडी के छात्रों के लिए होता है, लेकिन वयस्क इसका उपयोग मशीन लर्निंग की मूल बातें जानने के लिए कर सकते हैं।



मशीन लर्निंग का मुख्य विचार यह है कि प्रशिक्षण कार्यक्रम और पैटर्न के साथ डेटा के उदाहरण हैं, हम पैटर्न के कुछ मॉडल बना सकते हैं और नए डेटा में पैटर्न पा सकते हैं।

निकटतम पड़ोसी विधि

उदाहरण के लिए, हम एक साधारण समस्या को हल करते हैं। हमारे पास प्लेन पर बिखरे हुए दो रंगों के डॉट्स हैं: लाल और नीला। उनमें से प्रत्येक के निर्देशांक और रंग हमें ज्ञात हैं। नए बिंदु के रंग को निर्धारित करना आवश्यक है। प्रत्येक बिंदु एक अध्ययन की गई वस्तु है, और निर्देशांक और रंग इसके पैरामीटर हैं। उदाहरण के लिए, ऑब्जेक्ट लोग हैं, निर्देशांक किसी व्यक्ति के बालों की ऊंचाई और लंबाई है, और रंग किसी व्यक्ति का लिंग है।



आइए इसे निकटतम पड़ोसी विधि द्वारा हल करने का प्रयास करें। बता दें कि नई वस्तु उसी वर्ग की है जो उसके निकटतम पड़ोसी की है। हम अपने विमान पर प्रत्येक बिंदु के लिए एक पूर्वानुमान बनाते हैं: यदि निकटतम बिंदु नीला है, तो इस बिंदु पर दिखाई देने वाली नई वस्तु नीला है। और इसके विपरीत।



इस प्रकार, हमें दो क्षेत्र मिलते हैं: एक में लाल डॉट्स की उपस्थिति की उच्च संभावना है, और दूसरे नीले रंग में।



अगला, आइए एल्गोरिथ्म को थोड़ा बदलने की कोशिश करें, और कई (के) निकटतम पड़ोसियों पर ध्यान केंद्रित करें। K को पाँच के बराबर करें।



इस मामले में, हम संभावित शोर वस्तुओं को काटने में सक्षम होंगे और एक अधिक समतल अलगाव सीमा प्राप्त करेंगे।



सामान्य वितरण द्वारा प्राप्त वस्तुओं की एक बड़ी संख्या पर इस तरह से अलगाव दिखाई देगा।

एल्गोरिदम की गुणवत्ता और पैरामीटर

फिर से कल्पना करें कि हमारे पास एक विमान है जिस पर लाल और नीले डॉट्स एक निश्चित तरीके से स्थित हैं।



आप उनके बीच विभिन्न तरीकों से एक सीमा खींच सकते हैं। परिणाम इस बात पर निर्भर करेगा कि एल्गोरिदम को डेटा में कैसे समायोजित किया जाता है।



एक नियम के रूप में, एक मॉडल के पीछे हटने की प्रवृत्ति उसके मापदंडों की संख्या से संबंधित है। इसलिए, उदाहरण के लिए, एक छोटी संख्या के मापदंडों वाला एक मॉडल पीछे हटने में सक्षम होने की संभावना नहीं है

सामान्य मामले में, मशीन सीखने की समस्याओं में, एक बहुआयामी स्थान में अंक, और विमान पर नहीं, पर विचार किया जाता है। प्रत्येक समन्वय एक संकेत है। इसलिए, प्रशिक्षण नमूने को निम्नानुसार दर्शाया जा सकता है:



लेकिन किस एल्गोरिदम को चुनना है, और इसके काम की गुणवत्ता का मूल्यांकन कैसे करें? इसके लिए, लेबल किए गए प्रशिक्षण नमूने को दो भागों में विभाजित किया गया है। पहले भाग में, प्रशिक्षण सीधे होता है, और दूसरे भाग का उपयोग नियंत्रण के रूप में किया जाता है। इस पर हम जाँच करेंगे कि एल्गोरिथ्म कितनी त्रुटियों को उत्पन्न करता है।

साइकिल को हल करने में समस्या

मशीन सीखने की समस्या को हल करने का एक अनुमानित चक्र इस तरह दिखता है:



सबसे पहले, हम डेटा को पूर्व-संसाधित करते हैं, फिर वर्गीकरण विधि और मापदंडों का चयन करते हैं, प्रशिक्षण का संचालन करते हैं और गुणवत्ता का मूल्यांकन करते हैं। यदि गुणवत्ता हमें त्रिकाल करती है, तो कार्य पूर्ण माना जाता है। अन्यथा, हम विधि और मापदंडों के चयन पर लौटते हैं।

अधिक विस्तृत जानकारी, मशीन सीखने के लिए वास्तविक दुनिया की समस्याओं के उदाहरण, साथ ही हाइपरप्लेन, तंत्रिका नेटवर्क के बारे में एक कहानी। वीडियो लेक्चर में डीप लर्निंग, वियोला-जोन्स विधि , निर्णायक पेड़ और बूस्टिंग उपलब्ध हैं।