डेटा माइनिंग कैंप: हम एक साल पहले कैसे प्रेरित हुए थे

किसी तरह, नए साल की शुरुआत में, हमने व्यापार को खुशी के साथ संयोजित करने का फैसला किया: आराम करने और साथ काम करने के लिए। और उन्होंने कर्मचारियों, हमारे छात्रों और EMC , रोज़लिंड , योटा , गेम के विशेषज्ञों को आमंत्रित किया । चेंजर्स सेंट पीटर्सबर्ग के पास एक घर में तीन दिन की सर्दियों की छुट्टी बिताने के लिए।

शहर के बाहर समान विचारधारा वाले दोस्तों के साथ बैठक विचारों को साझा करने, एक लेख लिखने, या काम खत्म करने के लिए अच्छा है जो आपके हाथों तक कभी नहीं पहुंचे। इसके लिए हमने डाटा माइनिंग कैंप की यात्रा आयोजित की। हमने तय किया कि एक सौना, बोर्ड गेम, एक संपर्क चिड़ियाघर और - कार्यक्रम का मुख्य आकर्षण - एक हैकथॉन होगा।

हैकाथॉन में, लोगों ने, विशेषज्ञों की मदद से, तीन अध्ययनों पर काम किया: लक्षणों के पदानुक्रमिक क्लस्टरिंग का एक मॉडल, ऑनलाइन पाठ्यक्रमों के छात्रों को छोड़ने के लिए एक मॉडल, ग्रैडिएंट बूस्टिंग मशीन एल्गोरिथ्म में सुधार करने की कोशिश की, और केगल प्लेटफॉर्म पर एक प्रतियोगिता में भाग भी लिया। यह कैसे था और कैसे लोग कट के तहत इन विचारों पर काम करना जारी रखते हैं ...

मज़ा घंटे ...

सबसे पहले, हम एक निजी चिड़ियाघर में गए । वहां विचित्र, मेरे बचपन को याद किया: हर किसी को उनके स्वाद के लिए मनोरंजन मिला। किसी को एक रैकून भिखारी पसंद आया, किसी को ऊंट या लामा ...



... लेकिन सबसे बड़े लोगों ने बड़े लेकिन दयालु कुत्तों के साथ खेलने का उपक्रम किया।



पहले दिन की शाम हमने सौना में अंतरंग बातचीत और कल के हैकाथॉन की तैयारी में बिताए, आने वाले मेहमानों से मुलाकात की। अगली सुबह बातचीत और बोर्ड गेम पर चली गई।

मनोरंजन कार्यक्रम से प्रेरित होकर, हम दबाने वाले मामलों पर चर्चा करने लगे। मुंचकिन खेल के ठीक पीछे, वार्तालाप ने नए शोध के लिए डाटा माइनिंग शिक्षा और विचारों की ओर रुख किया।

... और बात समय की है!

हमारे बीच जैव सूचना विज्ञान, वित्त, दूरसंचार और बड़े डेटा के क्षेत्र में विशेषज्ञ थे, जिन्होंने अपने अनुसंधान के अनुभव के साथ एक कप चाय साझा की। उदाहरण के लिए, व्लादिमीर जीनोम को डिक्रिप्ट करने के बारे में EMC के एक विशेषज्ञ व्लादिमीर सुवोरोव की कहानी के बाद, एक दर्जन विचार प्रकट हुए जो अभी भी गूढ़ हो सकते हैं और जैव सूचना विज्ञान के क्षेत्र में सहयोग कैसे शुरू किया जाए।



रोजालिंड विशेषज्ञों ने अपने शैक्षिक अनुभवों को साझा किया। हमने निष्कर्ष निकाला कि मशीन लर्निंग और डेटा विश्लेषण पर व्याख्यान अभ्यास की तुलना में कम प्रभावी हैं। हैकाथॉन, प्रतियोगिता, विशेषज्ञों से वास्तविक कार्य - यह वही है जो आपको एक अच्छा विशेषज्ञ बनने की आवश्यकता है। सवाल खुला रहा: “ऑनलाइन और ऑफलाइन शिक्षा को कैसे मिलाएं? अपना कोर्स शुरू करने से पहले Coursera में कुछ कोर्स करने की सलाह देते हैं? व्याख्यान को पूरी तरह से छोड़ दें? या कोई और तरीका है? ”

इस बीच, एक हैकाथॉन आ रहा था, जिसे हमने दो स्वतंत्र धाराओं में विभाजित करने का फैसला किया: हैकाथॉन # 1 के प्रतिभागियों ने अपने मिनी-शोध किए और इसके परिणामों पर एक लेख लिखा, और हैकथॉन # 2 के प्रतिभागियों ने संयुक्त रूप से अंतरराष्ट्रीय प्रतियोगिता के लिए समस्या का समाधान किया।

हैकाथॉन # 1

रिसर्च हैकथॉन में तीन टीमों ने भाग लिया। पहली टीम ने चरित्र चयन विधियों पर काम किया, जो डेटा विश्लेषण के मुख्य कार्यों में से एक है। इसकी आवश्यकता क्यों है? बहुत सारी विशेषताएं, जो डेटा सेट में कॉलम हैं, गणना को जटिल कर सकती हैं या उन्हें असंभव भी बना सकती हैं। उदाहरण के लिए, यदि नमूना आकार सुविधाओं की संख्या से कम है।

मान लीजिए कि हम भविष्यवाणी करना चाहते हैं कि हमारा देश ओलंपिक में कौन सी जगह ले जाएगा, और अधिक जानकारी इकट्ठा करने का निर्णय लिया। अर्थव्यवस्था पर: प्रति व्यक्ति सकल घरेलू उत्पाद, बाहरी ऋण की मात्रा, न्यूनतम मजदूरी, आयात और निर्यात की मात्रा, आप्रवासियों की संख्या। भूगोल पर: राजधानी का अक्षांश, पहाड़ों के कब्जे वाले क्षेत्र का प्रतिशत, पूरे देश का क्षेत्र। पिछले ओलम्पियाड्स के बारे में: प्रत्येक रैंक के पदकों की संख्या, एथलीटों की संख्या, खेल की संख्या जिसमें देश का प्रतिनिधित्व किया जाता है, स्थल ... सामान्य तौर पर, हम डेटा एकत्र करने के लिए इतने उत्सुक थे कि हमने ध्यान नहीं दिया कि कैसे प्रतिभागियों की संख्या भाग लेने वाले देशों की संख्या से अधिक हो गई। और यह, स्पष्ट रूप से, अच्छा नहीं है, क्योंकि समीकरणों की संख्या अज्ञात की संख्या से कम हो गई है, जो या तो सिस्टम की असंगति या अनंत समाधानों की ओर जाता है।

हमें अतिरिक्त जानकारी को निकालना होगा। आमतौर पर, सूचना मापदंड ( एआईसी , बीआईसी ) का उपयोग सुविधाओं के इष्टतम सेट के साथ एक मॉडल का चयन करने के लिए किया जाता है। सबसे अच्छा एक मॉडल है जो कम से कम सुविधाओं के साथ डेटा का पर्याप्त रूप से वर्णन करता है। या वे मॉडल में निर्मित नियमितीकरण विधियों का उपयोग करते हैं, दूसरे शब्दों में, वे आशा करते हैं कि मॉडल स्वयं गलत डेटा का सामना करेगा। या प्रिंसिपल कंपोनेंट एनालिसिस (पीसीए) का उपयोग करके डेटा आयाम कम करें। मुख्य घटक विधि का सार दो विशेषताओं के साथ एक उदाहरण द्वारा सबसे आसानी से व्यक्त किया जाता है:



तालिका की प्रत्येक पंक्ति विमान के एक बिंदु से मेल खाती है। हम उनके माध्यम से एक सीधी रेखा खींचते हैं ताकि अधिकतम डेटा परिवर्तन इसके साथ हो, इसे पहला मुख्य घटक कहा जाता है - पीसी 1। फिर इस अक्ष पर सभी स्रोत बिंदुओं को प्रोजेक्ट करें। नई धुरी से सभी विचलन को शोर माना जाएगा। यह जांचना संभव है कि क्या यह वास्तव में शोर है, इन अवशेषों के साथ उसी तरह काम किया है जैसे हमने प्रारंभिक डेटा के साथ किया था - उनमें अधिकतम बदलावों की धुरी खोजें। इसे दूसरा मुख्य घटक (PC2) कहा जाता है। और इसलिए यह तब तक कार्य करने के लिए आवश्यक है जब तक कि शोर पहले से ही वास्तव में शोर नहीं हो जाता है, अर्थात, मात्रा का एक यादृच्छिक अराजक सेट। एक उदाहरण यहां से लिया गया है , यहां आप प्रमुख घटकों की विधि के बारे में अधिक विस्तार से पढ़ सकते हैं।

यदि आप मुख्य घटक विधि के रूप में सुविधाओं को बदलना नहीं चाहते हैं, या मॉडल में अंतर्निहित नियमितीकरण नहीं हैं, उदाहरण के लिए, तंत्रिका नेटवर्क, और आसानी से रिट्रेनिंग के अधीन हैं, अन्य दृष्टिकोणों की आवश्यकता है। हमारे लोगों ने उनमें से सबसे सफल के सबसेट के लिए बाद की खोज के साथ विशेषताओं के श्रेणीबद्ध क्लस्टरिंग का एक मॉडल विकसित करने का निर्णय लिया।

आइए परिणामी एल्गोरिथ्म के बारे में अधिक विस्तार से विचार करें। क्लस्टरिंग एल्गोरिदम का उपयोग करके पदानुक्रम का गठन किया जाएगा, उनमें से सबसे लोकप्रिय k- साधन विधि है। समूहों की संख्या k पहले से ज्ञात है, मान लीजिए हमने k = 2 सेट किया है। हम अपने मॉडल से बेतरतीब ढंग से दो विशेषताओं का चयन करते हैं और उनके चारों ओर क्लस्टर बनाना शुरू करते हैं। हम क्लस्टर के केंद्र को तब तक हस्तांतरित करेंगे जब तक कि कुल द्विघात विचलन न्यूनतम न हो जाए। हमारे मामले में संकेत n- आयामी अंतरिक्ष में एक बिंदु में बदल जाता है, जहां n तालिका में प्रविष्टियों की संख्या है, अर्थात् ओलंपियाड में भाग लेने वाले देशों की संख्या है। K- साधन एल्गोरिथ्म का तंत्र यहां पाया जा सकता है ।



अब हमारे संकेत दो समूहों में विभाजित हैं। उनमें से प्रत्येक में, हमने क्लस्टर (1) के मध्य के निकटता के सिद्धांत के अनुसार एक विशेषता विशेषता को चुना। फिर, हम प्रत्येक विशेषता समूह को शामिल करते हैं, जिसमें विशेषता विशेषता (2) को छोड़कर। हम तब तक दोहराएंगे जब तक उपसमूह में संकेतों की संख्या> 2 न हो।

नतीजतन, हमें नोड्स में एक पेड़ मिलता है जिसमें से निचले स्तर तक सभी कम महत्वपूर्ण संकेत (3) हैं । उसके बाद, चयन किया जाता है। मान लीजिए हमें 8 संकेत छोड़ने की आवश्यकता है। सबसे पहले, हमारे मॉडल को केवल पदानुक्रम के शीर्ष स्तर से संकेतों पर प्रशिक्षित किया जाता है। उनमें से प्रत्येक के लिए, मॉडल के लिए सुविधा के योगदान के आधार पर एक निर्णय लिया जाता है: मॉडल में छोड़ दें, उपसमूह में निकालें या गहरा जाएं। यदि योगदान काफी बड़ा है - हम इसे छोड़ देते हैं, अगर बीच वाला - हम छोड़ देते हैं और उपसमूह में गहराई से जाते हैं, अगर यह बहुत छोटा है - हम इसके साथ पूरे उपसमूह को बाहर फेंक देते हैं। हम तब तक पेड़ के नीचे जाना जारी रखते हैं जब तक कि हमारे मॉडल की भविष्यवाणी में कमी और चयनित संकेतों की संख्या <8 (4) नहीं होती है ।

दूसरी टीम ने एक उदाहरण के रूप में तीन प्लेटफार्मों का उपयोग करके एक एमओओसी (मैसिव ओपन ऑनलाइन कोर्स) उपयोगकर्ता निकास मॉडल बनाने के लिए काम किया: कौरसेरा , रोज़ालिंड, और स्टेपिक । यह कार्य अब ऑनलाइन शिक्षा के लिए बहुत प्रासंगिक है - एक साक्षात्कार में, डाफ्ने कोल्लर ने कहा कि केवल 7% उपयोगकर्ता कोर्ससेरा पर पाठ्यक्रम पूरा करते हैं। लक्ष्य एक ऐसा मॉडल बनाना है जो गतिविधि को ट्रैक करने और बाधाओं को खोजने के लिए प्रशिक्षण के विभिन्न चरणों में उपयोगकर्ता के व्यवहार का वर्णन करेगा।

हैकाथॉन में, लोगों ने रोजालिंड प्लेटफॉर्म के डेटा की जांच की, जिसका मुख्य उद्देश्य व्यावहारिक समस्याओं को हल करने के साथ जैव सूचना विज्ञान तैयार करना है। हैकाथॉन के दौरान, लोगों ने लक्ष्य चर के लिए मॉडल और विकल्पों की विशेषताओं की एक सूची पर निर्णय लिया। मॉडल का निर्माण करने के लिए, तीन प्रकार की विशेषताओं की पहचान की गई थी जो कि विशेषता देती हैं:



हैकाथॉन में, सभी संकेतों को नहीं गिना गया था (पर्याप्त क्षमता और काम करने वाले हाथ नहीं थे), लेकिन यह स्पष्ट हो गया कि लोगों को आगे के शोध में कहां जाना चाहिए।

तीसरी टीम ने ग्रेडिएंट बूस्टिंग एल्गोरिथ्म में सुधार करने की कोशिश की। यह एल्गोरिथ्म "बेस-लर्नर" या "बेस ब्रिक्स" कहे जाने वाले "कमजोर" पूर्वानुमान मॉडल के एक संयोजन से एक भविष्यवाणी मॉडल बनाता है। कमजोर मॉडलों को एक प्रशिक्षण सेट पर प्रशिक्षित किया जाता है, और फिर इस तरह से संयोजित किया जाता है कि अंतिम भविष्यवाणी मॉडल प्रत्येक पुनरावृत्ति पर अधिक सटीक हो जाता है। आमतौर पर, ग्रेडिएंट ट्री बूस्टिंग एल्गोरिदम का उपयोग किया जाता है, जहां निश्चित आकार के कार्ट निर्णय वृक्ष "मूल ईंट" होते हैं। निर्णय पेड़ों के नोड्स में संक्रमण की स्थिति होती है, और पत्तियों में उद्देश्य फ़ंक्शन के मूल्य होते हैं। चित्र में टाइटैनिक यात्रियों (जहाज पर रिश्तेदारों की संख्या है) के बारे में निर्णय वृक्ष का एक उत्कृष्ट उदाहरण है:



लोगों ने इस बारे में सोचा कि क्या विभिन्न तरीकों से पहनावा के घटकों को मिलाकर मॉडल की सटीकता बढ़ाना संभव है। GBM (ग्रैडिएंट बूस्टिंग मशीन) वेरिएंट पर विचार किया गया था, जहाँ कलाकारों की टुकड़ी में SVM रिग्रेशन, रैखिक मॉडल और विभिन्न ट्री वेरिएंट होते हैं। अब तक, मानक जीबीएम को हराया नहीं जा सकता था, लेकिन हैकाथॉन के अंत के बाद भी काम में उबाल जारी है।

सभी तीन टीमों का लक्ष्य आईसीएमएल सीखने वाली मशीन पर अंतर्राष्ट्रीय सम्मेलन में भाग लेने के लिए एक लेख लिखना था, जो बीजिंग में गर्मियों में आयोजित किया जाएगा।

हैकाथॉन # 2

दूसरा हैकथॉन काग्ले क्राउडसोर्सिंग प्लेटफॉर्म पर यैंडेक्स से प्रतियोगिता के लिए समर्पित था। कार्य उपयोगकर्ता वरीयताओं के आधार पर खोज परिणामों में वेब पृष्ठों को रैंक करना है। यैंडेक्स ने 27 दिनों में लगभग 6 मिलियन उपयोगकर्ताओं का इतिहास प्रदान किया, जो कि लगभग 21 मिलियन अनुरोध हैं। प्रत्येक अनुरोध के लिए थे: उपयोगकर्ता आईडी, अनुरोध में शब्दों की एक सूची, आउटपुट से 10 स्थिति, उपयोगकर्ता द्वारा चुनी गई स्थिति की संख्या और प्रत्येक उपयोगकर्ता कार्रवाई का समय। इसके अलावा, अगले 3 दिनों के लिए परीक्षण सत्र डेटा प्रदान किया गया था।

परीक्षा सत्रों में परिणामों की व्यवस्था करना आवश्यक था ताकि अधिकतम NDCG (सामान्यीकृत रियायती संचयी लाभ) प्राप्त किया जा सके । आइए अधिक विस्तार से विचार करें कि यह क्या है। डीसीजी - रियायती संचयी लाभ या घटाकर कुल प्रासंगिकता प्रभावशीलता निम्नलिखित सूत्र का उपयोग करके गणना की जाती है:



जहां मैं मुद्दे की क्रम संख्या है, और अनुरोध अनुरोध के अनुपालन की डिग्री है। 0 से 3 के पत्राचार पैमाने पर, परिणामों में पहले छह पृष्ठों का मूल्यांकन किया जा सकता है, उदाहरण के लिए: 3,2,3,0,1,2। हम प्रासंगिकता की कम कुल प्रभावशीलता की गणना करते हैं:



और सही रैंकिंग के साथ संक्षेप में कुल प्रासंगिकता प्रभावशीलता:



हम वास्तविक DCG को आदर्श एक में विभाजित करके परिणाम को सामान्य करते हैं:



यह मीट्रिक अक्सर सूचना पुनर्प्राप्ति और रैंकिंग रैंकिंग में उपयोग किया जाता है।

प्रदर्शन संकेतकों से निपटने के बाद, लोगों ने काम करना शुरू कर दिया। तैयार उपयोगकर्ता अनुरोध लॉग में 60 से अधिक गीगाबाइट लगे, जिससे मशीन लर्निंग एल्गोरिदम का उपयोग करना मुश्किल हो गया। समय सीमा से पहले कुछ भी नहीं था, इसलिए केवल व्यक्तिगत नेविगेशन अनुरोधों पर डेटा छोड़ने का निर्णय लिया गया था। वे नमूने के 10% की राशि, यानी 6 गीगाबाइट।

वर्तमान आउटपुट में सुधार करने के लिए, टीम ने यह जांचने का फैसला किया कि क्या कोई उपयोगकर्ता हैं जो अतीत में उसी क्वेरी (क्वेरी_ड) में प्रवेश करते हैं। कई मामलों में, यह इस तरह से निकला। लोगों ने उस समय का विश्लेषण किया जब इस उपयोगकर्ता ने कुछ दस्तावेजों, क्लिक आवृत्ति और प्रशिक्षण नमूने में अन्य मापदंडों का दौरा किया, और फिर वर्तमान आउटपुट को रैंक करने के लिए इस डेटा का उपयोग किया। सबसे सरल नियम का उपयोग किया गया था: वेब दस्तावेज़ को ऊपर ले जाया गया था, यदि पहले एक ही अनुरोध वाले उपयोगकर्ता ने इसे कई बार देखा था, और औसत विज़िट का समय 400 ts से अधिक था (टाइम स्टैम्प समय के बराबर है। सम्मेलन द्वारा, 400 ts का समय या उससे अधिक प्रासंगिकता। दस्तावेज़ उपयोगकर्ता के लिए)।

प्रतियोगिता के परिणामस्वरूप, हमारी टीम ने बेसलाइन को पछाड़ दिया - यांडेक्स ने एक मॉडल के रूप में जो पेशकश की थी, उसकी तुलना में परिणाम में 0.6% सुधार हुआ। तुलना के लिए, लीडरबोर्ड में सबसे अच्छा परिणाम केवल 1.6% के आधार पर खराब हो गया। यहां इस तरह के एक पैसे के लिए सेवा की गुणवत्ता में सुधार के लिए संघर्ष करना पड़ता है।

छापों

अगली सुबह सभी घर चले गए। काम और मनोरंजन से दिलचस्प बातचीत और विचारों के आदान-प्रदान से समय बीत गया।



ऐसी बैठकें आयोजित करने का विचार सफल रहा, इसलिए हमने अनौपचारिक सेटिंग में नियमित रूप से मिनी-सम्मेलन आयोजित करने का निर्णय लिया। अगला एक वसंत के लिए निर्धारित है और हम हैबे पर सटीक तारीख के साथ एक घोषणा लिखेंगे। हम हमेशा नए समान दिमाग वाले लोगों के लिए खुश हैं, और यदि आपके पास इस बारे में दिलचस्प विचार हैं, तो कृपया उन्हें टिप्पणियों में साझा करें!