Yandex रैंकिंग: कैसे एक धागा पर मशीन सीखने डाल करने के लिए (# 3 पोस्ट)

आज हम FML फ्रेमवर्क के बारे में प्रकाशनों की एक श्रृंखला को पूरा कर रहे हैं, जिसमें हम इस बारे में बात करते हैं कि याँडेक्स में मशीन लर्निंग प्रौद्योगिकियों के अनुप्रयोग का स्वचालन कैसे और किस लिए किया गया था। आज की पोस्ट में हम बताएंगे:

• आपको कारकों की गुणवत्ता की निगरानी करने की आवश्यकता है और हम इसे कैसे करते हैं;
• एफएमएल एक खोज सूचकांक पर कंप्यूटिंग कार्यों को वितरित करने में कैसे मदद करता है;
• हमारी मशीन सीखने की तकनीक कैसे और क्यों पहले से लागू है और इसे यैंडेक्स और इसके बाहर दोनों में लागू किया जा सकता है;
• क्या साहित्य उठाया मुद्दों में एक गहरी विसर्जन के लिए सलाह दी जा सकती है।

पहले से लागू कारकों की गुणवत्ता की निगरानी करना

पिछली पोस्ट में, हमने इस तथ्य पर ध्यान केंद्रित किया कि एफएमएल की मदद से हम रैंकिंग सूत्र के लिए नए कारकों के विकास और उनकी उपयोगिता का प्रारंभिक मूल्यांकन करने में सक्षम थे। हालांकि, यह सुनिश्चित करने के लिए कि कारक मूल्यवान है और इसके कार्यान्वयन के बाद कंप्यूटिंग संसाधनों को बर्बाद नहीं करना भी आवश्यक है।

इसके लिए, एक विशेष नियमित स्वचालित चेक बनाया गया था - कारक गुणवत्ता की तथाकथित निगरानी। कम्प्यूटेशनल रूप से यह बहुत जटिल है, लेकिन यह कई समस्याओं को हल करने की अनुमति देता है।

पहले "हटाने" के लिए उम्मीदवारों की पहचान है। एक बार आश्वस्त होने पर कि कारक एक बड़ा योगदान देता है और इसकी कीमत स्वीकार्य है, और इसके कार्यान्वयन पर निर्णय लेने के बाद, यह सुनिश्चित करना महत्वपूर्ण है कि समय के साथ-साथ अधिक से अधिक नए कारकों के उद्भव के बावजूद यह उपयोगी बना रहे। वास्तव में, नया आसानी से पुराने की तुलना में अधिक सामान्य और मजबूत हो सकता है, और न केवल एक नया मूल्य बना सकता है, बल्कि इसकी नकल भी कर सकता है। उदाहरण के लिए, जब हमने पहली बार "लैटिन में लिखे गए URL में क्वेरी शब्द दर्ज करने वाले कारक" को पेश किया था, और कुछ समय बाद एक नया बनाया जो लैटिन और सिरिलिक दोनों में लिखे गए URL में प्रवेश करने का समर्थन करता है, तो पहले वाले ने सभी मूल्य खो दिए। पुराने संस्करण को कम से कम दो कारणों से हटा दिया जाना चाहिए: 1) पुराने कारक की गणना के समय की बचत; 2) प्रशिक्षण के दौरान संकेतों की आयामीता में कमी।

कभी-कभी एक अलग स्थिति उत्पन्न होती है। कारक "बहुत सारे लाभ" लाता था, और अब यह, हालांकि यह उपयोगी बना हुआ है, अब गुणवत्ता / लागत सीमा को पार नहीं करता है। यह तब हो सकता है जब यह अपनी प्रासंगिकता खो चुका है, या नए कारकों द्वारा आंशिक रूप से दोहराव हो गया है। इसलिए, एक स्वस्थ विकास करना आवश्यक है - ताकि कमजोर कारक मर जाएं और मजबूत लोगों को रास्ता दें। लेकिन यहां एफएमएल से पर्याप्त डेटा नहीं है, और कारक को हटाने पर अंतिम निर्णय विशेषज्ञों द्वारा किया जाता है।

एक और समस्या है जो गुणवत्ता की निगरानी करती है। इस तथ्य पर नज़र रखना कि एक बार पेश किए गए कारक की उपयोगिता कम नहीं हुई है, यह प्रतिगमन परीक्षण प्रदान करता है। एक कारक की गुणवत्ता में गिरावट हो सकती है, उदाहरण के लिए, इंटरनेट के गुणों में एक आकस्मिक संशोधन या प्रणालीगत परिवर्तन के कारण, जो मूल रूप से इस पर निर्भर था। इस मामले में, सिस्टम डेवलपर को सूचित करेगा कि इस कारक को "ठीक" करने की आवश्यकता है (त्रुटि को ठीक करने या इसे संशोधित करने के लिए ताकि यह नई वास्तविकताओं को पूरा करे)।

तीसरा निगरानी कार्य, जिसे वह जल्द ही हल करना शुरू कर देगा, कारकों की अतिरेक से छुटकारा पाना है। एक निश्चित बिंदु तक, हमने यह नहीं जांचा कि क्या कोई नया कारक पहले से मौजूद लोगों में से किसी की नकल करता है या नहीं। नतीजतन, यह अच्छी तरह से पता लगा सकता है, उदाहरण के लिए, दो कारक हैं जो एक दूसरे को दोहराते हैं। लेकिन अगर आप यह मापते हैं कि उनमें से प्रत्येक अकेले क्या योगदान देता है, तो सभी दूसरों के संबंध में, यह पता चलता है कि यह शून्य के बराबर है। और यदि आप दोनों कारकों को बाहर करते हैं, तो गुणवत्ता गिर जाएगी। और गणना के लिए गुणवत्ता के विकास के समान अनुपात के दृष्टिकोण से, यह चुनने के लिए कार्य ठीक है कि छोड़ने वाले कारकों में से कौन सा सबसे प्रभावी है। कम्प्यूटेशनल रूप से, यह एक नए कारक के मूल्यांकन की तुलना में अधिक परिमाण के कई आदेश हैं। इस समस्या को हल करने के लिए, हम 300 Tflops के विस्तारित क्लस्टर का उपयोग करने की योजना बनाते हैं ।


एक ऐसी स्थिति जिसमें दोनों कारकों में से प्रत्येक, I और J,
एक शून्य योगदान दें - (जे, के, एल) और (आई, के, एल),
लेकिन दोनों को हटाने से गुणवत्ता खराब हो जाती है - (के, एल)।
किसी को भी बाहर किया जा सकता है (I या J)।
अधिक संसाधन-गहन के रूप में, J को बाहर करना अधिक लाभदायक है।

वितरित कम्प्यूटिंग पाइपलाइन

इस और पिछले पदों ने नियमित मशीन लर्निंग के संदर्भ में एफएमएल के लिए विशिष्ट अनुप्रयोगों के बारे में बात की। लेकिन अंत में, फ्रेमवर्क इन लागू कार्यों के दायरे से परे चला गया और खोज सूचकांक पर वितरित कंप्यूटिंग के लिए एक पूर्ण प्लेटफॉर्म बन गया।

समर्पित पाठकों ने शायद देखा कि जहां भी FML का उपयोग किया जाता है, हम उसी डेटा सरणी के बारे में बात कर रहे हैं: डाउनलोड किए गए दस्तावेज़, सहेजे गए प्रश्न, मूल्यांकनकर्ताओं के आकलन और कारकों की गणना के परिणाम। हमने उस समय भी इस पर ध्यान दिया, और उन अन्य कार्यों की संख्या को भी देखा जो पहले से ही खोज में हल हो रहे हैं और एक या अन्य इस डेटा पर निर्भर हैं; और इसका फायदा उठाने का फैसला किया। अर्थात्, उन्होंने FML को इस डेटा सेट पर मनमाने ढंग से वितरित कंप्यूटिंग के लिए एक पूर्ण वाहक बनाया, जो कई हजार सर्वरों के साथ कंप्यूटिंग क्लस्टर पर किया जाता है।

हमने यह सुनिश्चित किया है कि FML खोज सूचकांक और किसी विशेष कार्य के लिए विशिष्ट अतिरिक्त डेटा पर वितरित गणनाओं को निष्पादित करने की सुविधा प्रदान करता है। खोज इंडेक्स को सप्ताह में कई बार अपडेट किया जाता है, और प्रत्येक अपडेट के साथ संसाधनों का अधिक इष्टतम उपयोग करने के लिए सर्वर के बीच इसका एक बड़ा हिस्सा चलता है। FML इंडेक्स के सही टुकड़े को खोजने के बारे में डेवलपर को चिंताओं से पूरी तरह से बचाता है और उसे पूर्ण और सुसंगत एक्सेस देता है। फ्रेमवर्क इंडेक्स की अखंडता का निदान करता है और क्लस्टर में उन सर्वरों पर गणना चलाता है जहां डेवलपर को डेटा की आवश्यकता होती है।

खोज सूचकांक के विपरीत, वर्तमान कार्य के लिए FML- विशिष्ट डेटा सर्वर द्वारा निर्धारित किया गया है। वह प्रतिस्पर्धी उपयोगकर्ता कार्यों के वितरित निष्पादन का प्रभार भी लेता है। गणना शुरू होते ही, FML गणना की प्रगति की निगरानी करना शुरू कर देता है और जब किसी विशेष सर्वर पर कुछ कार्य अनुपलब्ध हो जाते हैं, तो यह प्रशासकों को संकेत देता है। इसे प्राप्त करने के बाद, वे इस सर्वर पर इस कार्य के साथ एक विशिष्ट स्थिति का निदान करना शुरू करते हैं, चाहे वह डिस्क विफलता हो, नेटवर्क की खराबी या पूर्ण सर्वर आउटेज हो। हमारी भविष्य की योजनाएं प्रशासकों को यथासंभव विस्तृत निदान के साथ मदद करना और विभिन्न विफलताओं के कारणों की खोज को सरल बनाना है। कई हजार सर्वरों की स्थितियों में उत्तरार्द्ध एक पूरी तरह से सामान्य व्यवसाय है, और दिन में कई बार होता है। इसलिए, यदि हम इसे थोड़ा स्वचालित करते हैं, तो हम प्रशासकों के मैनुअल काम को बहुत बचाएंगे।

पहली नज़र में, यह सब YAMR कार्यों के समान है - गणना, परिणामों का संग्रह और विश्वसनीयता सुनिश्चित करने का समान वितरण। लेकिन दो कार्डिनल अंतर हैं। सबसे पहले, एफएमएल सर्च इंडेक्स के साथ संबंधित है, न कि YAMR द्वारा अपनाई गई क्लासिक की-वैल्यू स्ट्रक्चर के साथ। खोज इंडेक्स का अर्थ है कि सभी चयन एक साथ बड़ी संख्या में कुंजी (सबसे सरल स्थिति में, कुछ क्वेरी शब्द) के संयोजन से होते हैं। कुंजी-मान प्रतिमान में ऐसे नमूनों के साथ काम करना मौलिक रूप से कठिन है। और दूसरी बात, यदि YAMR सर्वरों में डेटा को विघटित करने का निर्णय लेता है, तो FML अपने स्वयं के कानूनों के अनुसार किसी बाह्य सिस्टम द्वारा पूर्वनिर्धारित किसी भी डेटा वितरण के साथ काम कर सकता है।

यह समाधान इतना सफल रहा कि अपनी खुद की पहल पर अधिकांश खोज विकास टीमों ने FML का उपयोग करने के लिए स्विच किया, और, हमारे अनुमानों के अनुसार, आज यांडेक्स में गणना का लगभग 70% (प्रोसेसर समय के संदर्भ में)। खोज विकास FML द्वारा प्रबंधित है।

एनालॉग्स के साथ स्कोप और तुलना

जैसा कि हमने पहले ही कहा , FML और मैट्रिक्स Yandex मशीन सीखने की तकनीक के हिस्से हैं। और हम इसका इस्तेमाल केवल वेब सर्च में ही नहीं करते हैं। उदाहरण के लिए, इसकी मदद से, सूत्रों को तथाकथित "ऊर्ध्वाधर" खोजों (छवियों, वीडियो आदि) के लिए चुना जाता है और एक वेब खोज में पूरी तरह से अप्रासंगिक दस्तावेजों की प्रारंभिक जांच के लिए। यह माल को वर्गीकृत करने के लिए Yandex.Market में श्रेणियों में वर्गीकृत करने में मदद करता है। इसके अलावा, मशीन लर्निंग एक खोज रोबोट के लिए सूत्र का चयन करता है (उदाहरण के लिए, एक रणनीति के लिए जो साइटों को क्रॉल करने के लिए निर्धारित करता है)। और इन सभी मामलों में यह एक ही समस्या हल करता है - यह एक फ़ंक्शन बनाता है जो इनपुट के लिए प्रस्तुत विशेषज्ञ डेटा से सबसे अच्छा मेल खाता है। हमें लगता है कि निकट भविष्य में हमें यैंडेक्स में इसके लिए कई और अनुप्रयोग मिलेंगे। उदाहरण के लिए, हम प्रशिक्षण में क्लासिफायर का उपयोग करते हैं, जिनमें से हमारे पास बहुत कुछ है।

मैट्रिक्स डिवाइस लर्निंग लाइब्रेरी के साथ जोड़ा गया FML न केवल खोज इंजन के विकास में उपयोगी हो सकता है, बल्कि अन्य क्षेत्रों में भी जहां डेटा प्रोसेसिंग की आवश्यकता होती है। कुछ टीमों के साथ, हमने पहले से ही विशेष प्रकार के डेटा की खोज करने के लिए, विशिष्ट कारकों को ध्यान में रखते हुए उनका परीक्षण किया है। उदाहरण के लिए, सर्न (न्यूक्लियर रिसर्च के लिए यूरोपीय केंद्र) बड़ी मात्रा में डेटा (प्रति बिलियन यूनिट) में दुर्लभ घटनाओं का पता लगाने के लिए मैट्रिक्स का उपयोग करता है । परंपरागत रूप से, ग्रेडिएंट बूस्टेड डिसीजन ट्रीज़ (GBDT) पर आधारित TMVA पैकेज का उपयोग किया गया था। चूंकि हमारी समस्याओं और मैट्रिक्स पर मेट्रिक्सनेट सरल GBDT की तुलना में अधिक सटीक हो गया है, इसलिए हम उम्मीद करते हैं कि CERN भौतिक विज्ञानी अपने शोध की सटीकता बढ़ाने के लिए इसका उपयोग करने में सक्षम होंगे।





अधिक व्यापक रूप से यह देखते हुए कि हमारी तकनीक क्या सक्षम है, हमें यकीन है कि यह कई क्षेत्रों में उपयोगी हो सकता है जिसमें विशिष्ट मशीन सीखने के कार्यों का सामना किया जाता है - खासकर यदि वे एक बड़े डेटा सेट से निपटते हैं जो समय के साथ बदलता रहता है। उदाहरण के लिए, बड़े ऑनलाइन स्टोर, ऑनलाइन नीलामी, सामाजिक नेटवर्क में।

अब हम केवल एक ही कार्य के लिए एक औद्योगिक समाधान जानते हैं, अपने स्वयं के अलावा, Google पूर्वानुमान एपीआई । BigML जैसे कई स्टार्टअप हैं। दुर्भाग्य से, हम कुछ अनुप्रयोगों के लिए उनकी प्रभावशीलता के बारे में जानकारी नहीं पा सके। अमेज़ॅन क्लाउड सेवा कम्प्यूटेशनल कार्यों के लिए एक वाहक के रूप में भी काम कर सकती है, लेकिन इसकी एक करीबी परीक्षा से पता चला है कि यह पूरी तरह से मनमाने कार्यों के लिए एक बहुत ही सामान्य समाधान है। जबकि हमारा विशेष रूप से खोज इंजन के लिए बनाया गया है और उनमें अधिकतम रूप से पता चला है। "नए कारक की प्रभावशीलता का मूल्यांकन" और "कारकों की गुणवत्ता की निगरानी" की समस्याओं को हल करने में FML एनालॉग्स हमारे लिए पूरी तरह से अज्ञात हैं।

एक बाहरी पर्यवेक्षक अप्रत्यक्ष रूप से अंतरराष्ट्रीय मशीन सीखने की प्रतियोगिताओं के परिणामों के आधार पर हमारी तकनीक की प्रभावशीलता का न्याय कर सकता है। उदाहरण के लिए, यैंडेक्स विशेषज्ञों ने याहू लर्निंग टू रैंक और फेसबुक रिक्रूटिंग रैंकिंग प्रतियोगिताओं में उच्च स्थान रखा, जिसमें रैंकिंग समारोह की सटीकता के लिए संघर्ष ईआरआर / एनडीसीजी के हजारवें हिस्से के संदर्भ में है। उन्होंने मशीन सीखने की प्रतियोगिताओं और अन्य क्षेत्रों में अच्छे परिणाम दिखाए।

यह सुनिश्चित करने के लिए कि हमारी प्रौद्योगिकियां अपने क्षेत्र में सर्वश्रेष्ठ बनी हुई हैं, हम नियमित रूप से अपनी मशीन सीखने की प्रतियोगिता - इंटरनेट गणित श्रृंखला के भाग के रूप में रखते हैं। विषयों में से: मशीन सीखने की रैंकिंग , ट्रैफिक जाम की भविष्यवाणी, मनोरम तस्वीरों का वर्गीकरण । दो साल पहले, हमारी प्रतियोगिताएं अंतर्राष्ट्रीय हो गईं, और सिएटल (यूएसए) में डब्ल्यूएसडीएम 2012 सम्मेलन में उपयोगकर्ता व्यवहार की प्रासंगिकता की भविष्यवाणी करने के लिए प्रतियोगिता का अंतिम चरण आयोजित किया गया था । हाल ही में, खोज इंजन स्विचिंग के पूर्वानुमान के लिए समर्पित एक प्रतियोगिता समाप्त हो गई है।

इस तथ्य के बावजूद कि हमने इस पोस्ट की श्रृंखला में आपके बारे में जो FML फ्रेमवर्क बताया था, वह मूल रूप से मैट्रिक्स मैट्रिक्स के साथ काम करने के लिए बनाया गया था, इसे किसी भी अन्य प्रसिद्ध मशीन लर्निंग लाइब्रेरी (उदाहरण के लिए, अपाचे महाउट , वीका , स्किकिट-लर्न ) के अनुकूल बनाया जा सकता है।

अनुशंसित पढ़ना

हाल ही में, कई अच्छे ऑनलाइन मशीन लर्निंग कोर्स सामने आए हैं। अंग्रेजी में, आप स्टैनफोर्ड विश्वविद्यालय में पाठ्यक्रम की सिफारिश कर सकते हैं, रूसी में - कॉन्स्टेंटिन वोरोत्सोव का कोर्स , जो स्कूल ऑफ डेटा एनालिसिस में पढ़ाया जाता है ।

पेपर संस्करणों के बीच, हम दो संस्करण नोट करेंगे: सांख्यिकीय शिक्षण के तत्व: डेटा खनन, आविष्कार और भविष्यवाणी (ट्रेवर हस्ती, रॉबर्ट टिब्शिरानी, ​​जेरोम फ्रीडमैन) ( इलेक्ट्रॉनिक रूप में भी उपलब्ध) और पैटर्न मान्यता और मशीन लर्निंग (क्रिस्टोफर एम। बिशप) ) ।

इसके अलावा, कागले में संकलित पाठ्यक्रमों और पाठ्य पुस्तकों का व्यापक चयन सहायक होगा।