यैंडेक्स रैंकिंग: मशीन लर्निंग को थ्रेड पर कैसे रखा जाए (पोस्ट # 2)

हम अपने एफएमएल फ्रेमवर्क के बारे में प्रकाशनों की एक श्रृंखला जारी रखते हैं, जो स्वचालित मशीन लर्निंग और यैंडेक्स डेवलपर्स को अपने कार्यों में इसे आसान और अधिक बार उपयोग करने की अनुमति देता है। पिछली पोस्ट ने इस बारे में बात की कि एक रैंकिंग फ़ंक्शन क्या है और हमने इसका निर्माण कैसे सीखा है, इनपुट पर मूल्यांकनकर्ताओं से केवल पर्याप्त संख्या में आकलन और बड़ी संख्या में अनुरोधों के लिए दस्तावेजों के काफी विविध सेट (कारक) हैं।

इस पोस्ट से आप सीखेंगे:

1. हमें बहुत बार एक नए रैंकिंग सूत्र का चयन करने की आवश्यकता क्यों है, और एफएमएल वास्तव में इससे कैसे मदद करता है;
2. हम नए कारकों को कैसे विकसित करते हैं और उनकी प्रभावशीलता का मूल्यांकन करते हैं।

एक रैंकिंग सूत्र का चयन

यह एक बार एक सूत्र लेने के लिए एक चीज है, और बहुत बार ऐसा करने के लिए एक और। और हम उन कारणों के बारे में बात करेंगे कि दूसरे हमारे वास्तविकताओं में इतने आवश्यक क्यों हैं।

जैसा कि पहले ही उल्लेख किया गया है , इंटरनेट तेजी से बदल रहा है और हमें लगातार खोज की गुणवत्ता में सुधार करने की आवश्यकता है। हमारे डेवलपर्स लगातार नए कारकों की तलाश कर रहे हैं जो हमें इसमें मदद कर सकते हैं। हमारे मूल्यांकनकर्ता इंटरनेट पर दिखाई देने वाले नए प्रकार के पैटर्न पर एल्गोरिदम को जल्दी से प्रशिक्षित करने के लिए हर दिन हजारों दस्तावेजों का मूल्यांकन करते हैं और पहले से ही पहले से मूल्यांकन किए गए दस्तावेजों की उपयोगिता में परिवर्तन को ध्यान में रखते हैं। खोज रोबोट इंटरनेट पर बहुत सारे नए दस्तावेज़ एकत्र करता है, जो लगातार कारकों के औसत मूल्यों को बदलता है। अपरिवर्तित दस्तावेजों के साथ मान भी बदल सकते हैं, क्योंकि कारकों की गणना के लिए एल्गोरिदम और उनके कार्यान्वयन में लगातार सुधार किया जा रहा है।

रैंकिंग सूत्र में परिवर्तनों के इस प्रवाह को जल्दी से ध्यान में रखने के लिए, एक संपूर्ण तकनीकी कन्वेयर की आवश्यकता है। यह वांछनीय है कि उसे किसी व्यक्ति की भागीदारी की आवश्यकता नहीं है या उसके लिए यथासंभव सरल नहीं है। और यह बहुत महत्वपूर्ण है कि कुछ परिवर्तन दूसरों की उपयोगिता के मूल्यांकन में हस्तक्षेप नहीं करते हैं। यह वास्तव में पाइपलाइन है जो एफएमएल बन गया है। जबकि मैट्रिक्सिक्स मशीन लर्निंग के "मस्तिष्क" के रूप में कार्य करता है, FML इसके आधार पर एक सुविधाजनक सेवा है, जिसके उपयोग के लिए बहुत कम विशिष्ट ज्ञान और अनुभव की आवश्यकता होती है। यहीं से यह हासिल हुआ।

सबसे पहले, प्रत्येक विशिष्ट कार्य के लिए जिसके साथ डेवलपर हमारे पास आता है, एफएमएल मैट्रिक्स मैट्रिक्स स्टार्टअप मापदंडों की सिफारिश करता है जो कार्य की स्थितियों और सीमाओं के लिए सबसे अच्छा है। सेवा स्वयं उन सेटिंग्स का चयन करती है जो विशिष्ट मात्रा के आकलन के लिए इष्टतम हैं - उदाहरण के लिए, यह प्रशिक्षण नमूने के आकार के आधार पर उद्देश्य फ़ंक्शन ( पॉइंटवाइज़ या पेयरवाइज़ ) का चयन करने में मदद करता है।

दूसरे, FML पारदर्शी मल्टीटास्किंग प्रदान करता है। सूत्र के चयन का प्रत्येक पुनरावृत्ति कई घंटे की गणना है, जिसमें कई दर्जन सर्वरों के पूर्ण भार की आवश्यकता होती है। एक नियम के रूप में, एक ही समय में एक दर्जन अलग-अलग सूत्र चुने जाते हैं, और एफएमएल लोड का प्रबंधन करता है और प्रत्येक डेवलपर को अपने सहयोगियों की गणना से उसकी गणना को अलग करने के साथ प्रदान करता है ताकि वे एक-दूसरे के साथ हस्तक्षेप न करें।

तीसरा, मैट्रिक्स मैट्रिक्स के विपरीत, जिसे मैन्युअल रूप से शुरू करने की आवश्यकता है, एफएमएल एक क्लस्टर पर संसाधन-गहन कार्यों का निष्पादन प्रदान करता है। इसमें मशीन लर्निंग लाइब्रेरी के सभी सिंगल और लेटेस्ट वर्जन का उपयोग, और सभी मशीनों पर प्रोग्राम का लेआउट, और उत्पन्न होने वाली विफलताओं का प्रसंस्करण, और पहले से की गई गणनाओं का संरक्षण, और गणनाओं को फिर से शुरू करने की स्थिति में परिणामों का सत्यापन शामिल है।

अंत में, हमने इस तथ्य का लाभ उठाया कि कम्प्यूटेशनल रूप से जटिल कार्यों के लिए, आप सामान्य उद्देश्य वाले प्रोसेसर (सीपीयू) के बजाय ग्राफिक प्रोसेसर (जीपीयू) पर चलाते हैं, तो आपको बहुत महत्वपूर्ण प्रदर्शन लाभ मिल सकता है। ऐसा करने के लिए, हमने मैट्रिक्स को GPU के लिए अनुकूलित किया, जिसके कारण हमें उपकरण की प्रति यूनिट लागत की गणना गति में 20 गुना से अधिक लाभ मिला। निर्णय वृक्ष निर्माण एल्गोरिदम के हमारे कार्यान्वयन की विशेषताएं हमें GPU पर उपलब्ध समानता के उच्च स्तर का उपयोग करने की अनुमति देती हैं। इस तथ्य के कारण कि हमने FML द्वारा उपयोग किए जाने वाले प्रोग्रामिंग इंटरफेस को बनाए रखा, हम सामान्य विकास प्रक्रियाओं को बदलने के बिना नई कंप्यूटिंग शक्ति के साथ कारकों पर काम करने वाले सहयोगियों को प्रदान करने में सक्षम थे।

नए कारकों का विकास और उनकी प्रभावशीलता का आकलन

किसी सूत्र का चयन करने की क्षमता की तुलना में रैंकिंग में कारक और भी महत्वपूर्ण भूमिका निभाते हैं। आखिरकार, जितने अधिक विविध संकेत अलग-अलग दस्तावेज़ों में अंतर करेंगे, रैंकिंग फ़ंक्शन उतना अधिक प्रभावी होगा। खोज गुणवत्ता सुधारने के प्रयास में, हम लगातार नए कारकों की तलाश में रहते हैं जो हमारी मदद कर सकें।

उनकी रचना एक बहुत ही जटिल प्रक्रिया है। हर विचार इसमें अभ्यास की कसौटी पर खड़ा नहीं होता है। कभी-कभी एक अच्छा कारक विकसित करने और स्थापित करने में कई महीने लग सकते हैं, और अभ्यास द्वारा पुष्टि की गई परिकल्पना का प्रतिशत बहुत छोटा है। मायाकोवस्की की तरह: "ग्राम उत्पादन, प्रति वर्ष श्रम । " एफएमएल के पहले वर्ष में, मापदंडों के विभिन्न संयोजनों के साथ विभिन्न कारकों के हजारों चेक के दसियों के लिए, केवल कुछ सौ को लागू करने की अनुमति दी गई थी।

यैंडेक्स में लंबे समय तक, कारकों पर काम करने के लिए, सबसे पहले, विशेष रूप से खोज उपकरण को गहराई से समझना और विशेष रूप से, और, दूसरे, मशीन सीखने और सामान्य रूप से सूचना पुनर्प्राप्ति के बारे में अच्छा ज्ञान होना आवश्यक था। एफएमएल की उपस्थिति ने हमें पहली आवश्यकता से छुटकारा पाने की अनुमति दी, कारकों के विकास में प्रवेश करने के लिए सीमा को काफी कम कर दिया। विशेषज्ञों की संख्या जो अब इससे निपट सकती है, परिमाण के क्रम से बढ़ी है।

लेकिन एक बड़ी टीम को विकास प्रक्रिया की पारदर्शिता की आवश्यकता थी। पहले, प्रत्येक केवल निरीक्षणों तक ही सीमित था, जिसे वह स्वयं पर्याप्त मानता था, और गुणवत्ता "आंख से"। नतीजतन, एक अच्छा कारक निकलना कला का एक उद्देश्य है। और अगर कारक परिकल्पना को अस्वीकार कर दिया गया था, तो समय के साथ उन परीक्षणों से परिचित होना असंभव था जिनके द्वारा निर्णय लिया गया था।

एफएमएल के आगमन के साथ, कारक विकास एक बड़ी टीम में एक मानक, औसत दर्जे का और नियंत्रित प्रक्रिया बन गया है। क्रॉस पारदर्शिता भी दिखाई दी, जब हर कोई देख सकता था कि सहकर्मी क्या कर रहे थे, और पिछले प्रयोगों की गुणवत्ता को नियंत्रित करने की क्षमता। इसके अलावा, हमने उत्पादित कारकों के लिए एक गुणवत्ता नियंत्रण प्रणाली प्राप्त की जो सूचना पुनर्प्राप्ति के क्षेत्र में अग्रणी विश्व सम्मेलनों की तुलना में बहुत कम संभावना के साथ खराब परिणाम की अनुमति देता है।



कारक की गुणवत्ता का आकलन करने के लिए, हम निम्नलिखित करते हैं। हम विभाजित करते हैं (हर बार एक नए यादृच्छिक तरीके से) ग्रेड का सेट हमारे पास दो भागों में होता है: प्रशिक्षण और परीक्षण। शैक्षिक अनुमानों के अनुसार, हम दो सूत्रों का चयन करते हैं - पुराना एक (बिना जांचे गए कारक) और नया वाला (इसके साथ), और परीक्षण के लिए हम देखते हैं कि इनमें से कौन सा सूत्र बेहतर है। प्रक्रिया हमारे अनुमानों के विभिन्न विभाजनों की एक बड़ी संख्या पर कई बार दोहराई जाती है। आंकड़ों में, इस प्रक्रिया को क्रॉस-मान्यता कहा जाता है। यह हमें यह सुनिश्चित करने की अनुमति देता है कि नए फॉर्मूले की गुणवत्ता पुराने से बेहतर है। मशीन लर्निंग में, इस तकनीक को रैपर के उपयोग से आयामी कमी के रूप में जाना जाता है। यदि यह पता चलता है कि पुराने फॉर्मूले की तुलना में औसतन नया फॉर्मूला गुणवत्ता में उल्लेखनीय सुधार देता है, तो एक नया कारक कार्यान्वयन का उम्मीदवार बन सकता है।

लेकिन भले ही कारक ने इसकी उपयोगिता साबित कर दी हो, आपको यह समझने की आवश्यकता है कि इसके कार्यान्वयन और उपयोग की लागत क्या है। इसमें न केवल उस समय को शामिल किया गया है जो डेवलपर ने विचार को विकसित करने, इसके कार्यान्वयन और अनुकूलन पर खर्च किया था। कई कारकों की खोज के समय सीधे गणना की जानी चाहिए - अनुरोध द्वारा पाए गए हजारों दस्तावेजों में से प्रत्येक के लिए। इसलिए, प्रत्येक नया कारक खोज इंजन की प्रतिक्रिया गति में एक संभावित मंदी है, और हम यह सुनिश्चित करते हैं कि यह बहुत तंग ढांचे में बना रहे। इसका मतलब यह है कि प्रत्येक नए कारक की शुरूआत उपयोगकर्ता के अनुरोधों पर प्रतिक्रिया देने वाले क्लस्टर की क्षमता में वृद्धि द्वारा सुनिश्चित की जानी चाहिए। अन्य हार्डवेयर संसाधन हैं जिन्हें अनिश्चित काल तक खर्च नहीं किया जा सकता है। उदाहरण के लिए, रैम में प्रत्येक अतिरिक्त बाइट प्रति दस्तावेज़ एक खोज क्लस्टर पर संग्रहीत करने की लागत लगभग $ 10,000 प्रति वर्ष है।

इस प्रकार, हमारे लिए केवल उन संभावित कारकों से चयन करना महत्वपूर्ण है जिनके लिए उपकरणों की लागत में गुणवत्ता में वृद्धि का अनुपात सबसे अच्छा होगा - और बाकी को छोड़ दें। यह गुणवत्ता में वृद्धि को मापने और अतिरिक्त लागतों की मात्रा का आकलन करने के लिए है जो निम्नलिखित FML कार्य में सूत्र चुनने में शामिल हैं।


हार्डवेयर संसाधनों के बारे में बोलते हुए, हम तीन घटकों का मूल्यांकन करते हैं: कम्प्यूटेशनल लागत, डिस्क आकार और रैम आकार। समय के साथ, हमने "बार्गेनिंग चिप्स" भी विकसित किया: हम प्रदर्शन को कितना कम कर सकते हैं, डिस्क या रैम के कितने बाइट्स गुणवत्ता में 1% वृद्धि के लिए भुगतान करने के लिए तैयार हैं। मेमोरी की खपत प्रायोगिक रूप से अनुमानित है, गुणवत्ता लाभ एफएमएल से लिया जाता है, और प्रदर्शन में कमी का आकलन एक अलग लोड परीक्षण के परिणामों से होता है। हालांकि, कुछ पहलुओं का मूल्यांकन स्वचालित रूप से नहीं किया जा सकता है - उदाहरण के लिए, कारक मजबूत प्रतिक्रिया में लाता है। इस कारण से, एक विशेषज्ञ परिषद है जो एक कारक की शुरूआत को वीटो करने का अधिकार रखती है।

जब नए कारकों का उपयोग करके निर्मित सूत्र को लागू करने का समय आता है, तो हम ए / बी परीक्षण करते हैं - उपयोगकर्ताओं के एक छोटे प्रतिशत पर एक प्रयोग। यह सुनिश्चित करने की आवश्यकता है कि वे नई रैंकिंग को वर्तमान की तुलना में अधिक पसंद करते हैं। अंतिम कार्यान्वयन निर्णय कस्टम गुणवत्ता मीट्रिक के आधार पर किया जाता है। दर्जनों प्रयोग किसी भी समय यैंडेक्स में किए जाते हैं, और हम इस प्रक्रिया को खोज इंजन के उपयोगकर्ताओं के लिए अदृश्य बनाने की कोशिश कर रहे हैं। इस प्रकार, हम न केवल किए गए निर्णयों की गणितीय वैधता प्राप्त करते हैं, बल्कि व्यवहार में नवाचारों की उपयोगिता भी प्राप्त करते हैं।

इसलिए, FML ने हमें Yandex पर कारकों के विकास को एक धारा में रखने की अनुमति दी और अपने डेवलपर्स को एक स्पष्ट और विनियमित तरीके से प्रश्न को समझने का अवसर दिया और अपेक्षाकृत कम प्रयास के साथ कि क्या नया कारक कार्यान्वयन के लिए पर्याप्त है। हम इस बारे में बात करेंगे कि हम कैसे सुनिश्चित करते हैं कि कारक की गुणवत्ता अगले - अंतिम - पोस्ट में समय के साथ नीचा नहीं है। इससे आप सीखेंगे कि हमारी मशीन सीखने की तकनीक और कहाँ लागू होती है ।