अनुशंसित प्रणाली: कोल्ड स्टार्ट समस्या का एक परिचय

मेरा नाम वसीली है, अब तीन महीने से अधिक समय से, मैं सर्फिंगबर्ड में गणितज्ञ के रूप में काम कर रहा हूं।

कंपनी में काम करने के दौरान मुझे जो पहली गंभीर समस्या का सामना करना पड़ा, वह थी एक ठंडी शुरुआत की समस्या को हल करना। इस लेख में मैं समस्या का सार और इसके समाधान की मुख्य दिशाओं का वर्णन करूंगा।

सिफारिशकर्ता प्रणाली के समस्या बयान को पहले से ही सर्गेई निकोलेन्को ने लेख अनुशंसाकर्ता प्रणालियों में वर्णित किया है: समस्या बयान ।
अधिकांश सिफारिश प्रणाली तथाकथित सहयोगी फ़िल्टरिंग विधियों पर आधारित हैं। हमारी सिफारिश प्रणाली कोई अपवाद नहीं है। सभी सहयोगी फ़िल्टरिंग एल्गोरिदम केवल उपयोगकर्ताओं द्वारा पुष्टि की गई रेटिंग के बारे में जानकारी पर निर्भर करते हैं और संसाधनों की सामग्री का विश्लेषण नहीं करते हैं (हमारे मामले में, वेब पेज)। इसलिए, ये एल्गोरिदम पर्याप्त रूप से बड़ी संख्या में रेटिंग के साथ काम करते हैं, एक नियम के रूप में ये 10-20 रेटिंग हैं। नए उपयोगकर्ताओं और नई साइटों के लिए प्रासंगिक सिफारिशें जारी करने के कार्य को कोल्ड स्टार्ट समस्या कहा जाता है।

तो, उपयोगकर्ताओं को (नए उपयोगकर्ताओं को क्या दिखाना है?) के लिए एक ठंडी शुरुआत की समस्या को एक ठंडी शुरुआत में विभाजित किया गया है और साइटों के लिए एक ठंड शुरू हो गई है (जो मुझे नए जोड़े गए साइटों की सिफारिश करनी चाहिए?)। चलिए शुरू करते हैं।

उपयोगकर्ताओं के लिए ठंड शुरू

उपयोगकर्ताओं के लिए एक ठंडी शुरुआत जनसांख्यिकीय डेटा के आधार पर संभव है जो उपयोगकर्ता पंजीकरण करते समय स्वयं इंगित करते हैं। उपयोगकर्ता, लिंग, जन्म तिथि और स्थान के बारे में वेब पृष्ठों की सिफारिश करने के इस कार्य में जाने जाते हैं। हम इन विशेषताओं को बुनियादी के रूप में लेंगे। हालांकि, अधिक जनसांख्यिकीय डेटा प्राप्त किया जा सकता है। सामाजिक नेटवर्क के एपीआई का उपयोग करके, हम शिक्षा के स्तर, सामाजिक स्थिति और अन्य विशेषताओं का पता लगा सकते हैं।

सिफारिशों में उपयोगकर्ता जनसांख्यिकीय जानकारी का उपयोग करने के लिए दो मुख्य दृष्टिकोण हैं:
- विभिन्न जनसांख्यिकीय श्रेणियों के लिए विशेषज्ञ रूप से संकलित रूढ़ियाँ। यही है, विशेषज्ञ खुद निर्धारित करता है कि प्रत्येक श्रेणी को ठंड शुरू होने पर क्या दिखाना है। इस दृष्टिकोण का स्पष्ट नुकसान काम करने के लिए एक विशेषज्ञ की आवश्यकता है, जबकि उपयोगकर्ता को केवल विशेषज्ञ द्वारा चुने गए लोकप्रिय साइटों की सिफारिश की जाएगी। श्रेणियों की बढ़ती संख्या के साथ विशेषज्ञ कार्य की मात्रा में काफी वृद्धि होती है।
- समान हितों वाले उपयोगकर्ता समूहों की पहचान करके जनसांख्यिकीय श्रेणियां स्वचालित रूप से निर्धारित की जाती हैं। सिफारिशें उसी श्रेणी के उपयोगकर्ताओं द्वारा दी गई रेटिंग पर आधारित होती हैं, यानी समान आयु, लिंग, स्थान आदि।

दूसरे दृष्टिकोण को विशेषज्ञों की भागीदारी की आवश्यकता नहीं है और असीमित संख्या में क्लस्टर बनाने का अवसर प्रदान करता है, इसलिए मैं इस पर अधिक विस्तार से ध्यान केंद्रित करूंगा।

जनसांख्यिकीय श्रेणियों का निर्माण करने के लिए, क्लस्टरिंग विधियों का उपयोग करना स्वाभाविक है। क्लस्टरिंग ऑब्जेक्ट x उपयोगकर्ता हैं। वस्तुओं के संकेत (या विशेषताएँ) उपयोगकर्ता के सामान्यीकृत जनसांख्यिकीय डेटा हैं: लिंग, आयु, स्थान, शिक्षा और अन्य।
जनसांख्यिकीय डेटा के अनुसार क्लस्टरिंग के लिए, k- औसत विधि का उपयोग करना स्वाभाविक है, क्योंकि इस मामले में प्रत्येक क्लस्टर अपने केंद्र के एक बिंदु द्वारा निर्धारित किया जाता है और, परिणामस्वरूप, अच्छी तरह से व्याख्या की जाती है। ऑब्जेक्ट (उपयोगकर्ता) से क्लस्टर के केंद्र तक की दूरी को निर्धारित किया जा सकता है, आम तौर पर बोलकर, अनंत तरीकों से। यह संकेतों के स्थान में यूक्लिडियन मीट्रिक का उपयोग करने के लिए प्रथागत है।
हालांकि, हमारे कार्य में यह आवश्यक है कि हम रेटिंग डेटा को ध्यान में रखें, न कि केवल जनसांख्यिकीय डेटा को।
सभी साइटों के लिए गणना की गई एसवीडी एल्गोरिथ्म विषयों की उपस्थिति से स्थिति को बचाया जाता है, जिसे क्लस्टरिंग के दौरान वस्तुओं की सुविधाओं के रूप में भी जोड़ा जा सकता है। इस मामले में, जनसांख्यिकीय डेटा और उपयोगकर्ता रेटिंग की समानता के आधार पर साइटों के बीच की दूरी की गणना की जाएगी।

उपयोगकर्ता क्लस्टर प्राप्त होने के बाद और प्रत्येक नए उपयोगकर्ता के लिए जिन्होंने अपने जनसांख्यिकीय डेटा का संकेत दिया है, हम जानते हैं कि क्लस्टर वह किससे संबंधित है, हम समूह की सिफारिशों या फ़िल्टर बॉट का उपयोग करके ठंड शुरू होने पर सिफारिशों में सुधार कर सकते हैं। यह थोड़ा और विस्तृत है।

सबसे प्राकृतिक समूह सिफारिशों (व्यक्तिगत उपयोगकर्ता के लिए व्यक्तिगत अनुशंसा) की विधि है, जिसका नाम स्वयं के लिए बोलता है: हम नए उपयोगकर्ता सिफारिशों का चयन करते हैं जो अधिकांश उपयोगकर्ता अपनी जनसांख्यिकीय श्रेणी में पसंद करते हैं।
समूह अनुशंसा में विभिन्न उपयोगकर्ताओं की रेटिंग को कैसे एकत्रित किया जाए, इसके लिए कई अलग-अलग रणनीतियाँ हैं। उदाहरण के लिए, एक समूह रेटिंग की गणना निम्नानुसार की जा सकती है:
जीआर = पी r_i ^ w_i ,
जहाँ r_i i- th उपयोगकर्ता की रेटिंग है, w_i i- th उपयोगकर्ता का वजन है। कार्य सभी उपयोगकर्ताओं द्वारा या किसी चयनित समूह द्वारा कुछ मानदंड (उदाहरण के लिए, आयु-लिंग) के अनुसार लिया जाता है।
एक ही आयु, लिंग और स्थान वाले उपयोगकर्ताओं के लिए वजन w_i है जो हम एक बड़ा मूल्य देते हैं, शेष छोटा होता है (मैन्युअल रूप से चयनित)।

एक वैकल्पिक दृष्टिकोण फिल्टरबॉट्स है , जो एक नए उपयोगकर्ता के लिए डिफ़ॉल्ट रेटिंग उत्पन्न करता है। अर्थात्, पंजीकरण करते समय, फिल्टर बॉट्स अपने जनसांख्यिकीय डेटा के आधार पर उपयोगकर्ता के लिए स्वचालित रूप से कई रेटिंग उत्पन्न करेगा, जो कि कोल्ड स्टार्ट पर सहयोगी फ़िल्टरिंग एल्गोरिदम द्वारा उपयोग किया जाएगा। इस दृष्टिकोण का लाभ कार्यान्वयन में आसानी है और मौजूदा एल्गोरिदम को बदलने की आवश्यकता की अनुपस्थिति है।
इसके अलावा, फिल्टर बॉट और समूह की सिफारिशों का एक साथ उपयोग किया जा सकता है: फिर समूह रेटिंग को फिल्टर बॉट की डिफ़ॉल्ट रेटिंग के लिए लिया जाता है।

वेब पेजों के लिए कोल्ड स्टार्ट

नए वेब पेजों के लिए कोल्ड स्टार्ट की समस्या को हल करने के लिए, विभिन्न तरीकों का उपयोग पाठ और अन्य पृष्ठ सामग्री (चित्र, वीडियो, फ्लैश, लिंक, आदि) का विश्लेषण करने के लिए किया जाता है।
पाठ के शब्दार्थ विश्लेषण की मुख्य विधियाँ जिन्हें मैं करना चाहता हूँ, वे हैं एलडीए और प्रासंगिकता प्रतिक्रिया ।

पृष्ठ की पाठ्य सामग्री के आधार पर सिफारिशों की सामान्य रूपरेखा लगभग इस प्रकार है। सबसे पहले, सभी साइटों (विज्ञापनों, मेनू, आदि को छोड़ दिया जाता है) में उपयोगी सामग्री एकत्र की जाती है। पाठ में शब्द प्रारंभिक प्रसंस्करण से गुजरते हैं, अर्थात्, रोक दिए गए शब्दों को छोड़ दिया जाता है और लेमेट्रीकरण किया जाता है। इसके बाद, शब्दों का एक एकल शब्दकोश और वेब पेजों (पृष्ठों की सामग्री प्रोफाइल) के ग्रंथों में शब्दों की घटना की एक तालिका संकलित की जाती है। शब्दों को टीएफ-आईडीएफ द्वारा भारित किया जाता है, और उन ग्रंथों के लिए जो बहुत लंबे हैं, केवल शीर्ष एन सबसे महत्वपूर्ण शब्द बाकी हैं।

प्रासंगिकता प्रतिक्रिया एल्गोरिथ्म प्रत्येक उपयोगकर्ता के लिए एक टैग प्रोफ़ाइल (यानी, कीवर्ड) संकलित करता है जो उन पृष्ठों के सामग्री प्रोफाइल के आधार पर होता है जो उपयोगकर्ता पसंद करते हैं।
नई साइटों की सिफारिश उन उपयोगकर्ताओं के लिए की जाती है, जिनके टैग प्रोफ़ाइल सबसे नए जोड़े गए पृष्ठ की सामग्री प्रोफ़ाइल से संबद्ध हैं।

एलडीए एल्गोरिथ्म अलग तरीके से काम करता है। एक संभाव्य मॉडल के प्रशिक्षण के परिणामस्वरूप शब्दों के एक शब्दकोश से शब्द निश्चित विषयों की संख्या द्वारा वर्गीकृत किए जाते हैं (उदाहरण के लिए, 100)। प्रत्येक वेब पेज के लिए, विषयों द्वारा एक संभाव्य वितरण का निर्माण किया जाता है (जो कि 100 विशेषताओं का एक वेक्टर है, जिनमें से प्रत्येक उस डिग्री की विशेषता है जहां यह पृष्ठ विषय से मेल खाता है)। प्रत्येक उपयोगकर्ता के लिए एक पसंद की संभावना का अनुमान लगाने के लिए, उपयोगकर्ता के देखे जाने वाले पृष्ठों की एलडीए विशेषताओं पर लॉजिस्टिक प्रतिगमन का अध्ययन किया जाता है, जिसके परिणामस्वरूप प्रत्येक उपयोगकर्ता के पास सभी एलडीए विषयों के लिए एक वजन वेक्टर भी होता है। जब एक नई साइट जोड़ते हैं, तो एलडीए सुविधाओं को पहले इसके लिए गणना की जाती है, और फिर इसे उपयोगकर्ताओं को पसंद की अधिकतम अनुमानित संभावना के साथ अनुशंसित किया जाता है, जो उपयोगकर्ता और वेब पेज की ज्ञात सुविधाओं से आसानी से गणना की जा सकती है।

इस श्रृंखला में वर्णित प्रत्येक एल्गोरिदम व्यावहारिक उदाहरणों के साथ एक अलग लेख का हकदार है, लेकिन यह भविष्य में है ...