अनुशंसित सिस्टम: उपयोगकर्ता-आधारित और आइटम-आधारित

इसलिए, पिछली बार हमने इस बारे में थोड़ी बात की थी कि सिफारिश करने वाले सिस्टम क्या हैं और वे किन समस्याओं का सामना करते हैं, साथ ही साथ सहयोगी फ़िल्टरिंग समस्या कैसे तैयार होती है। आज मैं सहयोगी फ़िल्टरिंग के सबसे सरल और सबसे प्राकृतिक तरीकों में से एक के बारे में बात करूंगा, जिससे इस क्षेत्र में 90 के दशक में अनुसंधान शुरू हुआ। मूल विचार बहुत सरल है: कैसे समझें कि क्या वास्या फिल्म "ट्रैक्टर ड्राइवर्स" को पसंद करेगी? आपको बस वासना के समान अन्य उपयोगकर्ताओं को खोजने की जरूरत है और देखें कि वे ट्रैक्टर्स ड्राइवरों को क्या रेटिंग देते हैं। या दूसरी तरफ: कैसे समझें कि क्या वासना फिल्म "ट्रैक्टर ड्राइवर्स" को पसंद करेगी? आपको बस ट्रैक्टर ड्राइवरों के समान अन्य फिल्मों को खोजने की जरूरत है और देखें कि वासा उनका मूल्यांकन कैसे करता है।



मैं आपको याद दिला दूं कि हमारे पास बहुत कम सार मैट्रिक्स है जिसमें रेटिंग्स (पसंद, खरीद तथ्य, आदि) शामिल हैं जो उपयोगकर्ताओं (मैट्रिक्स पंक्तियों) को उत्पादों (मैट्रिक्स कॉलम) को सौंपा गया है:

हमारा काम ग्रेड की भविष्यवाणी करना है मैट्रिक्स में पहले से रखे गए कुछ अनुमानों को जानना । हमारी सर्वश्रेष्ठ भविष्यवाणी को निरूपित किया जाएगा । यदि हम इन पूर्वानुमानों को प्राप्त कर सकते हैं, तो आपको बस एक या अधिक उत्पादों का चयन करने की आवश्यकता है अधिकतम।

हमने दो दृष्टिकोणों का उल्लेख किया: या तो समान उपयोगकर्ताओं के लिए देखें - इसे "उपयोगकर्ता-आधारित सहयोगी फ़िल्टरिंग" कहा जाता है, या समान उत्पादों की तलाश करें - यह, तार्किक रूप से, "उत्पाद-आधारित अनुशंसाएँ" (आइटम-आधारित सहयोगी) कहा जाता है छानने)। दरअसल, दोनों मामलों में बुनियादी एल्गोरिदम स्पष्ट है।

1. डेटाबेस में अन्य उपयोगकर्ता (उत्पाद) इस उपयोगकर्ता (उत्पाद) के समान हैं।
2. अन्य उपयोगकर्ताओं (उत्पादों) के अनुमानों के अनुसार, यह अनुमान लगाने के लिए कि यह उपयोगकर्ता इस उत्पाद को क्या रेटिंग देगा, उन उपयोगकर्ताओं (उत्पादों) के बड़े वजन को देखते हुए जो इस से अधिक समान हैं।

यह केवल यह समझना है कि यह सब कैसे करना है।

सबसे पहले, आपको यह निर्धारित करने की आवश्यकता है कि "समान" का क्या मतलब है। मैं आपको याद दिलाता हूं कि हमारे पास प्रत्येक उपयोगकर्ता (मैट्रिक्स आर की पंक्तियों) और प्रत्येक उत्पाद (मैट्रिक्स आर के कॉलम) के लिए उपयोगकर्ता रेटिंग्स का एक वेक्टर के लिए प्राथमिकताएं हैं। सबसे पहले, हम इन वैक्टरों में केवल उन तत्वों को छोड़ते हैं जिनके लिए हम दोनों वैक्टरों में मूल्यों को जानते हैं, अर्थात्। हम केवल उन उत्पादों को छोड़ देंगे जिन्हें दोनों उपयोगकर्ताओं द्वारा रेट किया गया है, या केवल उन उपयोगकर्ताओं को जो दोनों इस उत्पाद को रेट करते हैं। नतीजतन, हमें बस यह निर्धारित करने की आवश्यकता है कि वास्तविक संख्या के दो वैक्टर समान कैसे हैं। यह, ज़ाहिर है, एक अच्छी तरह से ज्ञात समस्या है, और इसका शास्त्रीय समाधान सहसंबंध गुणांक की गणना करना है: दो उपयोगकर्ता वरीयता वैक्टर i और j के लिए, पियर्सन सहसंबंध गुणांक है

जहाँ - उपयोगकर्ता द्वारा औसत रेटिंग i। कभी-कभी वे तथाकथित "कोसाइन समानता" का उपयोग करते हैं, वैक्टर के बीच कोण के कोसाइन का उपयोग करते हुए:

लेकिन कोसाइन को अच्छी तरह से काम करने के लिए, पहले प्रत्येक वेक्टर के लिए औसत घटाना उचित है, इसलिए वास्तव में यह एक ही मीट्रिक है।

उदाहरण के लिए, अनुमानों की एक मैट्रिक्स पर विचार करें।


हम पाठक के लिए वरीयताओं के मैनुअल विश्लेषण को छोड़ देते हैं, और उपयोगकर्ता-आधारित सिफारिशों के लिए हम वास्या की वरीयता वेक्टर और बाकी सिस्टम के बीच सहसंबंध की गणना करेंगे।


हमने अब उपयोगकर्ता-आधारित सिफारिशों के लिए सूत्र प्रदान किए हैं। आइटम-आधारित दृष्टिकोण में, स्थिति समान है, लेकिन एक चेतावनी है: अलग-अलग उपयोगकर्ताओं की अलग-अलग रेटिंग होती है, कोई व्यक्ति पांच तारों को एक पंक्ति में रखता है (एक पंक्ति में सभी साइटों को पसंद करता है), और कोई, इसके विपरीत, सभी को अपने अनुसार रखता है। दो या तीन सितारे (अक्सर "नापसंद" दबाते हैं)। पहले उपयोगकर्ता के लिए, एक कम रेटिंग ("नापसंद") एक उच्च एक की तुलना में बहुत अधिक जानकारीपूर्ण होगी, और दूसरे उपयोगकर्ता के लिए - बहुत अच्छा। उपयोगकर्ता-आधारित दृष्टिकोण में, सहसंबंध गुणांक स्वचालित रूप से इस बात का ध्यान रखता है। और आइटम-आधारित सिफारिशों में, इसे ध्यान में रखने के लिए, आप उदाहरण के लिए, प्रत्येक रेटिंग से उपयोगकर्ता की औसत रेटिंग घटा सकते हैं, और फिर वैक्टर के बीच कोण के सहसंबंध या कोसाइन की गणना कर सकते हैं। फिर कॉशन के सूत्र में हम मिलते हैं
।
जहाँ उपयोगकर्ता द्वारा औसत रेटिंग को दर्शाता है i। हमारे उदाहरण में, यदि हम अनुमानों के प्रत्येक वेक्टर से औसत घटाते हैं, तो हमें यह मिलता है:


और फिर फिल्म "ट्रेक्टर ड्राइवर्स" और अन्य फिल्मों की रेटिंग के वेक्टर के बीच संबंध होगा (ध्यान दें कि "वन्स अपॉन ए ट्रैक्टर" के साथ एक विकृत स्थिति है, क्योंकि बहुत कम ओवरलैपिंग रेटिंग थीं)


इन समानता के उपायों में विषय पर उनकी कमियां और विभिन्न विविधताएं हैं, लेकिन आइए हम खुद को तरीकों को स्पष्ट करने के लिए सीमित करें। इस प्रकार, हमने योजना के पहले बिंदु का पता लगाया; बदले में इन समानता रेटिंग (भार) का उपयोग कैसे किया जाता है )?

एक सरल और तार्किक दृष्टिकोण एक दिए गए उपयोगकर्ता की औसत रेटिंग के रूप में नई रेटिंग को अनुमानित करना है, साथ ही इन बहुत भार द्वारा भारित अन्य उपयोगकर्ताओं की औसत रेटिंग से विचलन:
।
इस दृष्टिकोण को कभी-कभी GroupLens एल्गोरिथ्म भी कहा जाता है - यह है कि GroupLens अनुशंसाकर्ता सिस्टम के दादाजी ने काम किया (वैसे, दंड को क्षमा करें, मैं MovieLens साइट की सिफारिश करता हूं ] - यह एक बार वास्तव में गंभीर सहयोगात्मक फ़िल्टरिंग शुरू कर देता है, लेकिन आज भी यह छोटी-छोटी फिल्मों को भी पसंद कर सकता है जो आपको पसंद हैं) । वास्या और ट्रैक्टर ड्राइवरों के मामले में, इस पद्धति से लगभग 3.9 का अनुमान लगाया जाता है (पेट्रोविच थोड़ा हमें नीचे छोड़ दें), ताकि आप सुरक्षित रूप से देख सकें।

आइटम-आधारित अनुशंसाओं के लिए, सब कुछ पूरी तरह से समतुल्य है - आपको केवल उपयोगकर्ता द्वारा पहले से मूल्यांकन किए गए उत्पादों का भारित औसत खोजने की आवश्यकता है:

हमारे उदाहरण में आइटम-आधारित विधि मानती है कि वास्या "ट्रैक्टर ड्राइवरों" को 4.4 के रूप में वितरित करेगा।

बेशक, सैद्धांतिक रूप से, यह सब अच्छा है, लेकिन वास्तव में इसकी संभावना नहीं है कि प्रत्येक सिफारिश के लिए लाखों उपयोगकर्ताओं के डेटा को संक्षेप में प्रस्तुत करना संभव होगा। इसलिए, इस सूत्र को आमतौर पर निकटतम पड़ोसियों के लिए रखा जाता है - k उपयोगकर्ता जो इस उपयोगकर्ता के सबसे अधिक समान हैं और पहले ही इस उत्पाद को रेट कर चुके हैं:


यह केवल यह समझने के लिए बना हुआ है कि निकटतम पड़ोसियों की तलाश कैसे करें। यह पहले से ही हमारी चर्चा के दायरे से परे है, इसलिए मैं केवल दो मुख्य तरीकों का नाम दूंगा: छोटे आयामों में, आप kd-tree (kd-dogs, उदाहरण के लिए, यह परिचय ) देख सकते हैं, और बड़े आयामों में यह स्थानीय रूप से संवेदनशील (स्थानीय रूप से संवेदनशील) मदद करेगा हैशिंग; देखें, उदाहरण के लिए, यहां )।

इसलिए, आज हमने सबसे सरल अनुशंसाकर्ता एल्गोरिदम की जांच की, जो अन्य उपयोगकर्ताओं (अन्य उत्पादों) के लिए एक उपयोगकर्ता (उत्पाद) की समानता का मूल्यांकन करता है, और फिर इस मीट्रिक में निकटतम पड़ोसियों की राय के आधार पर इसकी सिफारिश करता है। वैसे, किसी को यह नहीं सोचना चाहिए कि ये तरीके पूरी तरह से पुराने हैं - कई कार्यों के लिए वे महान काम करते हैं। हालांकि, अगली श्रृंखला में हम उपलब्ध सूचना के अधिक सूक्ष्म विश्लेषण की ओर बढ़ेंगे। विशेष रूप से, बहुत शुरुआत से मैंने लगातार इनपुट डेटा को "रेटिंग मैट्रिक्स" कहा, हालांकि ऐसा लगता है कि हमने इस तथ्य का इस्तेमाल कभी नहीं किया कि यह वास्तव में एक मैट्रिक्स है, और न केवल वैक्टर का एक सेट (या तो पंक्तियों या स्तंभों, विधि के आधार पर)। अगली बार - उपयोग करें।

PS सूत्र के साथ चित्रों के लिए mathurl सेवा के लिए धन्यवाद। दुर्भाग्य से, वह रूसी पत्रों को नहीं समझता है, इसलिए वासिया और पेत्रोविच के बारे में तालिकाओं को हाथ से बनाया जाना था।