सिफारिश प्रणाली: समस्या का बयान

सभी को नमस्कार! मेरा नाम सर्गेई है, मैं एक गणितज्ञ हूं, और मैं सर्फिंगबर्ड सिफारिश प्रणाली के विकास का निर्धारण करता हूं। इस लेख के साथ, हम विशेष रूप से मशीन लर्निंग और अनुशंसा प्रणालियों के लिए समर्पित एक चक्र खोलते हैं - मुझे अभी तक नहीं पता है कि चक्र में कितने इंस्टॉलेशन होंगे, लेकिन मैं उन्हें नियमित रूप से लिखने का प्रयास करूंगा। आज मैं आपको बताऊंगा कि सामान्य तौर पर सिफारिश प्रणाली क्या हैं, और मैं कार्य को थोड़ा और औपचारिक रूप से निर्धारित करूंगा, और अगली श्रृंखला में हम इस बारे में बात करना शुरू करेंगे कि इसे कैसे हल किया जाए और हमारी टैचीकोमा सिफारिश प्रणाली कैसे सीखती है।



सिफारिशकर्ता सिस्टम ऐसे मॉडल हैं जो आपसे बेहतर जानते हैं कि आप क्या चाहते हैं। हाल ही में मैंने एक मज़ाक करने वाला चुटकुला सुना है: जैसा कि आप जानते हैं, सुपरमार्केट चेन आमतौर पर यह अनुमान लगाने की कोशिश करते हैं कि आप अपने लिए क्या विज्ञापन देना चाहते हैं (और यह एक सिफारिश प्रणाली का एक उदाहरण है); विशेष रूप से, सुपरमार्केट बदलती वरीयताओं को पहचानने की कोशिश कर सकता है कि महिला गर्भवती हो गई और इसका उपयोग करना शुरू कर दिया। तो, वे कहते हैं कि एक बार एक गुस्से में पिता एक सुपरमार्केट के कार्यालय में घुस गया, जिसकी बेटी-छात्रा को डाक से डायपर और बच्चे के कपड़े के लिए कूपन मिलना शुरू हुआ; प्रबंधक को लंबे समय तक माफी मांगनी पड़ी और बताएं कि सभी अनुशंसित मॉडल संभावित हैं और त्रुटियां काफी संभव हैं। कुछ महीनों के बाद, पिता फिर से आया और खुद से माफी मांगी - यह पता चला कि वह अपनी बेटी के बारे में सब कुछ नहीं जानता था ...

सहयोगात्मक फ़िल्टरिंग सिस्टम ऐसे मॉडल हैं जो यह अनुमान लगाने की कोशिश करते हैं कि आप किसी विशेष उत्पाद को कितना पसंद करेंगे, यह जानने के लिए कि आपने और अन्य उपयोगकर्ताओं ने अतीत में इस और अन्य उत्पादों को कैसे रेट किया है। सहयोगात्मक फ़िल्टरिंग अब सबसे लोकप्रिय प्रकार की सिफारिश प्रणाली है। उदाहरण के लिए, सर्फिंगबर्ड में, आपकी रेटिंग पसंद और नापसंद बटन हैं (साथ ही इस तथ्य को भी कि आपने पृष्ठ को देखा और कोई रेटिंग नहीं दी, लेकिन बाद में उस पर अधिक)। आपके पास हमारी वरीयताओं के बारे में जितना अधिक डेटा होगा, उतने ही दिलचस्प पृष्ठ हम आपके लिए सुझा सकते हैं!

यहाँ प्रसिद्ध सिफारिश प्रणाली के कुछ अन्य उदाहरण हैं।

• अमेज़ॅन क्षेत्र में नेताओं में से एक है; अमेज़ॅन आपको पुस्तकों और अन्य उत्पादों की सिफारिश करता है जो आपने खरीदे, जो आपने देखा, उसके आधार पर, जो रेटिंग आप डालते हैं, जो आपके द्वारा छोड़ी गई समीक्षाएँ हैं ... हाँ, जैसा कि आमतौर पर होता है, बिग ब्रदर सब कुछ इकट्ठा करता है, भले ही वह कुछ का उपयोग करने में सक्षम न हो।
• नेटफ्लिक्स - रूस में, यह कंपनी बहुत कम जानी जाती है, और यह रूस के लिए काम नहीं करता है, हालांकि, यह नेटफ्लिक्स था जिसने खुद को वैज्ञानिक समुदाय में सबसे प्रसिद्ध बयान दिया था जब इसने प्रसिद्ध नेटफ्लिक्स पुरस्कार की घोषणा की, $ 1M का वादा करके अपनी भविष्यवाणी एल्गोरिथ्म की गुणवत्ता में 10% सुधार किया (हम नेटफ्लिक्स पुरस्कार और उन पाठों के बारे में बात करेंगे जो निम्नलिखित श्रृंखला में से एक में सीखे गए हैं)। नेटफ्लिक्स का मुख्य व्यवसाय मूवी रेंटल है; अब कंपनी ने स्ट्रीमिंग वीडियो पर स्विच कर दिया है, लेकिन अपने जीवन के पहले दस वर्षों में उन्होंने मेल द्वारा भौतिक डीवीडी भेजी थी, जिसे तब अगले एक को प्राप्त करने के लिए वापस भेजा जाना था (पैसा सदस्यता के लिए लिया गया था)। एक रूसी व्यक्ति के लिए यह समझना मुश्किल है कि यह कैसा है - किसी फिल्म को डाउनलोड करने के लिए पैसे देने के लिए, या उसे डाउनलोड करने के लिए भी नहीं, बल्कि इसे ऑनलाइन देखें - लेकिन मॉडल बहुत सफल रहा, और नेटफ्लिक्स पुरस्कार के लिए कई वर्षों से प्रकाशित डेटा सेट मुख्य परीक्षण का मामला बन गया। सहयोगी फ़िल्टरिंग सिस्टम (अब नेटफ्लिक्स ने संभावित डियोनामाइजेशन के कारण इसे खुली पहुंच से हटा दिया, और इसे याहू! केडीडी कप डेटासेट द्वारा बदल दिया गया)।
• Last.fm और भानुमती संगीत की सलाह देते हैं। वे विभिन्न अनुशंसा रणनीतियों का पालन करते हैं: Last.fm का उपयोग, अन्य उपयोगकर्ताओं की रेटिंग के अलावा, विशेष रूप से "बाहरी" संगीत के बारे में डेटा - लेखक, शैली, दिनांक, टैग आदि, और पेंडोरा संगीत रचना के "सामग्री" पर आधारित है, बहुत उपयोग करते हुए। एक दिलचस्प विचार संगीत जीनोम प्रोजेक्ट है , जिसमें पेशेवर संगीतकार कई सौ विशेषताओं के अनुसार रचना का विश्लेषण करते हैं (दुर्भाग्य से, पेंडोरा वर्तमान में रूस में उपलब्ध नहीं है)। सच है, किसी को भी नहीं पता है कि रचनाओं का विश्लेषण कैसे किया जाता है स्वचालित रूप से अभी तक, और यह मशीन सीखने के प्रयास का एक और दिलचस्प अनुप्रयोग है ...
• गूगल , याहू! , Yandex - क्या हम कह सकते हैं कि वे उपयोगकर्ताओं को साइटें भी सुझाते हैं? औपचारिक रूप से - हां, लेकिन वास्तव में वे अलग-अलग प्रणालियां हैं: खोज इंजन यह अनुमान लगाने की कोशिश करते हैं कि यह दस्तावेज़ इस क्वेरी के लिए कितना प्रासंगिक है, और अनुशंसाकर्ता यह भविष्यवाणी करने की कोशिश करते हैं कि यह उपयोगकर्ता इस उत्पाद को क्या रेटिंग देगा। बेशक, खोज इंजन की सफलता में उपयोगकर्ताओं (क्लिक लॉग) से डेटा के आधार पर मॉडल की काफी योग्यता है, और निश्चित रूप से, खोज परिणाम अक्सर व्यक्तिगत होते हैं, लेकिन फिर भी कार्य थोड़ा अलग है। हमारे कार्य के लिए थोड़ा करीब वह समस्या है जिसमें उपयोगकर्ता ( AdSense , Yandex.Direct , आदि) को दिखाने के लिए विज्ञापन दिए जाते हैं - यहां उपयोगकर्ता वास्तव में विज्ञापनों के लिए "अपने पैरों से वोट देते हैं", और हमें उन लोगों की "अनुशंसा" करने की आवश्यकता है जो एक सकारात्मक कारण होने की संभावना है प्रतिक्रिया। लेकिन यह मामला समस्या के आर्थिक पक्ष से जटिल है (विज्ञापनकर्ता पैसे का भुगतान करते हैं, विज्ञापन के अधिकार के लिए उनके बीच एक नीलामी की व्यवस्था की जानी चाहिए), इसलिए हम इन कार्यों पर अब भी विचार नहीं करेंगे। हालांकि, प्रमुख खोज इंजनों में अनुशंसा प्रणालियों के आधार पर बहुत सारी परियोजनाएं हैं - उदाहरण के लिए, हमने पहले ही याहू का उल्लेख किया है ! संगीत ।

तो, हमारे मेढ़े वापस। कल्पना कीजिए कि हमारे पास कई उपयोगकर्ता और कई उत्पाद हैं ( सर्फिंगबर्ड के लिए ये वेब पेज हैं, नेटफ्लिक्स के लिए - फिल्में, Last.fm के लिए - रचनाएं), और कुछ उपयोगकर्ता किसी तरह से कुछ उत्पादों का मूल्यांकन करते हैं। औपचारिक रूप से, डेटा में त्रिगुण रूप होते हैं जहाँ मैं उपयोगकर्ता के लिए खड़ा हूँ, उत्पाद के लिए खड़ा है, और क्या रेटिंग है कि उपयोगकर्ता को मैंने उत्पाद दिया है a ।

आप इस डेटा को एक मैट्रिक्स के रूप में कल्पना कर सकते हैं, जिसमें से प्रत्येक पंक्ति उपयोगकर्ता से मेल खाती है, और उत्पाद के लिए एक कॉलम। हमारा कार्य मैट्रिक्स के अज्ञात तत्वों की भविष्यवाणी करना है; सटीक होना, हमारा कार्य यह अनुमान लगाना है कि उनकी पंक्ति में कौन से अज्ञात तत्व अधिकतम होंगे, अर्थात् कौन से उत्पाद किसी विशेष उपयोगकर्ता द्वारा सबसे अधिक पसंद किए जाएंगे।

सहयोगात्मक फ़िल्टरिंग सिस्टम में कई सामान्य समस्याएं हैं जो किसी भी मॉडल को एक या दूसरे तरीके से हल करनी चाहिए।

1. रेटिंग मैट्रिक्स, एक नियम के रूप में, बहुत विरल है - आमतौर पर बहुत सारे उपयोगकर्ता और उत्पाद हैं, और रेटिंग वास्तव में उनके उत्पाद से बहुत कम हैं, क्योंकि औसत उपयोगकर्ता बहुत कम उत्पादों का अनुमान लगाता है; मैट्रिक्स के शेष तत्व हमारे लिए अज्ञात हैं, और यह ठीक है कि उन्हें भविष्यवाणी की जानी चाहिए।
2. ठंड शुरू होने की समस्या। उपयोगकर्ताओं के लिए - जब एक नया उपयोगकर्ता आता है जिसके पास अभी तक रेटिंग नहीं है, तो उसके साथ क्या करना है? खैर, ठीक है, जब बिल्कुल नहीं, तो यह कुछ भी नहीं है - आप बस सबसे लोकप्रिय उत्पादों की सिफारिश कर सकते हैं; लेकिन क्या होगा अगर उपयोगकर्ता पहले से ही कुछ की सराहना कर चुका है, लेकिन अभी तक बहुत कम है? उत्पादों के लिए - नए उत्पाद के लिए आपको कितने रेटिंग की आवश्यकता है, इससे पहले कि वह आत्मविश्वास से अनुशंसित हो सके? और अगर आप इसे किसी से अनुशंसा नहीं करते हैं तो ये रेटिंग्स कहाँ से आती हैं?

अगली श्रृंखला में, हम इन और अन्य समस्याओं के साथ क्या करना है, साथ ही साथ आम तौर पर अज्ञात रेटिंग की भविष्यवाणी करने के बारे में बात करेंगे - बने रहें!