अनुशंसा प्रणाली: हम सामाजिक नेटवर्क से उपयोगकर्ता टैग प्राप्त करते हैं

आज मैं इस बारे में बात करूंगा कि कैसे आप सोशल नेटवर्क के उपयोगकर्ताओं से कोल्ड स्टार्ट वेब पेजों की सिफारिश के लिए डेटा का उपयोग कर सकते हैं। लेख में प्रस्तुत सभी परिणाम प्रकृति में विशुद्ध रूप से प्रायोगिक हैं और वर्तमान में उत्पादन में लागू नहीं हैं। यहां, पिछले लेख की तरह , वेब पृष्ठों की पाठ सामग्री का विश्लेषण करने के लिए पाठ खनन तत्वों का उपयोग किया जाएगा।

सबसे पहले, इस अध्ययन के महत्व को दिखाने के लिए कुछ आँकड़े। हमारे सिस्टम के लगभग 50% उपयोगकर्ता vkontakte (VK) और facebook (FB) सोशल नेटवर्क खातों के साथ पंजीकृत हैं। इसके अलावा, सामाजिक नेटवर्क के माध्यम से पंजीकृत लोगों में से 71% वीके के लिए और एफबी के लिए 29% हैं।

एपीआई एफबी और एपीआई वीके आपको उपयोगकर्ता के हितों और वरीयताओं के बारे में कुछ डेटा निकालने की अनुमति देते हैं। लेकिन सब कुछ उतना सरल नहीं है जितना यह लग सकता है। उपयोगकर्ता डेटा प्राप्त करने के लिए, विशेष अधिकार प्राप्त किए जाने चाहिए, जिसकी सहमति उपयोगकर्ता द्वारा स्वयं को सिस्टम में पंजीकरण करते समय दी गई हो। एक सूक्ष्म क्षण यहां पैदा होता है। एक ओर, हम उपयोगकर्ता के बारे में अधिक से अधिक जानकारी प्राप्त करने के लिए जाते हैं। दूसरी ओर, बहुत अधिक अधिकार मांगना एक दुस्साहस है जो उपयोगकर्ता को डरा सकता है। हमें एक समझौता खोजने की आवश्यकता है - सिफारिशों को सुधारने के लिए प्राप्त डेटा की उपयोगिता और उपयोगकर्ता से विश्वास के एक क्रेडिट की "राशि" के बीच एक नाजुक संतुलन जो सहमत है कि हम उसके व्यक्तिगत डेटा में आते हैं।

अपने लिए लंबे परीक्षणों और त्रुटियों के माध्यम से, हमने इस तरह का समझौता पाया, लेकिन यह कार्य प्रत्येक परियोजना के लिए विशुद्ध रूप से व्यक्तिगत है, क्योंकि सिस्टम के लिए कई पेशेवरों और विपक्षों को ध्यान में रखा जाता है।

इस लेख में, मैं इस बारे में बात करूंगा कि आप निम्नलिखित श्रेणियों के उपयोगकर्ता टैग का उपयोग कैसे कर सकते हैं: खेल, किताबें, संगीत, फिल्में और टेलीविजन। खेतों की यह पसंद इस तथ्य के कारण थी कि वे टैग को शुद्ध रूप में संग्रहीत करते हैं और आप इनमें से प्रत्येक फ़ील्ड को संबंधित सर्फिंगबर्ड श्रेणियों में बाँध सकते हैं। संभवत: निकट भविष्य में मैं यह भी बताऊंगा कि आप अन्य को कैसे संभाल सकते हैं, न कि इतने स्पष्ट क्षेत्र, जैसे कि भाषाएं (उपयोगकर्ता किस भाषा में बोलते हैं), डिवाइस (हार्डवेयर और सोफ़वेयर जो वह उपयोग करता है), शिक्षा (स्थान और शिक्षा का स्तर), जैव या (अपने बारे में जानकारी), फ़ीड्स (उपयोगकर्ता पोस्ट)।

मैं तुरंत एक आरक्षण करना चाहता हूं कि हमारी पहली समस्या एक मजबूत विरल डेटा होगी। फ़ील्ड गेम, पुस्तकों, संगीत, फिल्मों या टेलीविज़न में जानकारी वर्तमान में लगभग 15% उपयोगकर्ताओं के लिए उपलब्ध है। लेकिन यहां हम कह सकते हैं कि, सबसे पहले, उपयोगकर्ता टैग प्राप्त करने के तरीके एफबी और वीके एपीआई तक सीमित नहीं हैं। उदाहरण के लिए, भविष्य में हम पंजीकरण के दौरान उन्हें इंगित करने और अपनी प्रोफ़ाइल में समायोजित करने का अवसर भी दे सकते हैं। दूसरे, भले ही उन लोगों के एक छोटे से हिस्से के लिए जिन्होंने ईमानदारी से अपने हितों का संकेत दिया था, हम पहले शो से "सुखद आश्चर्य करेंगे" सिफारिशें दे सकते हैं, इससे सिस्टम के प्रति समग्र निष्ठा बढ़ेगी और इसका मतलब है कि हमारे प्रयास व्यर्थ नहीं हैं।

एफबी और वीके एपीआई द्वारा लौटाए गए डेटा संरचना में कुछ अंतर हैं। एफबी डेटा बेहतर संरचित है। उदाहरण के लिए, प्रत्येक कलाकार या फिल्म को अलग-अलग क्षेत्रों में संग्रहीत किया जाता है। वीके में, वे एक मनमाना पाठ क्षेत्र में लिखे गए हैं, जिससे टैग का चयन करना मुश्किल हो जाता है:

FB से JSON उदाहरण:

{ "books" : { "data" : [ { "category" : "Book", "created_time" : "2013-02-17T17:41:14+0000", "id" : "110451202473491", "name" : "« »  " }, { "category" : "Book", "created_time" : "2013-02-04T20:40:10+0000", "id" : "165134073508051", "name" : " .  \"    \"" }, ... "television" : { "data" : [ { "category" : "Tv show", "created_time" : "2012-06-12T04:52:42+0000", "id" : "184917701541356", "name" : "-   " } ], ... } ... } 

JSON का VK उदाहरण:

 { "books" : "   ,  \" ,  \",   \"   \", \"  \", \" \",  \" \",   \"  \",   \"      \",   \"\",  \" \"", "games" : "Sims 1, 2, 3,   2  ", "movies" : "  ,  ,   ,   ,  ,   , icarli,   ,   3,  , Sponge Bob, ,  , ,   ,    2,    3,    ,  !!!!!", ... } 

कुछ प्रयासों के बाद, टैग अभी भी असंरचित वीके डेटा से पुनर्प्राप्त किए जा सकते हैं। यहाँ सबसे लोकप्रिय टैग की सूची की नोक है:


अगला, उन टैगों से जो दो से अधिक बार होते हैं, एक टैग शब्दकोश बनाया जाता है। अब आपको यह जानने की ज़रूरत है कि शब्दकोश में प्रत्येक टैग के लिए प्रासंगिक पृष्ठ कैसे खोजें। सबसे स्वाभाविक तरीका यह है कि पृष्ठों की पाठ सामग्री में टैग की घटनाओं की संख्या को कैसे सीखा जाए। हालाँकि, केवल "सभी", "मैं पढ़ा नहीं है", "मुझे खेल पसंद नहीं है" जैसे शब्दों के बाद से केवल घटना की आवृत्ति की सिफारिश करना गलत है, और इसी तरह अक्सर टैग में पाए जाते हैं। इस समस्या को हल करने के लिए, TF-IDF वेट की गणना टैग्स, इसके अलावा, कई उपयोगकर्ताओं पर और वेब पेजों के ग्रंथों के शरीर पर अलग-अलग की जाती है, क्योंकि TF-IDF की एंड-टू-एंड कैलकुलेशन में प्रोफाइल में टेक्स्ट जानकारी की मात्रा में अंतर के कारण उपयोगकर्ताओं के बीच वितरण को ध्यान में नहीं रखा जाएगा। उपयोगकर्ताओं और वेब पृष्ठों के ग्रंथों।

TF-IDF वेट की गणना के परिणामस्वरूप, हम प्रत्येक उपयोगकर्ता के लिए और प्रत्येक वेब पेज के लिए ज्ञात शब्दकोश से सभी टैग के लिए वेट वेक्टर प्राप्त करते हैं। यदि टैग उपयोगकर्ता या पृष्ठ की सामग्री में नहीं पाया जाता है, तो वजन शून्य माना जाता है।

उपयोगकर्ता के हितों और वेब पेज की सामग्री की समानता का आकलन करने के लिए, यह संबंधित TF-IDF वजन वैक्टर के स्केलर उत्पाद की गणना करने के लिए पर्याप्त है। दूसरा, अधिक आलसी विकल्प यह है कि आप जिस DBMS का उपयोग करते हैं, उसमें पूर्ण-पाठ खोज फ़ंक्शन का उपयोग करें। उदाहरण के लिए, PostgreSQL उपयोगकर्ता टैग द्वारा प्रासंगिक ग्रंथों की खोज के कार्य को सफलतापूर्वक पूरा करता है, साथ ही संख्यात्मक रूप से समानता का मूल्यांकन करता है, जो हमें रैंकिंग समस्या को हल करने की अनुमति देता है। वास्तव में, पूर्ण-पाठ खोज इंजन उन सभी कार्यों को करेगा जो ऊपर वर्णित थे, केवल थोड़े अलग तरीकों का उपयोग करके। इस दृष्टिकोण का नुकसान सभी सामग्री के लिए डेटाबेस में एक पूर्ण-पाठ सूचकांक बनाने की आवश्यकता है। इस कार्य में पूर्ण-पाठ खोज का लाभ एक टैग शब्दकोश बनाने और ग्रंथों में टैग की घटना को पुनः प्राप्त करने की आवश्यकता की कमी है।

निम्नलिखित खेल श्रेणियों में निम्नलिखित टैग के साथ उपयोगकर्ता की सिफारिशों का एक उदाहरण है: हत्यारे पंथ, जन प्रभाव, ड्रैगन आयु: मूल, भारी वर्षा ।


इसलिए, हमने उपयोगकर्ता की समानता (उसके टैग के आधार पर) और एक वेब पेज (इसकी सामग्री के आधार पर) का मूल्यांकन करना सीख लिया है। यह सिफारिशों का निर्माण करने के लिए आवश्यक मुख्य ईंट है। हालांकि, यह सभी से दूर है। हमने यहां वेब पेज रेटिंग पर विचार नहीं किया है। आखिरकार, मैं अत्यधिक अलोकप्रिय पृष्ठों की सिफारिश नहीं करना चाहता, भले ही वे सामग्री के लिए उपयुक्त हों। फिर, आपको सिस्टम में पहले से काम कर रहे लोगों के साथ परिणामी एल्गोरिदम को सही ढंग से संयोजित करने की आवश्यकता है, लेकिन अगली श्रृंखला में उस पर अधिक ...