सिफ़ारिश प्रणाली: LDA

पिछली बार मैंने बेयस प्रमेय के बारे में बात की थी और एक सरल उदाहरण दिया था - एक भोला बेयस क्लासिफायरियर। इस बार हम एक और अधिक जटिल विषय पर आगे बढ़ेंगे, जो भोले-भाले लोगों के काम को विकसित और जारी रखता है: हम सीखेंगे कि एलडीए (अव्यक्त डिरिचलेट आवंटन) मॉडल का उपयोग करते हुए विषयों को कैसे उजागर किया जाए, और यह सिफारिश प्रणालियों पर भी लागू होता है।



एलडीए मॉडल पाठ विश्लेषण के क्लासिक कार्य को हल करता है: ग्रंथों के एक बड़े संग्रह का एक संभाव्य मॉडल बनाने के लिए (उदाहरण के लिए, सूचना पुनर्प्राप्ति या वर्गीकरण के लिए)। हम पहले से ही अनुभवहीन दृष्टिकोण को जानते हैं: विषय एक छिपा हुआ चर है, और शब्दों को एक असतत वितरण में स्वतंत्र रूप से एक निश्चित विषय के साथ प्राप्त किया जाता है। क्लस्टरिंग-आधारित दृष्टिकोण समान रूप से काम करते हैं। आइए मॉडल को थोड़ा जटिल करें।

जाहिर है, एक एकल दस्तावेज़ में कई विषय हो सकते हैं; विषयों पर क्लस्टर दस्तावेज़ों को ध्यान में नहीं रखते हैं। LDA दो स्तरों वाला एक पदानुक्रमित बायेसियन मॉडल है:

• पहले स्तर पर - एक मिश्रण जिसका घटक "थीम" के अनुरूप है;
• दूसरे स्तर पर, एक प्राथमिक ड्यूरिलेट वितरण के साथ एक बहुराष्ट्रीय चर जो दस्तावेज़ में "विषयों के वितरण" को परिभाषित करता है।

यहाँ मॉडल का चित्र ( विकिपीडिया से लिया गया चित्र) है:


जटिल मॉडल अक्सर इस तरह समझने में आसान होते हैं - आइए देखें कि मॉडल एक नया दस्तावेज़ कैसे उत्पन्न करेगा:

• दस्तावेज़ की लंबाई एन का चयन करें (यह ग्राफ पर नहीं खींचा गया है - यह मॉडल का वह हिस्सा नहीं है);
• वेक्टर चुनें - इस दस्तावेज़ में प्रत्येक विषय की "अभिव्यक्ति की डिग्री" का वेक्टर;
• एन शब्दों में से प्रत्येक के लिए w :
  
  • एक विषय चुनें वितरण द्वारा ;
  • एक शब्द चुनें with में दी गई संभावनाओं के साथ।

सादगी के लिए, हम विषयों की संख्या को ठीक करते हैं और मान लेते हैं कि fix सिर्फ मापदंडों का एक सेट है जिस पर अनुमान लगाने की आवश्यकता है, और हम एन पर वितरण के बारे में चिंता नहीं करते हैं। संयुक्त वितरण तब इस तरह दिखता है:

एक प्राथमिकता डिरिक्लेट वितरण या साधारण भोले बेयर्स के साथ पारंपरिक क्लस्टरिंग के विपरीत, हम एक बार यहां एक क्लस्टर का चयन नहीं करते हैं, फिर हम इस क्लस्टर से शब्द लपेटते हैं, और प्रत्येक शब्द के लिए हम पहले वितरण द्वारा विषय का चयन करते हैं, और फिर इस विषय पर इस शब्द को रेखांकित करते हैं। ।

आउटपुट पर, एलडीए मॉडल को प्रशिक्षित करने के बाद, हम how वैक्टर प्राप्त करते हैं जो दिखाते हैं कि प्रत्येक दस्तावेज़ में विषय कैसे वितरित किए जाते हैं, और words वितरण जो दिखाते हैं कि कुछ विषयों में शब्द अधिक संभावना है। इस प्रकार, एलडीए के परिणामों से, प्रत्येक दस्तावेज़ को उसमें पाए जाने वाले विषयों की एक सूची के लिए प्राप्त करना आसान है, और प्रत्येक विषय के लिए शब्दों की एक सूची विशेषता है, अर्थात्। वास्तव में विषय का विवरण। नोट: यह सब प्रशिक्षण बिना शिक्षक (बिना पढ़े हुए), आपको ग्रंथों से डेटासेट को चिह्नित करने की आवश्यकता नहीं है!

जैसा कि यह सब कैसे काम करता है, मैं ईमानदारी से मानता हूं - मुझे नहीं लगता कि एक छोटे हब पोस्ट में आप बता सकते हैं कि एलडीए के बारे में मूल काम में निष्कर्ष कैसे आयोजित किया गया था; यह मॉडल के वितरण के लिए संस्करण संबंधी अनुमानों की खोज पर आधारित था (हम संबंधों को तोड़कर मॉडल की संरचना को सरल करते हैं, लेकिन मुफ्त चर जोड़ते हैं जो हम इसके लिए अनुकूलित करते हैं)। हालांकि, गिब्स नमूना के आधार पर बहुत सरल दृष्टिकोण जल्द ही विकसित किए गए थे; शायद किसी दिन मैं इस विषय पर लौटूंगा जब मैं नमूने के बारे में बात करूंगा, लेकिन अब इसके लिए खेत बहुत संकीर्ण हैं। मुझे केवल MALLET के लिए यहां एक लिंक छोड़ना चाहिए - सबसे लोकप्रिय और, जहां तक ​​मैं बता सकता हूं, एलडीए का सबसे अच्छा तैयार-तैयार कार्यान्वयन। MALLET आपके लिए लगभग सभी अवसरों के लिए पर्याप्त होगा, सिवाय इसके कि यदि आप संपूर्ण इंटरनेट से विषयों को अलग करना चाहते हैं - MALLET क्लस्टर पर, ऐसा लगता है, यह नहीं जानता कि यह कैसे काम करता है।

और मैं आपको इस बारे में बताऊंगा कि आप एलडीए को सिफारिश प्रणाली में कैसे लागू कर सकते हैं; यह विधि उन स्थितियों के लिए विशेष रूप से उपयुक्त है, जहां "रेटिंग" तारांकन के लंबे पैमाने पर नहीं दी गई हैं, लेकिन सर्फिंगबर्ड की तरह ही एक द्विआधारी "अनुमोदन की अभिव्यक्ति" है। यह विचार काफी सरल है: चलो उपयोगकर्ता को अपने पसंद के उत्पादों से युक्त एक दस्तावेज के रूप में मानते हैं । उसी समय, उत्पाद एलडीए के लिए "शब्द" बन जाते हैं, उपयोगकर्ता "दस्तावेज" बन जाते हैं, और परिणामस्वरूप, उपयोगकर्ता की प्राथमिकताओं के "विषय" खड़े हो जाते हैं। इसके अलावा, आप मूल्यांकन कर सकते हैं कि कौन से उत्पाद किसी विशेष विषय की सबसे अधिक विशेषता हैं - अर्थात्, उन उत्पादों के समूह का चयन करें जो संबंधित उपयोगकर्ता समूह के लिए यथासंभव प्रासंगिक हैं, और विषयों पर वितरण से उपयोगकर्ताओं और उत्पादों से दूरी भी दर्ज करते हैं।

हमने इस विश्लेषण को Surfingbird.ru डेटाबेस पर लागू किया। और बहुत सारे दिलचस्प विषय मिले - यह पता चला कि लगभग सभी मामलों में वास्तव में साइटों के समूह खड़े होते हैं, एक विषय द्वारा एकजुट होते हैं और एक दूसरे के समान होते हैं। नीचे दी गई तस्वीरों में, मैंने उन शब्दों पर आंकड़े खींचे, जो अक्सर एलडीए का उपयोग करते हुए प्राप्त किए गए कुछ विषयों के पन्नों पर पाए जाते हैं (जबकि एलडीए ने स्वयं पृष्ठ ग्रंथों के साथ काम नहीं किया था, लेकिन केवल उपयोगकर्ता वरीयताओं के साथ!)। स्वयं पृष्ठों के लिंक, मैं अभी भी केवल मामले में काटता हूं।