सिफारिश करने वाले सिस्टम: बेयस प्रमेय और भोले बेयस क्लासिफायरियर

इस भाग में, हम अनुशंसा करने वाले सिस्टम के बारे में बात नहीं करेंगे। इसके बजाय, हम अलग से मशीन लर्निंग के मुख्य उपकरण - बेयस प्रमेय - पर ध्यान केंद्रित करेंगे और इसके अनुप्रयोग के एक सरल उदाहरण पर विचार करेंगे - भोला बेयस क्लासिफायरियर। अस्वीकरण: मुझे इस विषय से परिचित पाठक के लिए कुछ नया रिपोर्ट करने की संभावना नहीं है, हम मुख्य रूप से मशीन लर्निंग के बुनियादी दर्शन के बारे में बात करेंगे।



बेयस प्रमेय या तो याद किया जाता है या तुच्छ रूप से किसी के द्वारा कम किया जाता है जिसने प्रायिकता सिद्धांत का कम से कम सबसे बुनियादी पाठ्यक्रम लिया है। याद रखें कि सशर्त संभावना क्या है। इवेंट x ने इवेंट y प्रदान किया? परिभाषा के अनुसार: जहाँ क्या x और y की संयुक्त संभावना है, और p ( x ) और p ( y ) प्रत्येक घटना की संभावनाएं अलग-अलग हैं। इसलिए, संयुक्त संभावना को दो तरीकों से व्यक्त किया जा सकता है:
।

खैर, यहाँ बेयस प्रमेय है:


आप शायद सोचते हैं कि मैं आपका मजाक उड़ा रहा हूं - सशर्त संभाव्यता की परिभाषा का तुच्छ रूप से तुच्छ रूप से पुनर्लेखन कैसे किसी भी चीज का मुख्य उपकरण हो सकता है, खासकर मशीन लर्निंग के रूप में बड़ा और गैर-तुच्छ विज्ञान? हालाँकि, आइए समझने लगते हैं; सबसे पहले, हम केवल अन्य संकेतन में बेयस के प्रमेय को फिर से लिखते हैं (हां, मैं मॉक करना जारी रखता हूं)


अब इसे एक विशिष्ट मशीन लर्निंग कार्य से संबंधित करते हैं। यहां डी डेटा है, जिसे हम जानते हैं, और, मॉडल पैरामीटर हैं जिन्हें हम प्रशिक्षित करना चाहते हैं। उदाहरण के लिए, SVD मॉडल में, डेटा वे रेटिंग्स होती हैं, जो उपयोगकर्ता उत्पादों पर डालते हैं, और मॉडल पैरामीटर ऐसे कारक हैं जो हम उपयोगकर्ताओं और उत्पादों के लिए प्रशिक्षित करते हैं।

प्रत्येक संभाव्यता का अपना अर्थ भी होता है। - यह वही है जो हम खोजना चाहते हैं, डेटा को ध्यान में रखने के बाद मॉडल मापदंडों की संभावना वितरण; इसे उत्तरोत्तर संभावना कहा जाता है । यह संभावना, एक नियम के रूप में, सीधे नहीं पाई जा सकती है, और यहां बेयस प्रमेय की आवश्यकता है। - यह तथाकथित संभावना (संभावना) है, डेटा की संभावना प्रदान की जाती है कि मॉडल पैरामीटर तय हो गए हैं; यह आमतौर पर खोजने में आसान है, वास्तव में, मॉडल का डिज़ाइन आमतौर पर संभावना फ़ंक्शन को सेट करने में शामिल होता है। एक - पूर्व संभाव्यता, यह किसी वस्तु के बारे में हमारी अंतर्ज्ञान की गणितीय औपचारिकता है, जो हम किसी भी प्रयोग से पहले भी जानते थे।

यहां, शायद, इसमें देरी करने का कोई समय और स्थान नहीं है, लेकिन रेव। थॉमस बेयस की योग्यता बेशक, दो लाइनों में सशर्त संभाव्यता की परिभाषा को फिर से लिखना नहीं था (तब ऐसी कोई परिभाषा नहीं थी), लेकिन आगे डालने के लिए। और संभाव्यता की बहुत अवधारणा के इस दृष्टिकोण को विकसित करना। आज, "बायेसियन दृष्टिकोण" का अर्थ "विश्वास की डिग्री" के परिप्रेक्ष्य से संभाव्यता के विचार से है, न कि फ्रीक्वेंटिस्ट से (शब्द आवृत्ति से, फ्रीक से!) "प्रयोगों की कुल संख्या के अनन्तता में प्रवृत्त होते हुए सफल प्रयोगों का हिस्सा"। विशेष रूप से, यह हमें एक बार की घटनाओं की संभावनाओं के बारे में बात करने की अनुमति देता है - क्योंकि वास्तव में "रूस के लिए 2018 में विश्व फुटबॉल चैंपियन बन जाएगा" जैसी घटनाओं के लिए "अनंत तक रुझान वाले प्रयोगों" या, हमारे विषय के करीब नहीं है, "वासना फिल्म पसंद करेंगे" ट्रैक्टर चालक ""; यह डायनासोर की तरह है: या तो इसे पसंद है या नहीं। लेकिन गणित, निश्चित रूप से, हर जगह समान है, संभावना के कोलमोगोरोव स्वयंसिद्ध परवाह नहीं करते हैं कि वे उनके बारे में क्या सोचते हैं।

अतीत को मजबूत करने के लिए - एक सरल उदाहरण। ग्रंथों को वर्गीकृत करने के कार्य पर विचार करें: उदाहरण के लिए, मान लें कि हम विषय के एक मौजूदा डेटाबेस के आधार पर विषय द्वारा समाचार प्रवाह को क्रमबद्ध करने का प्रयास कर रहे हैं: खेल, अर्थशास्त्र, संस्कृति ... हम तथाकथित बैग-ऑफ़-मॉडल मॉडल का उपयोग करेंगे: एक दस्तावेज़ (बहु) का प्रतिनिधित्व एक भीड़ में इसमें शामिल शब्द। परिणामस्वरूप, प्रत्येक परीक्षण केस x, श्रेणियों V के सेट से मान लेता है और विशेषताओं द्वारा वर्णित किया जाता है । हमें इस विशेषता का सबसे संभावित मूल्य खोजने की आवश्यकता है, अर्थात

बायस प्रमेय द्वारा,


आकलन आसान: हम बस इसकी घटना की आवृत्ति का मूल्यांकन करेंगे। लेकिन अलग की सराहना करें काम नहीं करेगा - उनमें से बहुत सारे हैं, - यह विभिन्न विषयों पर संदेशों में शब्दों के ऐसे सेट की सटीकता की संभावना है। जाहिर है, इस तरह के आँकड़े लेने की कोई जगह नहीं है।

इसके साथ सामना करने के लिए, भोले बेयस क्लासिफायर (भोले बेयस क्लासिफायर - जिसे कभी-कभी इडियट्स बेस कहा जाता है) विशेषताओं के सशर्त स्वतंत्रता को मानता है, जिसे उद्देश्य फ़ंक्शन का दिया गया मान दिया गया है:

अब व्यक्ति को प्रशिक्षित करें बहुत सरल: यह श्रेणियों में शब्दों की घटना पर आँकड़ों की गणना करने के लिए पर्याप्त है (एक और विवरण है जो भोले बे के दो अलग-अलग रूपों की ओर जाता है, लेकिन अब हम विवरण में नहीं गए हैं)।

ध्यान दें कि भोले बायेसियन क्लासिफायर एक बहुत मजबूत धारणा बनाते हैं: ग्रंथों के वर्गीकरण में, हम मानते हैं कि एक ही विषय पर पाठ में अलग-अलग शब्द एक-दूसरे के स्वतंत्र रूप से दिखाई देते हैं। यह, ज़ाहिर है, पूर्ण बकवास है - लेकिन, फिर भी, परिणाम काफी सभ्य हैं। वास्तव में, भोले Bayes क्लासिफायर लगता है की तुलना में बहुत बेहतर है। उनकी संभावनाओं का अनुमान इष्टतम है, ज़ाहिर है, केवल सच्ची स्वतंत्रता के मामले में; लेकिन क्लासिफायरियर खुद को समस्याओं की व्यापक श्रेणी में इष्टतम है, और यहाँ क्यों है। सबसे पहले, विशेषताएँ, निश्चित रूप से, निर्भर हैं, लेकिन उनकी निर्भरता विभिन्न वर्गों के लिए समान है और संभावनाओं का आकलन करने में "पारस्परिक रूप से कम" है। शब्दों के बीच के व्याकरणिक और शब्दार्थ निर्भरता फुटबॉल के बारे में पाठ में और बायेसियन प्रशिक्षण के बारे में पाठ में समान हैं। दूसरी बात, संभावनाओं का आकलन करने के लिए, भोले बाए बहुत बुरे हैं, लेकिन एक क्लासिफायरियर के रूप में यह बहुत बेहतर है (आमतौर पर, यदि वास्तव में, तो और भोली-भाली गालियाँ देगा और , लेकिन वर्गीकरण अधिक बार सही होगा)।

अगली श्रृंखला में, हम इस उदाहरण को जटिल करेंगे और एलडीए मॉडल पर विचार करेंगे, जो बिना किसी चिह्नित दस्तावेज़ के किसी भी दस्तावेज के बिना दस्तावेज़ निकाय में विषयों को उजागर करने में सक्षम है, ताकि एक दस्तावेज़ में कई विषय हो सकते हैं, और इसे अनुशंसा कार्य पर भी लागू किया जा सकता है।