संभाव्य मॉडल: उदाहरण और चित्र

आज चक्र की दूसरी श्रृंखला है जो पिछली बार शुरू हुई थी ; तब हमने निर्देशित ग्राफिकल प्रोबेबिलिस्टिक मॉडल के बारे में बात की, इस विज्ञान के मुख्य चित्रों को आकर्षित किया और चर्चा की कि वे किन निर्भरता और स्वतंत्रता के अनुरूप हैं। आज - अंतिम समय की सामग्री के लिए चित्रों की एक श्रृंखला; हम कई महत्वपूर्ण और दिलचस्प मॉडलों पर चर्चा करेंगे, उनके अनुरूप चित्र खींचेंगे और देखेंगे कि वे सभी चर के संयुक्त वितरण के क्या कारक हैं जो उनके अनुरूप हैं।

नैवे बेस क्लासिफायर

इसके साथ शुरू करने के लिए, मैं पिछले पाठ को संक्षेप में दोहराऊंगा: हमने पहले ही इस ब्लॉग में भोले बाएस वर्ग के बारे में बात की है । भोले की खाड़ी में, गुणों की सशर्त स्वतंत्रता (शब्दों) के बारे में एक अतिरिक्त धारणा बनाई जाती है, विषय के अधीन:

परिणाम एक जटिल पश्च वितरण है कैसे फिर से लिखने में कामयाब रहे

और यहाँ इस मॉडल की क्या तस्वीर है:


सब कुछ वैसा ही है जैसा हमने पिछली बार कहा था: किसी दस्तावेज़ में अलग-अलग शब्द एक डायवर्जन लिंक द्वारा एक परिवर्तनशील श्रेणी से जुड़े होते हैं; इससे पता चलता है कि वे इस श्रेणी की शर्त के तहत सशर्त रूप से स्वतंत्र हैं। भोले-भाले सीखना व्यक्तिगत कारकों के मापदंडों को प्रशिक्षित करना है: श्रेणियों पी ( सी ) और व्यक्तिगत मापदंडों के सशर्त वितरण पर एक प्राथमिक वितरण ।

आगे बढ़ने से पहले तस्वीरों के बारे में एक और बात। बहुत बार मॉडल में एक ही प्रकार के बड़ी संख्या में चर होते हैं, जो समान वितरण के साथ अन्य चर के साथ जुड़े होते हैं (संभवतः विभिन्न मापदंडों के साथ)। चित्र को पढ़ने और समझने में आसान बनाने के लिए, ताकि इसमें अनगिनत डॉट्स और चीजें न हों जैसे "अच्छी तरह से, यहाँ डॉट्स के साथ एक पूर्ण द्विदलीय ग्राफ है, अच्छी तरह से, आप समझते हैं", एक ही प्रकार के चर को तथाकथित "प्लेट" में संयोजित करना सुविधाजनक है। ऐसा करने के लिए, एक आयत खींचें जिसमें वे प्रचारित चर का एक विशिष्ट प्रतिनिधि रखते हैं; आयत के कोने में कहीं यह हस्ताक्षर करने के लिए अधिक सुविधाजनक है कि कितनी प्रतियां हैं:


और सभी दस्तावेजों के सामान्य मॉडल (बिना पासा के हमने इसे नहीं खींचा) में इस ग्राफ की कई प्रतियाँ शामिल होंगी और तदनुसार, इस तरह दिखेंगे:


यहां, मैंने स्पष्ट रूप से श्रेणियों α और मापदंडों पर वितरण मापदंडों को स्पष्ट रूप से आकर्षित किया है - प्रत्येक श्रेणी में शब्द संभावनाएं d। चूंकि इन मापदंडों के अपघटन में एक अलग कारक नहीं है, इसलिए नेटवर्क नोड उनके अनुरूप नहीं है, लेकिन स्पष्टता के लिए उन्हें चित्रित करना अक्सर सुविधाजनक होता है। इस स्थिति में, चित्र का अर्थ है कि चर C की अलग-अलग प्रतियां समान वितरण p ( C ) से उत्पन्न हुई थीं, और शब्दों की अलग-अलग प्रतियां एक ही वितरण से उत्पन्न हुई थीं, श्रेणियों के मूल्य द्वारा पैरामीटर (यानी β मैट्रिक्स) विभिन्न श्रेणियों में विभिन्न शब्दों की संभावनाएं)।

रैखिक प्रतिगमन

आइए एक और मॉडल के साथ जारी रखें जिसे आप आंकड़ों के पाठ्यक्रमों से अस्पष्ट रूप से याद कर सकते हैं - रैखिक प्रतिगमन। मॉडल का सार सरल है: हम मानते हैं कि हम जिस वेरिएबल y की भविष्यवाणी करना चाहते हैं, वह फीचर वेक्टर x से प्राप्त होता है क्योंकि वेट डब्ल्यू (बोल्ड फॉन्ट, वैक्टर को निरूपित करेगा - यह आमतौर पर स्वीकार किया जाता है, और html में यह हर बार की तुलना में मेरे लिए अधिक सुविधाजनक होगा। एक तीर खींचें) और सामान्य रूप से वितरित शोर:

मॉडल मानता है कि हमारे पास कुछ डेटा सेट, डेटासेट डी तक पहुंच है । इसमें इस प्रतिगमन के अलग-अलग कार्यान्वयन शामिल हैं, और (महत्वपूर्ण!) यह माना जाता है कि ये कार्यान्वयन स्वतंत्र रूप से उत्पन्न हुए थे। इसके अलावा, एक रैखिक प्रतिगमन में, मापदंडों पर एक प्राथमिकता वितरण अक्सर पेश किया जाता है - उदाहरण के लिए, एक सामान्य वितरण

फिर हम इस तस्वीर पर आते हैं:


यहाँ, मैंने स्पष्ट रूप से एक प्राथमिकता वितरण and ₀ और। ₀ के मापदंडों को आकर्षित किया। कृपया ध्यान दें - रेखीय प्रतिगमन भोले-भाले लोगों के लिए संरचना में बहुत समान है।

पासा के साथ, यह और भी आसान दिखेगा:


मुख्य कार्य क्या हैं जो रैखिक प्रतिगमन में हल किए जाते हैं? पहला कार्य डब्ल्यू पर पीछे वितरण को खोजना है, अर्थात्। डी से उपलब्ध डेटा ( x , y ) के साथ w के वितरण को पुनर्गणना करना सीखें; गणितीय रूप से हमें वितरण मापदंडों की गणना करनी होगी

ग्राफिकल मॉडल में, चर जिनके मूल्यों को जाना जाता है वे आमतौर पर छायांकित होते हैं; इस प्रकार, कार्य साक्ष्य के साथ इस तरह के एक ग्राफ के अनुसार डब्ल्यू के वितरण को पुनर्गणना करना है:


दूसरा मुख्य कार्य (कुछ हद तक अधिक बुनियादी) कुछ नए बिंदु पर y के नए मूल्य का मूल्यांकन करने के लिए, भविष्य कहनेवाला वितरण की गणना करना है। गणितीय रूप से, यह कार्य पिछले एक की तुलना में बहुत अधिक जटिल दिखता है - अब हमें पीछे के वितरण पर एकीकृत करने की आवश्यकता है

और ग्राफ़िकल रूप से इतने अधिक परिवर्तन नहीं होते हैं - हम एक नया चर बनाते हैं, जिसकी हम भविष्यवाणी करना चाहते हैं, और कार्य अभी भी समान है: कुछ सबूत (डेटासेट से) के साथ, मॉडल में कुछ अन्य चर के वितरण को पुनर्गणना करते हैं, केवल अब यह w नहीं है , लेकिन y ^* :

छिपे हुए मार्कोव मॉडल

संभावित मॉडल का एक और व्यापक रूप से ज्ञात और लोकप्रिय वर्ग छिपा हुआ है मार्कोव मॉडल (एचएमएम)। वे भाषण मान्यता में उपयोग किए जाते हैं, सब्सट्रेटिंग और अन्य समान अनुप्रयोगों के लिए फजी खोज के लिए। एक छिपा हुआ मार्कोव मॉडल एक मार्कोव श्रृंखला (यादृच्छिक चर का एक क्रम है, जहां प्रत्येक मात्रा x _{t + 1} केवल पिछले x _t पर निर्भर करता है और शर्त के तहत x _t पिछली x _{tk के} साथ सशर्त रूप से स्वतंत्र है), जिसमें हम छिपे हुए राज्यों का निरीक्षण नहीं कर सकते, लेकिन केवल देखते हैं कुछ वेधशालाएँ वर्तमान स्थिति पर निर्भर करती हैं। उदाहरण के लिए, वाक् पहचान में, छिपी हुई अवस्थाएँ फ़ोनीम हैं जिन्हें आप कहना चाहते हैं (यह कुछ सरलीकरण है, वास्तव में प्रत्येक फ़ोनेमे एक संपूर्ण मॉडल है, लेकिन यह स्पष्ट करने के लिए नीचे आ जाएगा), और वेधशाला वास्तव में ध्वनि तरंग हैं जो मान्यता डिवाइस तक पहुंचती हैं। ये रही तस्वीर:


यह चित्र पहले से ही तैयार छिपे हुए मार्कोव मॉडल को लागू करने की समस्या को हल करने के लिए पर्याप्त है: मौजूदा मॉडल (छिपे हुए राज्यों ए के बीच संक्रमण संभावनाओं से मिलकर), श्रृंखला the का प्रारंभिक वितरण और वेधशालाओं के वितरण मापदंडों का उपयोग करते हुए) और वेधशालाओं के इस क्रम को, छिपे हुए राज्यों का सबसे संभावित अनुक्रम खोजें; यानी, उदाहरण के लिए, एक नई ध्वनि फ़ाइल को पहचानने के लिए तैयार भाषण मान्यता प्रणाली में। और अगर आपको मॉडल के मापदंडों को प्रशिक्षित करने की आवश्यकता है, तो उन्हें चित्र में स्पष्ट रूप से खींचना बेहतर है, ताकि यह स्पष्ट हो कि सभी मापदंडों में समान पैरामीटर शामिल हैं:

झील प्राधिकरण

एक और मॉडल जिसके बारे में हम पहले ही बात कर चुके हैं वह है एलडीए (लेटेंट डिरिचलेट आवंटन, लेटेंट डिरिचलेट आवंटन)। यह विषयगत मॉडलिंग के लिए एक मॉडल है, जिसमें प्रत्येक दस्तावेज़ का प्रतिनिधित्व एक विषय द्वारा नहीं किया जाता है, जैसा कि भोले की खाड़ी में होता है, लेकिन संभावित विषयों पर एक असतत वितरण द्वारा। उसी पाठ में, हमने पहले से ही जेनरिक एलडीए मॉडल का वर्णन किया है - तैयार एलडीए मॉडल में एक दस्तावेज कैसे उत्पन्न करें:

• दस्तावेज़ की लंबाई एन का चयन करें (यह ग्राफ पर नहीं खींचा गया है - यह मॉडल का वह हिस्सा नहीं है);
• वेक्टर चुनें - इस दस्तावेज़ में प्रत्येक विषय की "अभिव्यक्ति की डिग्री" का वेक्टर;
• एन शब्दों में से प्रत्येक के लिए w :
  
  • एक विषय चुनें वितरण द्वारा ;
  • एक शब्द चुनें with में दी गई संभावनाओं के साथ।

अब हम समझते हैं कि संबंधित चित्र कैसा दिखेगा (यह उस ब्लॉग पोस्ट में भी था, और मैं इसे फिर से विकिपीडिया से कॉपी करूंगा, लेकिन यहां चित्र का सार ठीक हमारे ऊपर जैसा है):

एसवीडी और पीएमएफ

पोस्ट ( 1 , 2 , 3 , 4 ) की एक श्रृंखला में, हमने सहयोगी फ़िल्टरिंग के लिए मुख्य उपकरणों में से एक के बारे में बात की - एकवचन मैट्रिक्स अपघटन, एसवीडी।

हमने ग्रेडिएंट डिसेंट विधि का उपयोग करके एसवीडी अपघटन के लिए खोज की: हमने त्रुटि फ़ंक्शन का निर्माण किया, इससे ग्रेडिएंट की गणना की और इसके साथ नीचे उतरा। हालांकि, कोई भी समस्या का एक सामान्य संभाव्य कथन तैयार कर सकता है, जिसे आमतौर पर पीएमएफ (प्रोबेबिलिस्टिक मैट्रिक्स फैक्टराइजेशन) कहा जाता है। ऐसा करने के लिए, हमें उपयोगकर्ताओं और उत्पादों के लक्षणों के वैक्टर के लिए एक प्राथमिकता वितरण शुरू करने की आवश्यकता है:

(जहां मैं पहचान मैट्रिक्स हूं ), और फिर, नियमित एसवीडी के रूप में, उपयोगकर्ता और उत्पाद के शोर रैखिक संयोजनों के रूप में रेटिंग पेश करते हैं:

जहां प्रशिक्षण नमूने में मौजूद रेटिंग के अनुसार उत्पाद लिया जाता है। यह इस तस्वीर से पता चलता है (चित्र लेख से लिया गया था [सलाखुद्दीनोव, मिन्ह, 2009] ):


आप एक अन्य स्तर पर बायेसियन इंट्रेंस जोड़ सकते हैं और साथ ही उपयोगकर्ताओं और उत्पादों के लिए विशेषता वितरण के हाइपरपैरमीटर ट्रेन कर सकते हैं; मैं अब इसमें नहीं जाऊंगा, लेकिन केवल इसी चित्र ( उसी लेख से ) को दे सकता हूं - शायद मेरे पास अभी भी इस बारे में अधिक बात करने का मौका नहीं है।

बायेसियन रेटिंग सिस्टम

एक और उदाहरण जो व्यक्तिगत रूप से मेरे करीब है वह यह है कि एक बार अलेक्जेंडर सिरोटकिन और मैंने बायेसियन रेटिंग सिस्टम में से एक में सुधार किया ; शायद बाद में ब्लॉग में हम रेटिंग सिस्टम के बारे में अधिक विस्तार से बात करेंगे। लेकिन यहाँ मैं सबसे सरल उदाहरण दूंगा - शतरंज खिलाड़ियों के लिए एलो रेटिंग कैसे काम करती है? यदि आप सन्निकटन और जादू स्थिरांक में नहीं जाते हैं, तो सार बहुत सरल है: सामान्य रूप में रेटिंग क्या है? हम चाहेंगे कि रेटिंग खेल की ताकत का मापक हो; हालांकि, यह काफी स्पष्ट है कि पार्टी से पार्टी तक खेल की ताकत बाहरी और आंतरिक यादृच्छिक कारकों के प्रभाव में काफी मजबूती से बदल सकती है। इस प्रकार, वास्तव में, एक विशेष खेल में एक या किसी अन्य प्रतिभागी के खेल की ताकत (इन बलों की तुलना एक खेल के परिणाम को निर्धारित करती है) एक यादृच्छिक चर है, एक शतरंज खिलाड़ी के खेल की "असली ताकत" इसकी गणितीय अपेक्षा है, और रेटिंग इस गणितीय अपेक्षा का हमारा गलत मूल्यांकन है । अभी के लिए, हम उस सरलतम मामले पर विचार करेंगे जिसमें किसी विशेष खेल में किसी प्रतिभागी के खेल की ताकत सामान्य रूप से कुछ निरंतर पूर्वनिर्धारित फैलाव के साथ उसकी असली ताकत के आसपास वितरित की जाती है (एलो की रेटिंग बस यही करती है - इसलिए उसका जादू निरंतर "200 रेटिंग अंक की ताकत के साथ एक चिर खिलाड़ी" प्रति गेम औसतन 0.75 अंक ”)। प्रत्येक खेल से पहले, हमारे पास प्रत्येक शतरंज खिलाड़ी के खेल की ताकत का कुछ प्राथमिक अनुमान है; मान लीजिए कि एक प्राथमिकता वितरण क्रमशः सामान्य है, जिसमें पैरामीटर μ ₁ , μ ₁ और μ ₂ ,, ₂ क्रमशः हैं। हमारा कार्य - खेल के परिणाम को जानना, इन मापदंडों को फिर से लिखना। ये रही तस्वीर:


यहाँ s (कौशल) शतरंज खिलाड़ी की "खेल की सच्ची शक्ति" है, p _i (प्रदर्शन) इस विशेष खेल में दिखाए गए खेल की उसकी शक्ति है, और r इस खेल के परिणाम को दर्शाने वाला एक दिलचस्प रैंडम वैरिएबल है, जो p ₁ की तुलना से प्राप्त होता है और पृष्ठ ₂ । इस पर अधिक आज नहीं होगा।

इंटरनेट उपयोगकर्ता व्यवहार

और मैं अपने करीब एक अन्य उदाहरण के साथ समाप्त हो जाऊंगा - खोज इंजन में इंटरनेट उपयोगकर्ताओं के व्यवहार पैटर्न। फिर, मैं विस्तार से नहीं जा सका - शायद हम इस पर लौट आएंगे, लेकिन अब, उदाहरण के लिए, हम अपने समीक्षा लेख को अलेक्जेंडर फिशकोव के साथ पढ़ सकते हैं - मैं सिर्फ एक ऐसे मॉडल को एक उदाहरण मानता हूं। हम खोज परिणाम प्राप्त करने पर उपयोगकर्ता क्या करते हैं, इसका अनुकरण करने की कोशिश कर रहे हैं। लिंक और क्लिक को यादृच्छिक घटनाओं के रूप में माना जाता है; किसी विशेष अनुरोध सत्र के लिए, चर ई _{i का} अर्थ है स्थिति i , C _i पर दिखाए गए दस्तावेज़ के लिंक का विवरण देखना - इस स्थिति पर क्लिक करें। हम एक सरल धारणा पेश करते हैं: मान लीजिए कि विवरण देखने की प्रक्रिया हमेशा पहली स्थिति से शुरू होती है और सख्ती से रैखिक होती है। एक स्थिति को केवल तभी देखा जाता है जब पिछले सभी पदों को देखा गया हो। परिणामस्वरूप, हमारा आभासी उपयोगकर्ता ऊपर से नीचे तक लिंक पढ़ता है, अगर वह पसंद करता है (जो लिंक की प्रासंगिकता पर निर्भर करता है), क्लिक करता है, और यदि दस्तावेज़ वास्तव में प्रासंगिक हो जाता है, तो उपयोगकर्ता छोड़ देता है और कभी नहीं लौटता है; जिज्ञासु, लेकिन सच है: एक खोज इंजन के लिए, एक अच्छी घटना तब होती है जब उपयोगकर्ता जितनी जल्दी हो सके छोड़ दिया और वापस नहीं लौटा, और यदि वह SERP पर वापस लौटता है, तो इसका मतलब है कि वह नहीं ढूंढ सका कि वह क्या ढूंढ रहा था।

परिणाम तथाकथित कैस्केडिंग क्लिक मॉडल (CCM) है; इसमें, उपयोगकर्ता इस ब्लॉक आरेख का अनुसरण करता है:


और बायेसियन नेटवर्क के रूप में, आप इसे इस तरह आकर्षित कर सकते हैं:

यहाँ पर बाद की घटनाएँ _{I i} (यह घटना “उपयोगकर्ता अगले स्निपेट को पढ़ता है”, शब्द जांच से) इस बात पर निर्भर करता है कि क्या पिछले लिंक पर एक क्लिक था, और अगर वहाँ था, तो लिंक वास्तव में प्रासंगिक निकला। कार्य को फिर से ऊपर के रूप में उसी तरह वर्णित किया गया है: हम चर (उपयोगकर्ता क्लिक) का हिस्सा देखते हैं, और क्लिक के आधार पर हमें मॉडल को प्रशिक्षित करने और प्रत्येक लिंक की प्रासंगिकता के बारे में निष्कर्ष निकालने की जरूरत है (ताकि उनकी सही प्रासंगिकता के अनुसार लिंक को फिर से व्यवस्थित किया जा सके), अर्थात। । मॉडल में कुछ अन्य चर के मूल्यों के बारे में।

निष्कर्ष और निष्कर्ष

इस लेख में, हमने संभाव्य मॉडल के कई उदाहरणों की जांच की जिनके तर्क उनके निर्देशित चित्रमय मॉडल से आसानी से "पढ़" रहे हैं। इसके अलावा, हम आश्वस्त थे कि हम आमतौर पर एक संभाव्य मॉडल से जो चाहते हैं, उसे एक काफी अच्छी तरह से परिभाषित कार्य के रूप में दर्शाया जा सकता है - एक निर्देशित ग्राफिक मॉडल में, कुछ अन्य चर के ज्ञात मूल्यों के साथ कुछ चर के वितरण को पुनर्गणना करते हैं। हालांकि, तर्क तर्क है, लेकिन कैसे, वास्तव में, सिखाने के लिए? इस समस्या को कैसे हल करें? इसके बारे में - अगली श्रृंखला में।