संभाव्य मॉडल: बेसेसियन नेटवर्क

इस ब्लॉग में हमने इस बारे में बहुत कुछ बात की: मुख्य सिफारिश एल्गोरिदम ( कार्य सेटिंग , उपयोगकर्ता-आधारित और आइटम-आधारित , एसवीडी: 1 , 2 , 3 , 4 ) का संक्षिप्त विवरण था, सामग्री के साथ काम करने के लिए कई मॉडल के बारे में ( नवजात शिशु ) LDA , पाठ विश्लेषण विधियों की समीक्षा ), ठंड शुरू ( कार्य सेटिंग , पाठ खनन , टैग ) के बारे में लेखों की एक श्रृंखला थी, बहु-सशस्त्र डाकुओं के बारे में एक मिनी-श्रृंखला थी ( भाग 1 , भाग 2 )।

एक सामान्य संदर्भ में इन और कई अन्य तरीकों को आगे बढ़ाने और डालने के लिए, हमें कुछ सामान्य आधार विकसित करने की आवश्यकता है, वह भाषा सीखें जो आधुनिक डेटा प्रोसेसिंग विधियाँ बोलती हैं - आलेखीय संभाव्यता मॉडल की भाषा। आज इस कहानी का पहला हिस्सा है, सबसे सरल, चित्रों और स्पष्टीकरण के साथ।

बायेसियन इंफेक्शन की समस्या

सबसे पहले, संक्षेप में याद करें कि हमने पहले से क्या बात की है । मशीन सीखने का मुख्य उपकरण बेयस प्रमेय है:

यहां डी डेटा है, जिसे हम जानते हैं, और, मॉडल पैरामीटर हैं जिन्हें हम प्रशिक्षित करना चाहते हैं। उदाहरण के लिए, SVD मॉडल में, डेटा वे रेटिंग्स होती हैं, जो उपयोगकर्ता उत्पादों पर डालते हैं, और मॉडल पैरामीटर ऐसे कारक हैं जो हम उपयोगकर्ताओं और उत्पादों के लिए प्रशिक्षित करते हैं। - यह वही है जो हम खोजना चाहते हैं, डेटा को ध्यान में रखने के बाद मॉडल मापदंडों की संभावना वितरण; इसे उत्तरोत्तर संभावना कहा जाता है । यह संभावना, एक नियम के रूप में, सीधे नहीं पाई जा सकती है, और यहां बेयस प्रमेय की आवश्यकता है। - यह तथाकथित संभावना (संभावना) है, डेटा की संभावना प्रदान की जाती है कि मॉडल पैरामीटर तय हो गए हैं; यह आमतौर पर खोजने में आसान है, वास्तव में, मॉडल का डिज़ाइन आमतौर पर संभावना फ़ंक्शन को सेट करने में शामिल होता है। एक - पूर्व संभाव्यता, यह किसी वस्तु के बारे में हमारी अंतर्ज्ञान की गणितीय औपचारिकता है, जिसे हम किसी भी प्रयोग से पहले जानते थे।

इस प्रकार, हम बायेसियन निष्कर्ष के मुख्य कार्यों में से एक में आते हैं: परिकल्पना / मापदंडों पर पश्च वितरण का पता लगाने के लिए:

और अधिकतम पीछे की परिकल्पना खोजें ।

जटिल वितरण और बायेसियन नेटवर्क का कारक

लेकिन अगर सब कुछ इतना सरल है - हमने दो कार्यों को गुणा किया, तो परिणाम को अधिकतम किया - पूरे विज्ञान के बारे में क्या है? समस्या यह है कि जिन वितरणों में हमारी रुचि है, वे आम तौर पर सीधे, विश्लेषणात्मक रूप से अधिकतम होने के लिए जटिल हैं। उनमें बहुत अधिक चर हैं; चर के बीच बहुत जटिल संबंध हैं। लेकिन, दूसरी ओर, अक्सर उनके पास एक अतिरिक्त संरचना होती है जिसका उपयोग किया जा सकता है, स्वतंत्रता के रूप में एक संरचना ( ) और सशर्त स्वतंत्रता ( ) कुछ चरों का।

भोले की खाड़ी के बारे में हमारी बातचीत को याद करें : वहाँ के मॉडल में मापदंडों की अधिकता थी, और हमने विशेषताओं के सशर्त स्वतंत्रता के बारे में एक अतिरिक्त धारणा बनाई (शब्द), विषय के अधीन:

परिणाम एक जटिल पश्च वितरण है कैसे फिर से लिखने में कामयाब रहे

और इस रूप में इसका सामना करना आसान हो गया (प्रत्येक छोटे वितरण के मापदंडों को अलग-अलग जानने के लिए, और तब v चुनें जो उत्पाद का अधिकतम लाभ देता है)। यह सरल लोगों के उत्पाद में एक जटिल वितरण के अपघटन (कारक) के सबसे सरल उदाहरणों में से एक है। आज और बाद के ग्रंथों में, हम इस विधि को सामान्य बनाने और इसे बेजोड़ ऊंचाइयों पर ले जाने में सक्षम होंगे।

तो, आइए बड़े और जटिल संभाव्यता वितरण का प्रतिनिधित्व करने के सबसे सुविधाजनक तरीकों में से एक देखें - बेयसियन विश्वास नेटवर्क, जिसे हाल के दिनों में अक्सर केवल निर्देशित ग्राफिकल मॉडल कहा जाता है। बायेसियन नेटवर्क एक निर्देशित ग्राफ है जो बिना निर्देशित चक्र (यह एक बहुत ही महत्वपूर्ण स्थिति है!) जिसमें कोने वितरण में चर के अनुरूप होते हैं, और किनारों को "कनेक्टेड" चर कहते हैं। प्रत्येक नोड में, नोड के सशर्त वितरण को निर्दिष्ट किया जाता है, बशर्ते कि उसके माता-पिता , और बायेसियन नेटवर्क के ग्राफ का मतलब है कि एक बड़ा संयुक्त वितरण इन सशर्त वितरणों के उत्पाद में विघटित हो जाता है।

यहाँ, उदाहरण के लिए, भोले की खाड़ी के अनुरूप ग्राफ है:

यह अपघटन से मेल खाती है

C का कोई पूर्वज नहीं है, इसलिए हम इसके बिना शर्त (सीमान्त) वितरण को लेते हैं, और A का प्रत्येक _I C से सीधे "बढ़ता" है और किसी और के साथ जुड़ा नहीं है।

हम पहले से ही जानते हैं कि इस मामले में सभी विशेषताएं A , श्रेणी C की शर्त के तहत सशर्त रूप से स्वतंत्र _हैं :

आइए अब हम सभी सरल बायेसियन नेटवर्क वेरिएंट पर विचार करते हैं और देखते हैं कि वे किन वेरिएबल के बीच स्वतंत्रता की स्थिति के अनुरूप हैं।

दो और तीन चर के साथ बायेसियन नेटवर्क: तुच्छ मामले

हम दो चर, x और y के नेटवर्क से शुरू करते हैं। केवल दो विकल्प हैं: या तो x और y के बीच कोई किनारे नहीं है, या है। अगर कोई किनारा नहीं है, तो इसका सीधा सा मतलब है कि x और y स्वतंत्र हैं, क्योंकि ऐसा ग्राफ विस्तार से मेल खाता है ।


और अगर कोई बढ़त है (इसे x से y पर जाने दें, इससे कोई फर्क नहीं पड़ता), तो हमें अपघटन हो जाता है , जो शाब्दिक रूप से किसी भी वितरण के लिए सशर्त संभाव्यता की परिभाषा द्वारा हमेशा सच है । इस प्रकार, एक छोर के साथ दो कोने का एक ग्राफ हमें नई जानकारी नहीं देता है।


अब तीन वेरिएबल्स, x , y और z के नेटवर्क पर जाएं। सबसे सरल मामला तब है जब कोई किनारा नहीं है।

दो चरों के साथ इसका मतलब है कि x , y और z केवल स्वतंत्र हैं: ।

एक और सरल मामला है जब सभी किनारों को चर के बीच खींचा जाता है।

यह मामला भी ऊपर के समान माना जाता है; उदाहरण के लिए, किनारों को x से y और z तक जाने दें , और y से z को भी। हम सड़ जाते हैं

जो, फिर से, किसी भी संयुक्त वितरण के लिए हमेशा सही होता है । इस सूत्र में, कोई भी किसी भी क्रम में चर का चयन कर सकता है, कुछ भी नहीं बदलेगा। कृपया ध्यान दें कि बायेसियन नेटवर्क में दिशात्मक छोरों को निषिद्ध किया गया है, और सभी किनारों को कैसे आकर्षित किया जाए, इसके विकल्प के परिणामस्वरूप, केवल छह हैं, आठ नहीं।

ये अवलोकन, ज़ाहिर है, किसी भी संख्या में चर के मामले में सामान्यीकृत हैं: यदि चर एक दूसरे के साथ बिल्कुल भी नहीं जुड़े हैं, तो वे स्वतंत्र हैं, और वह ग्राफ जिसमें सभी किनारों को खींचा गया है (किसी भी दिशा में तीर के साथ, लेकिन वह निर्देशित चक्र प्राप्त नहीं होते हैं) , विघटन से मेल खाता है, जो हमेशा सच होता है, और हमें कोई जानकारी नहीं देता है।

तीन चर के साथ बायेसियन नेटवर्क: दिलचस्प मामले

इस खंड में, हम तीन और दिलचस्प मामलों पर विचार करेंगे - ये वो "ईंटें" होंगी जिनसे किसी भी बायेसियन नेटवर्क की रचना की जा सकती है। सौभाग्य से, इसके लिए यह तीन चर पर रेखांकन पर विचार करने के लिए पर्याप्त है - बाकी सब कुछ उनसे सामान्यीकृत किया जाएगा। नीचे दिए गए उदाहरणों में, मैं कुछ हद तक सच्चाई के खिलाफ होऊंगा और सहजता से किनारे की व्याख्या करूँगा, दो चर के बीच के तीर, जैसा कि " x को y को प्रभावित करता है", अर्थात्। अनिवार्य रूप से एक कारण संबंध के रूप में। वास्तव में, यह, ज़ाहिर है, पूरी तरह से सच नहीं है - उदाहरण के लिए, आप अक्सर इसका अर्थ खोए बिना एक किनारे का विस्तार कर सकते हैं (याद रखें: दो चर के ग्राफ में यह कोई फर्क नहीं पड़ता था कि किनारे को किस तरह से खींचा जाना चाहिए)। और सामान्य तौर पर यह एक कठिन दार्शनिक सवाल है - "कारण-प्रभाव संबंध" क्या हैं और उनकी आवश्यकता क्यों है। लेकिन उंगलियों पर तर्क के लिए करेंगे।

धारावाहिक संचार

हम चर के बीच एक सीरियल कनेक्शन से शुरू करते हैं: x " y " को प्रभावित करता है, और y , बदले में, " z " को प्रभावित करता है।

इस तरह के एक ग्राफ में अपघटन होता है


सहज रूप से, यह एक सुसंगत कारण संबंध से मेल खाता है: यदि आप सर्दियों में बिना टोपी के चलते हैं, तो आप एक ठंड पकड़ लेंगे, और यदि आप एक ठंड पकड़ते हैं, तो आपका तापमान बढ़ जाएगा। जाहिर है, x और y , साथ ही y और z एक दूसरे से जुड़े हुए हैं, उनके बीच भी सीधे तीर खींचे जाते हैं। क्या ऐसे नेटवर्क में x और z जुड़े हैं, क्या ये चर निर्भर हैं? बेशक! यदि आप सर्दियों में बिना टोपी के दौड़ते हैं, तो उच्च तापमान प्राप्त करने की संभावना बढ़ जाती है। हालांकि, ऐसे नेटवर्क में, x और z केवल y के माध्यम से जुड़े होते हैं, और यदि हम पहले से ही y , x और z के मूल्य को जानते हैं तो स्वतंत्र हो जाते हैं: यदि आप पहले से ही जानते हैं कि आपको सर्दी है, तो इससे कोई फर्क नहीं पड़ता कि इसका क्या कारण है, तापमान अब बढ़ जाएगा (या नहीं बढ़ेगा) ) एक ठंड से।

औपचारिक रूप से, यह शर्त y के तहत x और z की सशर्त स्वतंत्रता से मेल खाती है; आइए इसे जांचें:

जहां पहली समानता सशर्त संभाव्यता की परिभाषा है, दूसरी हमारी विस्तार है, और तीसरी है बेयस प्रमेय का अनुप्रयोग।

तो, तीन चर के बीच सुसंगत संबंध हमें बताता है कि चरम चर औसत की स्थिति के तहत सशर्त रूप से स्वतंत्र हैं। सब कुछ बहुत तार्किक और काफी सीधा है।

संबंध विच्छेद करना

अगला संभावित विकल्प एक अलग कनेक्शन है: x " y और z दोनों को प्रभावित करता है"।

इस तरह के एक ग्राफ में अपघटन होता है


सहज रूप से, यह एक ही कारण के लिए दो परिणामों से मेल खाती है: यदि आप एक ठंडा पकड़ते हैं, तो आपका तापमान बढ़ सकता है, और आपकी नाक बाहर निकल सकती है। पिछले मामले में, यह स्पष्ट है कि x और y , साथ ही x और z निर्भर हैं, और प्रश्न y और z के बीच है। फिर, यह स्पष्ट है कि ये चर निर्भर हैं: यदि आपके पास एक बहती हुई नाक है, तो इससे आपको ठंड लगने की संभावना बढ़ जाती है, जिसका अर्थ है कि उच्च तापमान की संभावना भी बढ़ जाती है।

हालांकि, ऐसे नेटवर्क में, पिछले मामले की तरह, y और z केवल x के माध्यम से जुड़े होते हैं, और अगर हम पहले से ही सामान्य कारण का अर्थ जानते हैं x , y और z स्वतंत्र हो जाते हैं: यदि आप पहले से ही जानते हैं कि आपके पास एक ठंडा, एक बहती नाक और तापमान स्वतंत्र है। डिस्क्लेमर: मेरे मेडिकल उदाहरण बेहद अनियंत्रित हैं, वास्तव में मुझे इस बात का कोई अंदाजा नहीं है कि यदि सामान्य सर्दी और तापमान ठंड के मामले में स्वतंत्र हैं, और मुझे भी संदेह है कि इसकी संभावना नहीं है, क्योंकि कई अन्य बीमारियां भी इन दोनों लक्षणों को एक साथ पैदा कर सकती हैं। लेकिन ब्रह्मांड में हमारे सशर्त मॉडल में आम सर्दी के अलावा कोई अन्य बीमारियां नहीं हैं।

औपचारिक रूप से, यह शर्त x के तहत y और z की सशर्त स्वतंत्रता से मेल खाती है; सीरियल कम्युनिकेशन की तुलना में यह जाँचना और भी आसान है:


इसलिए, तीन चरों के बीच का द्वैध संबंध हमें बताता है कि "परिणाम" सशर्त रूप से स्वतंत्र हैं, बशर्ते उनका "सामान्य कारण" हो। यदि कारण ज्ञात है, तो परिणाम स्वतंत्र हो जाते हैं; जबकि कारण अज्ञात है, इसके माध्यम से परिणाम जुड़े हुए हैं। फिर, अब तक यह आश्चर्य की बात नहीं है।

संमिलित संबंध

हमारे पास तीन वेरिएबल्स के बीच कनेक्शन का केवल एक संभव संस्करण है: एक कन्वर्ज़िंग कनेक्शन, जब x और y एक साथ " z " को प्रभावित करते हैं।

यहाँ अपघटन यह है:


यह एक ऐसी स्थिति है जिसमें एक ही प्रभाव के दो अलग-अलग कारण हो सकते हैं: उदाहरण के लिए, तापमान एक ठंड या शायद विषाक्तता का परिणाम हो सकता है। क्या ठंड और जहर निर्भर हैं? नहीं! इस स्थिति में, जबकि सामान्य प्रभाव अज्ञात है, दो कारण किसी भी तरह से एक दूसरे से जुड़े नहीं हैं, और औपचारिक रूप से सत्यापित करना बहुत आसान है:


हालाँकि, यदि "सामान्य प्रभाव" z ज्ञात हो जाता है, तो स्थिति बदल जाती है। अब, एक ज्ञात परिणाम के सामान्य कारण एक दूसरे को प्रभावित करना शुरू करते हैं। इस घटना को अंग्रेजी में व्याख्या करना कहा जाता है: मान लीजिए कि आपको पता है कि आपको बुखार है। यह एक ठंड और जहर दोनों की संभावना को बहुत बढ़ाता है। हालांकि, अगर आपको अब पता चला है कि आपको जहर दिया गया है, तो ठंड की संभावना कम हो जाएगी - लक्षण संभावित कारणों में से एक को "पहले से ही समझाया गया" है, और दूसरा कम होने की संभावना है।

इस प्रकार, एक अभिसरण कनेक्शन के साथ, दो "कारण" स्वतंत्र हैं, लेकिन जब तक उनके "सामान्य प्रभाव" का अर्थ अज्ञात है; यदि सामान्य प्रभाव का संकेत दिया जाता है, तो कारण निर्भर हो जाते हैं।

लेकिन जैसा कि वासिली इवानोविच ने कहा था, एक बारीक: जब मार्ग पर एक अभिसरण संबंध होता है, तो यह केवल स्वतंत्रता को निर्धारित करने के लिए इसके "सामान्य प्रभाव" को देखने के लिए पर्याप्त नहीं है। वास्तव में, भले ही z का कोई संकेत नहीं है, लेकिन इसके वंशजों में से एक (संभवतः काफी दूर) है, दो कारण अभी भी निर्भर हो जाएंगे। सहज रूप से, यह समझना भी आसान है: उदाहरण के लिए, आइए हम स्वयं तापमान का निरीक्षण न करें, लेकिन इसके वंशज - थर्मामीटर के रीडिंग का निरीक्षण करें। शायद, दुनिया में दोषपूर्ण थर्मामीटर हैं, इसलिए यह एक निश्चित संभाव्य कनेक्शन भी है। हालांकि, थर्मामीटर रीडिंग को उसी तरह से देखने से सर्दी और जहर निर्भर हो जाता है।

यह सब एक साथ रखना

अनुक्रमिक, अभिसरण और डायवर्जिंग बॉन्ड तीन ईंट हैं जो किसी भी चक्रीय निर्देशित ग्राफ को बनाते हैं। और इस तरह के सभी ग्राफ़ों के लिए सशर्त निर्भरता और स्वतंत्रता पर परिणामों को सामान्य करने के लिए हमारा तर्क काफी पर्याप्त है। बेशक, यह सामान्य प्रमेयों को औपचारिक रूप से साबित करने का समय या स्थान नहीं है, लेकिन परिणाम पर्याप्त रूप से अनुमानित है - मान लीजिए कि आपको एक बड़े ग्राफ में जांचने की आवश्यकता है कि क्या दो कोने (या दो सेट के कोने) स्वतंत्र हैं। ऐसा करने के लिए, आप ग्राफ़ के सभी रास्तों (तीरों को छोड़कर) को इन दो सेटों को जोड़ते हुए देखते हैं। इनमें से प्रत्येक पथ उपरोक्त निर्माणों में से एक से "टूटा हुआ" हो सकता है: उदाहरण के लिए, एक सीरियल कनेक्शन टूट जाएगा यदि इसके बीच में एक चिन्ह है (चर का मूल्य ज्ञात है), और कोई संकेत नहीं होने पर एक परिवर्तित कनेक्शन टूट जाएगा (इसके विपरीत, रास्ते से बाहर, उसके वंशजों में नहीं)। यदि परिणामस्वरूप सभी रास्ते टूट गए हैं, तो चर के सेट वास्तव में स्वतंत्र हैं; यदि नहीं, नहीं।

इसलिए, आज हमने जटिल वितरण के कारक के एक सरल, सुविधाजनक और महत्वपूर्ण प्रतिनिधित्व को देखा - बायेसियन नेटवर्क। अगली बार हम एक और (लेकिन, निश्चित रूप से, समान) ग्राफिक प्रतिनिधित्व पर विचार करेंगे और आउटपुट एल्गोरिदम विकसित करना शुरू करेंगे, अर्थात। जटिल संभाव्य मॉडल में बेइज़ियन अनुमानों की समस्याओं को हल करना।