एक खोज इंजन के लिए दुनिया मॉडलिंग। यैंडेक्स में व्याख्यान

आज हम मॉडलिंग की वास्तविकता के बारे में सोचने, जानकारी प्राप्त करने और डेटा का विश्लेषण करने के बारे में बात करेंगे। एक साथ हम खोज इंजन में आज उपयोग किए जाने वाले मॉडल को सुदृढ़ और बेहतर बनाएंगे: खोज गुणवत्ता मीट्रिक में, रैंकिंग कारक बनाते समय और यहां तक ​​कि नई इंटरनेट सेवाओं का निर्माण करते समय भी। यह वही है जो फेडर रोमनेंको के व्याख्यान को समर्पित है।



हालांकि, हमारे व्याख्यान के मुख्य विषय पर आगे बढ़ने से पहले, यह मॉडलिंग से संबंधित कुछ दार्शनिक मुद्दों पर विचार करने के लायक है।

एक आदमी मॉडल में सोचता है, और उनकी मदद से वह अपने आस-पास की दुनिया को मानता और समझता है। इस विचार के दृष्टांत के रूप में, हम एक ऐसी दुनिया का एक सरल मॉडल देते हैं जिसमें केवल बुरे और अच्छे लोग होते हैं। बुरा हमेशा झूठ बोलता है, और अच्छा सच कहता है। अगर कोई व्यक्ति एक बार हमसे झूठ बोलता है, तो हम उसे बुरा आदमी समझेंगे, और हम उस पर भरोसा नहीं करेंगे। लेकिन अगर यह बुरा आदमी अचानक सच कहना शुरू कर देता है, तो हम संज्ञानात्मक असंगति का अनुभव कर सकते हैं: हमारे पास मौजूद मनाया मॉडल के बीच एक बेमेल है। इस पर प्रतिक्रिया देने के कई तरीके हैं। कुछ, उदाहरण के लिए, उन्होंने जो देखा, उसे अस्वीकार कर सकते हैं और अपने मॉडल के ढांचे के भीतर बने रह सकते हैं। हालाँकि, यह दृष्टिकोण वैज्ञानिक से बहुत दूर है। स्वीकृत मॉडल को छोड़ना या इसे विस्तारित करने का प्रयास करना अधिक सही होगा।

वैज्ञानिक विधि

ज्ञान प्राप्त करने के लिए सबसे सफल दृष्टिकोण इस प्रकार है: हमारे पास कुछ अनुभव (अनुभवजन्य ज्ञान) है, जिसके आधार पर हम कुछ सिद्धांत और मॉडल बनाते हैं। हम जिन परिकल्पनाओं के साथ आ सकते हैं, वे शुरू में बराबर हैं। वे हमारे अनुभव या उसके हिस्से की व्याख्या कर सकते हैं, साथ ही नए अनुभवों की भविष्यवाणी भी कर सकते हैं। मॉडल को सटीक होना जरूरी नहीं है, यह लगभग अनुमानित हो सकता है, मुख्य बात यह है कि यह हमें कुछ समझने, समझाने या भविष्यवाणी करने में मदद करता है। सामान्य तौर पर, मॉडल की शुद्धता या गलतता के बारे में बात करना पूरी तरह से सच नहीं है, मॉडल को इसकी उपयोगिता के दृष्टिकोण से माना जाना चाहिए। उदाहरण के लिए, सापेक्षता के सिद्धांत के आविष्कार के बाद, यह स्पष्ट हो गया कि न्यूटोनियन यांत्रिकी पूरी तरह से सच नहीं हैं। लेकिन एक ही समय में, वह जिस मॉडल का प्रतिनिधित्व करती है वह बहुत उपयोगी है, यह कई चीजों को समझाने और भविष्यवाणी करने में मदद करता है।

ओक्टम के रेजर के रूप में जाना जाने वाला सिद्धांत वैज्ञानिकों के लिए बहुत उपयोगी है। इसका तात्पर्य यह है कि आपको संस्थाओं को अनावश्यक रूप से मॉडल में पेश करने की आवश्यकता नहीं है। यदि आप एक ही उपयोगिता के साथ एक सरल मॉडल बना सकते हैं, तो इसका उपयोग करना बेहतर है।

खोज विकास और डेटा विश्लेषण भी उच्च-स्तरीय पैटर्न को प्रकट करने के क्षेत्र से एक प्रकार का वैज्ञानिक कार्य है। हमारे पास बड़ी मात्रा में डेटा, उपयोगकर्ता क्रियाएं लॉग हैं, जिसके आधार पर आप मॉडल बना सकते हैं, कार्यों की भविष्यवाणी कर सकते हैं, और इसके आधार पर, अच्छी सेवाएं बना सकते हैं। इसके अलावा, उदाहरण के लिए, भौतिकी में मॉडलिंग के लिए बहुत अधिक स्थान है, जहां नए मॉडल बहुत कम दिखाई देते हैं। नए मॉडल की तलाश में, आप कम से कम हर दिन आ सकते हैं, और उनमें से प्रत्येक किसी न किसी तरह से उपयोगी होगा।

पेज वरीयता

उदाहरण के लिए, पेजरैंक मॉडल के बारे में बात करते हैं, जिसे वेब पेज और वेब लिंक के ग्राफ पर माना जाता है। इंटरनेट को एक ग्राफ के रूप में दर्शाया जा सकता है, जहां सबसे ऊपर पृष्ठ हैं, और किनारे लिंक हैं। पृष्ठ महत्वपूर्ण और उपयोगी हो सकते हैं, या स्वचालित पीढ़ी का परिणाम हो सकते हैं, अधिकांश उपयोगकर्ताओं के लिए किसी भी शब्दार्थ लोड और मान पर न ले जाएं। हमारा कार्य पेज के कुछ प्राधिकरण की गणना करना है, इस संभावना को निर्धारित करने के लिए कि इससे निपटने के लिए हमारे लिए यह आम तौर पर दिलचस्प होगा। इस सूचक के आधार पर, हम खोज परिणामों के लिए पृष्ठों का चयन कर सकते हैं और उन्हें रैंक कर सकते हैं।

Google द्वारा आविष्कार किया गया एक बहुत ही सरल क्लासिक पेजरैंक एल्गोरिथ्म है। एक प्रेरणा के रूप में, वैज्ञानिक पत्रों के एक ग्राफ का उपयोग किया गया था, क्योंकि प्रत्येक वैज्ञानिक कार्य में प्रयुक्त साहित्य और संबंधित प्रकाशनों के संदर्भ हैं। इसके अलावा, जितना अधिक वे किसी विशेष कार्य का उल्लेख करते हैं, उतना ही आधिकारिक रूप से इसे वैज्ञानिक दुनिया में माना जाता है। तदनुसार, मॉडल को काफी सरल रूप से व्यवस्थित किया गया है, यह तथाकथित यादृच्छिक वॉकर मॉडल है। इसमें अलग-अलग लोकप्रियता वाले वेब पेज हैं, जिनके बीच में लिंक के रूप में लिंक हैं। उपयोगकर्ता इन पृष्ठों के माध्यम से जाता है और कुछ संभावित लिंक पर कुछ आउटगोइंग लिंक पर क्लिक करता है। मान लीजिए कि हमारे पास ऐसे कई उपयोगकर्ता हैं, तो वे एक यादृच्छिक पृष्ठ से शुरू होते हैं। और हमें इस संभावना की गणना करने की आवश्यकता है कि उपयोगकर्ता एक निश्चित पृष्ठ पर होगा। इसे इस प्रकार माना जाता है। मान लीजिए कि हमारे पास N पृष्ठ हैं, तो प्रारंभिक क्षण में उपयोगकर्ता की संभावना 1 / N यादृच्छिक पृष्ठ पर हो जाती है। संभावना है कि वह पढ़ने से थक गया है, हम क्रमशः 15 प्रतिशत के लिए लेते हैं, 85 प्रतिशत संभावना के साथ, उपयोगकर्ता सर्फ करना जारी रखता है और एक यादृच्छिक आउटबाउंड लिंक का पालन करने की समान रूप से संभावना है। इस घटना में कि उपयोगकर्ता ऊब गया है, वह एक यादृच्छिक पृष्ठ से शुरू होता है। ग्राफ पर एक फ़ंक्शन को पुनरावृत्त माना जाता है। कुछ पुनरावृत्ति पर, कुछ नोड से पुनरावृत्ति टी के लिए पीआर का मान। हम इस पेजरैंक को लेते हैं और समान रूप से इसे आउटगोइंग लिंक पर वितरित करते हैं, पेजरैंक डेल्टा - डीपीआर नामक मान लिंक-किनारे पर दिखाई देता है। यह तर्क दिया जाता है कि यदि पर्याप्त पुनरावृत्तियों का प्रदर्शन किया जाता है, तो नोड्स पर भार व्यावहारिक रूप से बदलने के लिए बंद हो जाएगा।

दिलचस्प है, एक वास्तविक वेब ग्राफ पर, इस तरह के एक सरल मॉडल से काफी दिलचस्प गुणों का पता चलता है। उदाहरण के लिए, एक ऐसे पृष्ठ के लिए जिसमें बहुत सारे लिंक हैं, पीआर अधिक होगा, क्योंकि इसमें आउटबाउंड लिंक डेल्टास होते हैं। और जिस पृष्ठ को वह संदर्भित करता है, उसमें काफी उच्च पीआर भी होगा।

यह मॉडल पृष्ठ ट्रैफ़िक की भविष्यवाणी कर सकता है, हालांकि इसमें इस तथ्य से जुड़ी समस्याएं भी हैं कि जब यह सोचा गया था, उस समय इंटरनेट अलग था। बहुत सारे पृष्ठ नहीं थे, और सभी लिंक मैन्युअल रूप से नीचे रखे गए थे। अब यैंडेक्स डेटाबेस में रनेट पर केवल 20 बिलियन पेज हैं, और उनमें से बहुत उपयोगी नहीं हैं। और इसके शास्त्रीय रूप में एल्गोरिथ्म की मुख्य समस्या यह है कि आप एक स्पैम साइट बना सकते हैं और उस पर पृष्ठों को उत्पन्न कर सकते हैं, जिसका एकमात्र उद्देश्य एक विशिष्ट पृष्ठ से लिंक करना है जिसे आपको पीआर बढ़ाने की आवश्यकता है। इसके अलावा, क्लासिक पीआर पुराने पृष्ठों का पक्षधर है।

व्याख्यान को अंत तक देखने के बाद, आप सीखेंगे कि क्लासिक पेजरैंक की समस्याओं से कैसे निपटा जाए, खोज की गुणवत्ता को कैसे मापें और सुधारें, पफाउंड और वाइडपाउंड मॉडल क्या हैं, और यह भी कि खोज में मशीन लर्निंग की आवश्यकता क्यों है।