BM25 एल्गोरिथ्म

यह एल्गोरिथ्म पहली बार विकिपीडिया पर सामने आया था और इस पर ज्यादा ध्यान नहीं दिया था। बाद में, यैंडेक्स कर्मचारियों के वैज्ञानिक कार्यों का अध्ययन करते हुए, मैंने इस तथ्य पर ध्यान आकर्षित किया कि वे इसका उल्लेख करते हैं, उदाहरण के लिए, फजी डुप्लिकेट का निर्धारण करने के लिए एल्गोरिदम पर सेगालोविच के लेख में, इसलिए मैंने यह पता लगाने का फैसला किया कि इसका उपयोग करने का क्या मतलब था। मैं इसे सरल उदाहरणों के साथ समझाने की कोशिश करूंगा। तो इस एल्गोरिथ्म के लिए क्या है?

पहला वाला। एक से अधिक शब्दों के साथ प्रश्नों में शब्दों के घटित होने या न होने की प्रासंगिकता का परिचय दिया जाता है।
मान लीजिए कि कई प्रश्न हैं, उदाहरण के लिए कई शब्द हैं, (विशुद्ध रूप से उदाहरण के लिए):

• एक स्मार्टफोन खरीदें सैमसंग
• सैमसंग गैलेक्सी स्मार्टफोन खरीदें

दो दस्तावेजों की तुलना करें (फिर से चित्रण) और पहले दस्तावेज़ में गैलेक्सी शब्द नहीं है। गणना के अनुसार, प्रासंगिकता स्कोर प्रत्येक शब्दों की प्रासंगिकता का योग है।



प्रत्येक शब्द की प्रासंगिकता उसके IDF * के बराबर होती है जो उपरोक्त अभिव्यक्ति के दूसरे कारक द्वारा होती है। संपूर्ण खोज क्वेरी की प्रासंगिकता सभी शब्दों की प्रासंगिकता के योग के बराबर है। तो एक शब्द की कमी या दूसरे शब्दों में (इसकी आवृत्ति) 0 है। इसकी प्रासंगिकता 0. है। इसलिए, यदि पहले दो शब्दों का स्कोर समान है, तो गैलेक्सी शब्द वाले दस्तावेज़ अधिक प्रासंगिक होंगे।

दूसरा वाला। 2 से अधिक शब्दों के साथ प्रश्नों में खोज करने पर एक फायदा, जिनमें से एक कम सामान्य (अधिक विशिष्ट) है, उन दस्तावेजों को दिया जाएगा जिनमें यह अत्यधिक विशिष्ट शब्द है। उदाहरण के लिए, सैमसंग गैलेक्सी नोट 2 (विशुद्ध रूप से भ्रामक उदाहरण) खरीदने का अनुरोध है। नोट 2 एक दुर्लभ शब्द है (सैमसंग और गैलेक्सी की तुलना में संग्रह में कम पाया जाता है)। मान लें कि प्रत्येक दस्तावेज़ में से प्रत्येक 2 अनुरोधों के लिए प्रासंगिक है और उनमें से प्रत्येक में सैमसंग और गैलेक्सी के अलावा नोट 2 शामिल हैं। इसके अलावा, नोट 2 का उपयोग केवल पहले दस्तावेज़ में एक बार किया जाता है, जबकि दूसरे दस्तावेज़ में 3 बार (यह समझा जाता है कि दस्तावेज़ अधिक है नोट 2 के बारे में जानकारी)। लेकिन पहले, एल्गोरिथ्म की प्रासंगिकता की गणना के परिणाम पर विचार करें यदि दस्तावेजों में सभी निर्दिष्ट शब्दों की आवृत्तियां समान हैं। यहां हम एक्सेल में बीएम 25 से प्राप्त करते हैं।



कृपया ध्यान दें कि इस तथ्य के कारण कि नोट 2 शब्द से युक्त दस्तावेजों की संख्या आकाशगंगा (500) शब्द से 50 गुना कम है, हमें 3.279634 का एक आईडीएफ मिलता है जो शब्द आकाशगंगा के लिए आईडीएफ से काफी अधिक है।

अब तक, हमारे पास नोट 2 के लिए समान आवृत्ति मान थे (अन्य शब्दों के लिए भी)। अब एक्सेल में, चलो doc2 के लिए शब्द नोट 2 की आवृत्ति बढ़ाते हैं, 0.02 के बजाय हम 0.05 (शब्द की 5 घटनाएँ) बनाएंगे।



कृपया ध्यान दें कि आईडीएफ मान नहीं बदलता है, लेकिन सूत्र मूल्य (बहुत ऊपर की छवि में दूसरा कारक) अब 0.061856 के बराबर है और यह मान है जो स्कोर की गणना में शामिल है, जो अब doc2 के लिए 0.290559 है

अब सबसे महत्वपूर्ण बात। गोदी 1 में आकाशगंगा शब्द की घटना की आवृत्ति बढ़ाकर 5 करें



जैसा कि हम doc1 और doc2 में प्रत्येक शब्द की कुल आवृत्ति को देखते हैं। लेकिन स्कोर (प्रासंगिकता) doc2 के लिए अधिक है, क्योंकि नोट 2 शब्द क्रमशः अधिक दुर्लभ रूप से पाया जाता है, इसका परिणामी प्रभाव आकाशगंगा शब्द से अधिक है।

व्यवहार में, पॉलीसैलेबिक प्रश्नों में शब्दों की उपस्थिति बहुत महत्वपूर्ण है। बेशक, आधुनिक खोज इंजनों की प्रासंगिकता न केवल आवृत्तियों के आधार पर निर्धारित की जाती है, जैसा कि बीएम 25 सूत्र के उदाहरण द्वारा दिखाया गया था, लेकिन फिर भी, कुछ सहसंबंध बनाए जा सकते हैं। यह मुख्य रूप से इस तथ्य के कारण है कि यदि किसी दस्तावेज़ में खोज क्वेरी से एक शब्द नहीं है, तो इस तरह के दस्तावेज़ के लिए इस शब्द के मुकाबले अनुरोध द्वारा शीर्ष पर जाना अधिक कठिन है। आइए Yandex सर्च इंजन पर एक उदाहरण देखें।

हम सैमसंग गैलेक्सी में अनुरोध दर्ज करते हैं । मेरा मुद्दा सैमसंग गैलेक्सी का संबंध संपूर्ण (2 साइटों, हमेशा की तरह विकिपीडिया) से है, बाकी मॉडल, चित्र आदि हैं।

क्वेरी सैमसंग गैलेक्सी नोट 2 दर्ज करें । मुद्दा पूरी तरह से बदल रहा है, अब ऐसे पृष्ठ हैं जिनमें न केवल सैमसंग गैलेक्सी के बारे में जानकारी है, बल्कि सैमसंग गैलेक्सी नोट 2 के बारे में भी है।

हम अनुरोध दर्ज करते हैं सैमसंग गैलेक्सी नोट 2 की कीमत फिर से, जारी करने वाले अब उन पृष्ठों के जारी करने में बदल रहे हैं जिनमें पहले से ही शब्द मूल्य शामिल है, और न केवल सैमसंग गैलेक्सी।

हम अनुरोध सैमसंग गैलेक्सी नोट 2 मूल्य खार्कोव में दर्ज करते हैं । समस्या नाटकीय रूप से बदल जाती है, TOP10 के सभी पृष्ठों में शब्द खारकोव है।

क्या यह कहना संभव है कि खार्कोव शब्द अधिक विशिष्ट है, जैसा कि ऊपर बीएम 25 एल्गोरिथ्म में दिया गया था? केवल खोज इंजन आईडीएफ शब्द खार्कोव को जानता है, लेकिन खोज क्वेरी सैमसंग गैलेक्सी नोट 2 के संदर्भ में, इसमें कोई संदेह नहीं है कि यह खोज का दायरा बताता है। शायद यैंडेक्स के साथ उदाहरण थोड़ा असफल है, इस तथ्य के कारण कि उपरोक्त मामले में, अनुरोध की क्षेत्रीयता के लिए लेखांकन एक बड़ी भूमिका निभाएगा, लेकिन मुझे लगता है कि कोई भी एसईओ मेरे साथ सहमत होगा कि खोज क्वेरी से शब्द पाठ में होना चाहिए, मैंने सिर्फ दिखाने की कोशिश की BM25 एल्गोरिथ्म का काम और इसके 2 महत्वपूर्ण पहलुओं को प्रकट करना।

Xls दस्तावेज़ के लिंक - पुस्तक 11.xls