विस्तार से रैंकिंग

वेबसाइट के प्रचार के लिए खोज इंजन की सबसे महत्वपूर्ण प्रक्रिया रैंकिंग है - इन संसाधनों की प्रासंगिकता में कमी के द्वारा निर्धारित अनुक्रम में कई वेब पृष्ठों के तत्वों के निर्माण की प्रक्रिया। प्रासंगिकता रैंक निर्धारित करने के लिए, एल्गोरिदम विकसित किए जाते हैं जो यह निर्धारित करते हैं कि किस अनुरोध और शर्तों के तहत स्थिति को प्रभावित करना चाहिए।

प्रत्येक वर्ष, रैंकिंग एल्गोरिदम में सुधार किया जाता है: नए कारक जोड़े जाते हैं, सूचना प्रसंस्करण तंत्र जटिल होते हैं - और सभी समय के साथ बनाए रखने और उपयोगकर्ता के अनुरोध पर प्रतिक्रिया देने के लिए हमेशा प्रासंगिक और वास्तव में प्रासंगिक होते हैं। चूंकि मांग आपूर्ति को निर्धारित करती है, इसलिए रैंकिंग एल्गोरिदम आगंतुक द्वारा मांग की गई दिशा में साइट के विकास को उत्तेजित करते हैं।
एक रैंकिंग तंत्र की अनुपस्थिति परिणामों में अराजकता पैदा करेगी, जब आवश्यक जानकारी शीर्ष दस से बहुत पीछे होगी, और आपकी खुद की वेबसाइट होने का कोई मतलब नहीं होगा, सिवाय एक व्यवसाय कार्ड में अतिरिक्त स्पर्श के। प्रासंगिकता रैंक निर्धारित करने के लिए यही एल्गोरिदम की जटिलता पर लागू होता है: यदि निर्धारण प्रशस्ति पत्र सूचकांक और कुंजी प्रविष्टियों पर आधारित था, तो हम अभी भी डिजाइन के बिना सिंगल-पेज साइटों को देखेंगे, बिना प्रयोज्य के बारे में सोचे।
प्रासंगिकता की रैंकिंग विभिन्न रैंकिंग कारकों से प्रभावित होती है, जो आज बहुत अधिक हैं और जिन्हें समूहों में जोड़ा जा सकता है। खोज इंजन समूहन की कुछ अवधारणाओं के साथ काम करते हैं, दूसरों के साथ ऑप्टिमाइज़र। इस मामले में, रैंकिंग एल्गोरिथ्म में कारक का प्रभाव अपरिवर्तित रहता है। कुछ कारक समतुल्य हो सकते हैं, जो प्रतियोगियों की रैखिक तुलना की अनुमति नहीं देते हैं। हालांकि, मुख्य दिशाओं को परिभाषित और परिभाषित किया जा सकता है।

यह लेख मुख्य रूप से पाठ और लिंक घटक पर केंद्रित होगा।

यांडेक्स सर्च इंजन इस संबंध में अध्ययन के तहत सबसे दिलचस्प वस्तु है, न केवल इसलिए कि यह दूसरों की तुलना में एल्गोरिथ्म में मजबूत परिवर्तन होने की अधिक संभावना है, बल्कि इसलिए भी क्योंकि यह प्रणाली वाणिज्यिक या बिक्री अनुरोधों के साथ काम करने के लिए रनेट में पहली बार है।

रैंकिंग कारक अनुरोध के उन या अन्य विशेषताओं और साइट पृष्ठ हैं जो रैंकिंग के लिए महत्वपूर्ण हैं और जो किसी दिए गए अनुरोध के लिए पृष्ठ का मूल्यांकन करते हैं।
कई समूहों को प्रतिष्ठित किया जा सकता है। पहला वह स्थैतिक कारक है जो पेज से ही जुड़ा होता है, उदाहरण के लिए, इंटरनेट पर इस पेज के लिंक की संख्या। दूसरा समूह - अनुरोध और पृष्ठ के साथ-साथ गतिशील कारक - उदाहरण के लिए, क्वेरी शब्दों के पृष्ठ पर उपस्थिति, उनकी संख्या और स्थान। तीसरा समूह - क्वेरी कारक - खोज क्वेरी के संकेत, उदाहरण के लिए, भू-निर्भरता।
यदि खोज इंजन वर्गीकरण क्वेरी या पृष्ठ से संबंधित है, तो एसईओ-विशेषज्ञ विभाजन के आधार के रूप में कारकों के प्रभाव की दिशा डालते हैं। इस प्रकार, पदोन्नति विशेषज्ञ सभी कारकों को निम्नलिखित समूहों में विभाजित करता है:
- साइट के तकनीकी घटक का मूल्यांकन करने वाले कारक, जो मुख्य रूप से साइट अनुक्रमण की क्षमता और गुणवत्ता को प्रभावित करता है;
- पृष्ठ और साइट के पाठ घटक का मूल्यांकन करने वाले कारक, जो अनुरोध करने के लिए सामग्री की प्रासंगिकता को दर्शाता है;
- कारक जो लिंक घटक का मूल्यांकन करते हैं, दोनों बाहरी और आंतरिक, दोनों लंगर और विश्वास, दोनों पृष्ठ और पूरी साइट;
- व्यवहार घटक का आकलन करने वाले कारक, चाहे साइट जैसे आगंतुक, चाहे वह सुविधाजनक हो, उपयोगकर्ता की आवश्यकताओं को पूरा करता है;
- अतिरिक्त उद्देश्य के कारक, जैसे कि अनुरोध और साइट सेट करने वाले उपयोगकर्ता के क्षेत्र के लिए पत्राचार का निर्धारण, सहयोगियों की उपस्थिति का निर्धारण, और अन्य।

साइट के साथ काम करने की प्रत्येक दिशा महत्वपूर्ण है और रैंकिंग को प्रभावित करने वाले सभी कारकों को कवर करने के लिए सभी दिशाओं में साइट के साथ व्यापक रूप से काम करना आवश्यक है।
रैंकिंग तंत्र में, उपयोगकर्ता द्वारा दर्ज किए गए क्वेरी की सामग्री की प्रासंगिकता से दस्तावेज़ का मूल्यांकन सबसे महत्वपूर्ण है। रैंकिंग के लिए, क्वेरी टेक्स्ट, दस्तावेज़ का टेक्स्ट और दस्तावेज़ के HTML-मार्कअप के कुछ तत्वों का उपयोग किया जाता है। ये मूल तत्व हैं जो एक खोज इंजन सूचकांक डेटाबेस को संकलित करने और एक दस्तावेज़ की प्रासंगिकता निर्धारित करने के लिए उपयोग करता है। इसलिए, पहली चीज जिसे आपको काम करने की आवश्यकता है वह वेब पेज का पाठ घटक है।
पाठ की प्रासंगिकता, महत्व और इन सीमाओं का मूल्यांकन करने के लिए तंत्र को समझने के लिए, अनुमानित खोज मॉडल को जानना आवश्यक है, जो सूत्र और दृष्टिकोण हैं जो खोज इंजन कार्यक्रम को तय करने की अनुमति देते हैं: कौन सा दस्तावेज़ विश्वसनीय माना जाता है और इसे कैसे रैंक किया जाए। मॉडल को अपनाने के बाद, सूत्रों में गुणांक अक्सर भौतिक अर्थ प्राप्त करते हैं, जिससे उन्हें खोज की गुणवत्ता में सुधार करने के लिए अपना इष्टतम मूल्य खोजने की अनुमति मिलती है।

दस्तावेज़ की संपूर्ण सामग्री की प्रस्तुति अलग-अलग हो सकती है - सेट-सैद्धांतिक मॉडल (बुलियन, फ़ज़ी सेट, विस्तारित बुलियन), बीजीय (वेक्टर, सामान्यीकृत वेक्टर, अव्यक्त-अर्थ, तंत्रिका नेटवर्क) और संभाव्य।
पहले मॉडल का एक उदाहरण पूर्ण-पाठ खोज है, जब एक दस्तावेज़ माना जाता है यदि सभी क्वेरी शब्द पाए जाते हैं। हालांकि, मॉडल का बूलियन परिवार रैंकिंग के लिए बेहद कठिन और अनुपयुक्त है। इसलिए, नियत समय में, जॉइस और नीडम को शब्दों की आवृत्ति विशेषताओं को ध्यान में रखने के लिए कहा गया, जिसने एक वेक्टर मॉडल का उपयोग किया।
बीजगणितीय मॉडल में रैंकिंग एक प्राकृतिक सांख्यिकीय अवलोकन पर आधारित है जो किसी दस्तावेज़ में किसी शब्द की स्थानीय आवृत्ति (TF) से अधिक होती है और संग्रह में एक अवधि के अधिक "दुर्लभ" (अर्थात, दस्तावेजों में वापसी घटना) (IDF), इस दस्तावेज़ के संबंध में उच्च भार पद के लिए। पदनाम TF * IDF व्यापक रूप से वेक्टर मॉडल के पर्याय के रूप में उपयोग किया जाता है।
TF * IDF मीट्रिक का सार कम महत्वपूर्ण शब्दों (प्रस्ताव, संयोजन, आदि) से सार्थक शब्दों को फ़िल्टर करना है। टीएफ (शब्द आवृत्ति) एक दस्तावेज़ में किसी शब्द की कुल संख्या की संख्या का अनुपात है। इस प्रकार, एक दस्तावेज़ के भीतर एक शब्द के महत्व का मूल्यांकन किया जाता है:

जहां ni दस्तावेज़ में क्वेरी से शब्द की संख्या है,
nk दस्तावेज़ में सभी शब्दों की संख्या है।
आईडीएफ (उलटा दस्तावेज़ आवृत्ति) - आवृत्ति का व्युत्क्रम जिसके साथ संग्रह दस्तावेजों में एक निश्चित शब्द होता है, की गणना अलग तरीके से की जाती है:

जहां डी संग्रह में दस्तावेजों की संख्या है,
डीएफ - दस्तावेजों की संख्या जिसमें लेम्मा होता है,
सीएफ संग्रह में लेम्मा की घटनाओं की संख्या है,
TotalLemms - संग्रह में सभी lemmas की घटनाओं की कुल संख्या।
सभी विकल्पों में से, यैंडेक्स के खुले प्रयोगों के अनुसार, आईसीएफ द्वारा सबसे अच्छा परिणाम दिखाया गया था।
कंट्रास्ट TF * IDF की गणना करते समय दस्तावेज़ आवृत्ति को सामान्य करने और चौरसाई करने के लिए बड़ी संख्या में फ़ंक्शन भी हैं।

समय के साथ, उपरोक्त सूत्र बेहतर हो जाते हैं और परिवर्तन से गुजरना पड़ता है।
2006-2007 में, (2) के समान सूत्र का उपयोग किया गया था, जब "मतली" के कारण उच्च प्रासंगिकता प्राप्त करने का प्रयास किया गया था - कीवर्ड के साथ पाठ का स्पैमिंग, और इसे दंडित किया जाना चाहिए।
जब जरूरत "फुटक्लॉथ्स" से लड़ने की आई - कीवर्ड्स, फॉर्मूला (3) वाले बड़े टेक्स्ट इस्तेमाल होने लगे। फिर सूत्र और भी जटिल हो गया, नए एल्गोरिदम में, खोज इंजन विभिन्न थिसॉरस का उपयोग करते हैं जो क्वेरी का विस्तार करते हैं, पाठ की स्पैमिंग को न केवल बड़ी संख्या में कुंजियों के साथ निर्धारित करते हैं, बल्कि इसके लूप और पाठ को टैग करने की असुविधा, अनपढ़ वर्तनी या शब्दों के संयोजन से भी।
संभाव्य मॉडल में प्रासंगिकता इस बात की संभावना के मूल्यांकन पर आधारित है कि क्या प्रश्न में दस्तावेज़ उपयोगकर्ता के लिए रुचि का होगा। यह उपयोगकर्ता द्वारा चयनित प्रासंगिक दस्तावेजों के पहले से ही मौजूद प्रारंभिक सेट की उपस्थिति या कुछ सरलीकृत धारणा के तहत स्वचालित रूप से प्राप्त होता है। प्रत्येक बाद के दस्तावेज़ के लिए प्रासंगिक होने की संभावना को संग्रह के शेष "अप्रासंगिक" भाग के प्रासंगिक सेट में शर्तों की घटना के अनुपात के आधार पर गणना की जाती है।

प्रत्येक सरलतम मॉडल में, शब्द स्वतंत्रता और एक फ़िल्टरिंग स्थिति की धारणा होती है: जिन दस्तावेज़ों में क्वेरी शब्द नहीं होते हैं, वे कभी नहीं मिलते हैं। तिथि करने के लिए, रैंकिंग और प्रासंगिकता निर्धारित करने में उपयोग किए जाने वाले मॉडल क्वेरी शब्दों को स्वतंत्र नहीं मानते हैं, और, इसके अलावा, आपको उन दस्तावेज़ों को खोजने की अनुमति देते हैं जिनमें क्वेरी से एक भी शब्द नहीं है।
यह समस्या आंशिक रूप से क्वेरी प्रीप्रोसेसिंग तंत्र द्वारा हल की गई है, जो आपको अनुभवजन्य रूप से चयनित प्रासंगिक प्रतिबंधों को सेट करने की अनुमति देती है: क्वेरी से शब्दों की खोज करने के लिए क्या दूरी पर, क्या सभी शब्द दस्तावेज़ में मौजूद होने चाहिए, किन शब्दों के साथ आप खोज का विस्तार कर सकते हैं। साथ ही, दस्तावेज़ की डिफ़ॉल्ट सामग्री का वास्तविक विलय और एक खोज क्षेत्र में इसकी एंकर फ़ाइल होती है।
कोरम फ़िल्टरिंग तंत्र आपको दस्तावेज़ में प्रासंगिक मार्ग निर्धारित करने की अनुमति देता है। प्रासंगिक सभी पूर्ण मार्ग हैं और वे अधूरे हैं, शब्द का योग जो आवश्यक कोरम से अधिक है।

2004 में, निम्नलिखित कोरम फॉर्मूला का उपयोग किया गया था:

QuorumWeight कोरम मान है;
कोमलता - कोमलता, 0 से 1 के मूल्य से मेल खाती है, 0.06 के गुणांक को यैंडेक्स के दस्तावेज रिकॉर्ड में दर्शाया गया है;
QL शब्दों में अनुरोध की लंबाई है।

इस प्रकार, ज्ञात तथ्यों के आधार पर, वाक्यांश के लिए कोरम के निम्नलिखित रूप होंगे, इस सूत्र की सहायता से यह निर्धारित किया जाता है कि शब्दों का कौन सा संयोजन आवश्यक है, और कौन सा शब्द उपेक्षित हो सकता है:

जहां QL * एक अपूर्ण मार्ग में अनुरोध से शब्दों की संख्या है;
डिग्री - मूल्य 0.38 डिग्री, प्रयोगात्मक रूप से घटाया गया

दस्तावेज़ की रैंकिंग अनुरोध पर प्रासंगिक समानता की गणना गुणांक पर आधारित है। वास्तव में, दस्तावेज़ के विभिन्न मार्गों के वजन के बारे में सभी जानकारी संयुक्त है, और दस्तावेज़ के प्रासंगिकता संकेतक पर एक निष्कर्ष निकाला गया है। यैंडेक्स के लेखों में, एक एडिटिव मॉडल का एक उदाहरण दिया गया है, जो प्रत्येक शब्द के वजन, शब्दों के जोड़े, सभी शब्दों, पूरे क्वेरी, एक वाक्य में कई शब्द और एक विशेषज्ञ द्वारा चिह्नित किए गए दस्तावेज़ों के समान बोनस है, अर्थात्। अच्छे हैं। इससे पता चलता है कि पृष्ठ पर सब कुछ की सराहना की जाएगी, और यह साबित करता है कि पाठ के लेखन को बहुत जिम्मेदारी से संपर्क किया जाना चाहिए।

अगला, संदर्भ घटक पर विचार करें।

खोज सिद्धांत के अनुसार, सूचना पुनर्प्राप्ति प्रणाली के उपयोगकर्ता सूचना कुंजी के माध्यम से एक दस्तावेज़ का मूल्य निर्धारित करते हैं - लंगर लिंक। और लिंक की उपस्थिति स्वयं पृष्ठ पर आगंतुक के हिट को बढ़ाती है। इसलिए, खोज इंजन क्लस्टर के बीच एक दस्तावेज़ को उजागर करने के लिए उद्धरण के सिद्धांत का उपयोग करते हैं।
प्रशस्ति पत्र सूचकांक - किसी दिए गए पृष्ठ के महत्व को इंगित करने वाला एक संकेतक और इस एक के लिंकिंग पृष्ठों के आधार पर गणना की जाती है। यह सिद्धांत वैज्ञानिक समुदाय से उधार लिया गया है, जिसका उपयोग वैज्ञानिकों और वैज्ञानिक संगठनों के मूल्यांकन के लिए किया गया था।
उद्धरण सूचकांक के सरलतम संस्करण में, संसाधन के लिंक की संख्या को ही ध्यान में रखा जाता है। लेकिन इसकी कई सीमाएँ हैं। यह कारक प्रत्येक विषय में लिंक की संरचना को प्रतिबिंबित नहीं करता है, साथ ही साथ महत्वपूर्ण रूप से महत्वपूर्ण लिंक और महान महत्व वाले लिंक में एक ही नामांकन सूचकांक हो सकता है। इसलिए, लोकप्रियता कारक (अंग्रेजी लोकप्रियता फैक्टर) या एक भारित उद्धरण सूचकांक या लिंक वजन शब्द पेश किया गया था, अलग-अलग खोज इंजनों में इस कारक को अलग तरह से कहा जाता है: Google पर PageRank, Yandex पर VIC। दिए गए कुंजियों के लिए लिंक स्वयं वजन के स्थैतिक हस्तांतरण में भाग लेते हैं, संसाधन की लोकप्रियता और लंगर दिखाते हैं। एक विषयगत उद्धरण सूचकांक (TIC) भी है, जो संसाधन को जोड़ने वाली साइटों के विषयों को भी ध्यान में रखता है।
प्रारंभ में, इससे पहले कि साइट लिंक घटक के साथ काम करना शुरू कर दे, प्रशस्ति पत्र सूचकांक वास्तव में इंटरनेट पर संबंधित संसाधन की लोकप्रियता को दर्शाता है। एक लेख में, यैंडेक्स के तकनीकी निदेशक इलिया सेगालोविच ने उल्लेख किया कि लिंक खोज और स्टेटिक लिंक लोकप्रियता की शुरूआत ने खोज इंजनों को आदिम पाठ स्पैम से निपटने में मदद की, जिसने नियंत्रित संग्रह के लिए अतीत में प्राप्त पारंपरिक सांख्यिकीय सूचना पुनर्प्राप्ति एल्गोरिदम को पूरी तरह से नष्ट कर दिया।
1998 में, Google द्वारा प्रयुक्त पेजरैंक एल्गोरिथम के सिद्धांतों का वर्णन करते हुए एक लेख दिखाई दिया। भारित उद्धरण सूचकांक, अन्य संदर्भ रैंकिंग कारकों की तरह, संदर्भ ग्राफ से गणना की जाती है।


PR - पेज का पेज प्रश्न में,
डी - क्षीणन गुणांक (इसका अर्थ है कि पेज पर जाने वाले उपयोगकर्ता इस पृष्ठ पर मौजूद लिंक में से एक का पालन करेंगे, लेकिन नेटवर्क सर्फ करना बंद नहीं करेंगे),
PRi - पेज के लिंक वाले i-th पेज का पेजरैंक,
सि - आई-वें पृष्ठ पर लिंक की कुल संख्या।

मुख्य विचार यह है कि पृष्ठ सभी आउटगोइंग लिंक को वितरित करके अपना वजन स्थानांतरित करता है, इसलिए दाता पृष्ठ पर जितने अधिक लिंक होंगे, प्रत्येक को उतना कम वजन मिलेगा। एक अन्य समान रूप से महत्वपूर्ण विचार उद्धरण के सिद्धांत को समझना है - यह एक लिंक पर क्लिक करने वाले एक आगंतुक की संभावना का आकलन है, और इसलिए उस साइट के पेज की लोकप्रियता की संभावना जहां लिंक रखा जाता है। तदनुसार, उच्च गुणवत्ता वाले लिंक, संसाधन की लोकप्रियता की संभावना जितनी अधिक होगी।
आज, लिंक अक्सर खोज की गुणवत्ता के लिए हानिकारक होते हैं, इसलिए खोज इंजन ने लिंक रैपिंग के खिलाफ लड़ाई शुरू कर दी है - व्यावसायिक आधार पर तीसरे पक्ष की साइटों पर एसईओ लिंक रखकर और रैंकिंग एल्गोरिदम में हेरफेर करने के लिए डिज़ाइन किया गया है। वे सभी उपाय करते हैं ताकि लिंक बेचने वाली साइटें इस तरह से रैंकिंग को प्रभावित करने की क्षमता खो दें, और साइटों से लिंक खरीदने से खरीदार साइट की रैंक में वृद्धि न हो सके।
लिंक घटक का मूल्यांकन करने के लिए आधुनिक खोज इंजनों में उपयोग किए गए एल्गोरिदम में महान परिवर्तन हुए हैं, लेकिन कॉपियों के समूह के बीच एक पृष्ठ का चयन करते समय लिंक की गुणवत्ता और मात्रा ने उनके प्रत्यक्ष प्रभाव को बनाए रखा है। दाता पृष्ठ जितना अधिक आधिकारिक और उनके समान होता है, उतना ही अधिक वजन साइट पर स्थानांतरित किया जाएगा, उच्चतर खोज में इसकी स्थिति होगी।

लेख लेखक: नीलोवा एन.वी. (पीएचडी, सॉफ्टवेयर विभाग के प्रमुख)।