वेब सर्च इंजन के बारे में सामान्य शब्द

चूंकि खोज इंजन की सामान्य कार्यक्षमता के बारे में इतने सारे सवाल उठते हैं, यहां एक छोटा परिचयात्मक लेख है। यह थोड़ा स्पष्ट करने के लिए कि एक खोज इंजन क्या है और इसे क्या करना चाहिए, मैं इसका सामान्य शब्दों में वर्णन करूंगा। शायद विशेषज्ञों के लिए प्रोग्रामर बहुत दिलचस्प नहीं होंगे, मुझे दोष न दें

लेकिन, इस बिंदु पर: मेरी विनम्र राय में खोज इंजन को खोज क्वेरी के लिए सबसे अधिक प्रासंगिक परिणाम खोजने में सक्षम होना चाहिए। पाठ खोज के मामले में, जिस पर हम सभी आदी हैं, खोज क्वेरी शब्दों का एक समूह है, मैंने व्यक्तिगत रूप से इसकी लंबाई आठ शब्दों तक सीमित कर दी है। उत्तर उन पृष्ठों के लिंक का एक सेट है जो खोज क्वेरी के लिए सबसे अधिक प्रासंगिक हैं। यह एनोटेशन के साथ लिंक प्रदान करने के लिए सलाह दी जाती है ताकि एक व्यक्ति जानता है कि क्या उम्मीद है और परिणामों से वांछित एक का चयन कर सकता है - एनोटेशन को स्निपेट कहा जाता है।

मुझे कहना होगा कि सामान्य रूप से खोज समस्या हल नहीं हुई है - किसी भी दस्तावेज़ के लिए, जिसमें सबसे बड़ी प्रासंगिकता है, उदाहरण के लिए, "काम" शब्द से, आप एक संशोधित प्रतिलिपि बना सकते हैं जो खोज इंजन, प्रासंगिकता के दृष्टिकोण से और भी बेहतर होगा, लेकिन यह पूरी तरह से बकवास होगा। व्यक्ति। कीमत और समय की बात, बिल्कुल। आज इंटरनेट की विशालता के कारण, इस तरह के बहुत सारे पृष्ठ हैं, इसे हल्के से डालने के लिए। विभिन्न प्रणालियाँ उनके साथ विभिन्न तरीकों से संघर्ष करती हैं और अलग-अलग सफलता के साथ, किसी दिन कृत्रिम बुद्धिमत्ता हम सभी को हरा देगी ...


यहां, अर्थ पहचान एल्गोरिदम मदद करेगा, लेकिन मैं उनमें से केवल एक से परिचित हूं (जो वास्तव में अर्थ को पहचानता है, और आंकड़ों पर विचार नहीं करता है) और इसकी प्रयोज्यता के बारे में बहुत कम जानकारी है। इसलिए, कार्यों को अनुभव से हल किया जाता है - अर्थात। पन्नों के साथ कुछ जोड़तोड़ का चयन "दाना से अनाज" को अलग करने के लिए।

वास्तविक दुनिया में, एक सेकंड में पूरे इंटरनेट को ब्राउज़ करना और सर्वोत्तम परिणाम प्राप्त करना अभी तक संभव नहीं है, इसलिए खोज इंजन नेटवर्क के टुकड़े की एक स्थानीय प्रतिलिपि संग्रहीत करता है जिसे वह इकट्ठा करने और संसाधित करने में कामयाब रहा। केवल एक अरब पृष्ठों से बाहर निकलने के लिए केवल वे ही जिनमें आवश्यक शब्द हैं, एक "इंडेक्स" बनाया गया है - एक डेटाबेस जिसमें प्रत्येक शब्द उन पृष्ठों की सूची से मेल खाता है जिनमें यह शब्द है। स्वाभाविक रूप से, इसमें यह संग्रहीत करना आवश्यक है कि खोजे गए शब्दों को किन स्थानों पर संग्रहीत किया गया था, उन्हें पाठ में कैसे हाइलाइट किया गया था, अन्य संख्यात्मक पृष्ठ मीट्रिक उन्हें क्रमबद्ध करने की प्रक्रिया में उपयोग करने के लिए।

कहो कि मेरे पास 100 मिलियन पेज हैं। औसत शब्द 1-1.5% पृष्ठों पर होता है, अर्थात प्रति शब्द 1 मिलियन पृष्ठ (ऐसे शब्द हैं जो हर दूसरे पृष्ठ पर दिखाई देते हैं, लेकिन अधिक दुर्लभ हैं)। बस 3 मिलियन शब्द मिले - बाकी बहुत कम हैं और यह मुख्य रूप से टाइपो और संख्या है। 1 रिकॉर्ड को संग्रहीत करने के लिए जो किसी विशेष पृष्ठ पर एक विशेष शब्द होता है, पेज आईडी 4 बाइट्स है, साइट आईडी 4 बाइट्स है, यह कहां और कैसे आवंटित किया गया था के बारे में जानकारी पैक किया गया है 16-32 बाइट्स, 3 लिंक रैंकिंग गुणांक 12 बाइट्स हैं, बाकी मैट्रिक्स अभी भी लगभग 12-24 बाइट्स हैं। सूचकांक कितना होगा - मैं इसे एक अनुमान के लिए आपके पास छोड़ देता हूं:
3mln * 1mln * कुल रिकॉर्डिंग मात्रा।

इस सूचकांक को बनाने के लिए 3 तंत्र हैं:

अनुक्रमणिका पृष्ठ - वेब से पृष्ठ प्राप्त करना और उनका प्रारंभिक प्रसंस्करण
प्राथमिक सूचना के आधार पर पेजरैंक जैसे लिंक लिंक मेट्रिक्स
मौजूदा इंडेक्स को अपडेट करना - विशेष रूप से पेजरैंक में, नई सूचनाओं को पेश करना और प्राप्त मेट्रिक्स द्वारा इसे सॉर्ट करना।

इसके अतिरिक्त, आपको खोज प्रक्रिया में एनोटेशन बनाने के लिए पेज टेक्स्ट को सहेजने की आवश्यकता है

खोज प्रक्रिया

कई प्रासंगिक मेट्रिक्स को प्रतिष्ठित किया जा सकता है, कुछ एक विशेष उपयोगकर्ता के लिए परिणाम की "उपयोगिता" के आधार पर, कुल संख्या पर दूसरों को मिला, दूसरों को स्वयं पृष्ठों के संकेतकों पर - उदाहरण के लिए, कुछ खोज इंजनों का एक निश्चित "मानक" होता है, जिसके लिए वे प्रयास कर रहे हैं।

मशीन के लिए, सर्वर, कुछ मीट्रिक द्वारा पाए गए परिणामों को क्रमबद्ध कर सकता है, प्रत्येक पृष्ठ को मैप करने के लिए संख्याओं का एक सेट उपयोग किया जाता है। उदाहरण के लिए, इस पृष्ठ के पाठ में पाए जाने वाले शब्दों की कुल संख्या, उनका वजन, पृष्ठ के पाठ में इन शब्दों के आवंटन के आधार पर गणना की जाती है, आदि। इस तरह के अन्य गुणांक हमेशा अनुरोध पर निर्भर नहीं होते हैं - उदाहरण के लिए, इस एक से जुड़ने वाले पृष्ठों की संख्या। यह जितना अधिक होता है, आउटपुट में पेज उतना ही अधिक वजनदार होता है। तीसरे प्रकार के गुणांक स्वयं क्वेरी पर निर्भर करते हैं - इसमें शायद ही कभी इस्तेमाल किए गए शब्द पाए जाते हैं, उनमें से कौन सा सामान्य है, और आप उन्हें छोड़ सकते हैं।
प्रत्येक पृष्ठ के लिए इन गुणांक की बड़ी संख्या के आधार पर, खोज को एक संख्या - प्रासंगिकता का उत्पादन करना चाहिए और इसके द्वारा सभी परिणामों को क्रमबद्ध करना चाहिए।

जब इंडेक्स पहले से बना हो, तो आप इसके लिए खोज कर सकते हैं:

चुने हुए पॉलिसी के आधार पर, क्वेरी को शब्दों में तोड़ें, प्रत्येक शब्द के अनुक्रमणिका के टुकड़ों को चुनें, क्रॉस करें या कुछ और करें
प्रत्येक पृष्ठ के लिए गुणांक की गणना करें - यदि वांछित हो, तो उनकी संख्या एक हजार से अधिक हो सकती है
कारकों के आधार पर प्रासंगिकता मीट्रिक बनाएं, सॉर्ट करें, सर्वोत्तम परिणामों का चयन करें
एनोटेशन बनाएं - स्निपेट्स और परिणाम प्रदर्शित करें

खोज इंजन पर मेरे लेखों की पूरी सामग्री और सूची यहां अपडेट की जाएगी: http://habrahabr.ru/blogs/search_engines/123671/