खोज इंजन नौकरी डेटाफ़्लो

लेख की निरंतरता में खोज इंजन कहाँ शुरू होता है, या क्रॉलर के बारे में कुछ विचार

पिछले लेख में, मैंने लोड तीव्रता के साथ प्रयोगों और क्रॉलर के काम के बारे में थोड़ी बात की, सामान्य तौर पर मैं सूचकांक के निर्माण से पहले डेटाफ्लो परियोजना का वर्णन करूंगा, ताकि यह स्पष्ट हो कि मैं किस बारे में लिख रहा हूं। मैं संबंधित लेख में प्रत्येक चरण का विस्तार से वर्णन करने का प्रयास करूंगा

तो, सबसे पहले डाउनलोड किए गए पृष्ठ लिंक के चयन में आते हैं। वर्तमान साइट के नए लिंक वर्तमान सत्र में लोड करने के लिए स्थानीय कतार में आते हैं, और अन्य सभी साइट क्रॉलर की साझा कतार में जोड़ी जाती हैं। इस कतार में साइटों के केवल मुख्य पृष्ठ हैं।

एक साइट के पर्याप्त संख्या में पृष्ठों को इकट्ठा करने के बाद, विश्लेषक शुरू होता है, साइट के अधिकांश पृष्ठों पर मौजूद पैटर्न हाइलाइट किए जाते हैं, और उन्हें काट दिया जाता है।
आउटपुट में हमें उन पृष्ठों के पाठ मिलते हैं, जो बिना साइटों के बहुत ही शानदार और समूहीकृत हैं।

मैंने एक साइट के सभी तैयार पृष्ठों को एक निर्देशिका में रखा है जो अनुक्रमणिका में जाता है। इंडेक्सर "डायरेक्ट" इंडेक्स का एक छोटा संस्करण बनाता है, जिसमें पिछले चरण में तैयार कई (10-1000) साइट शामिल हैं - HTML पार्सिंग, शब्दों, पैक्स से मेल खाता है, शब्द-दर-शब्द मैट्रिक्स पर विचार करता है। एक प्रत्यक्ष सूचकांक एक तालिका है जहां दस्तावेज़ आईडी द्वारा मैं दस्तावेज़ में उनके होने के बारे में शब्दों की एक सूची और सभी जानकारी प्राप्त कर सकता हूं। इसके अलावा, शब्दों का एक डेटाबेस (दस्तावेजों की इस छोटी संख्या से निर्मित) और लिंक (अभी भी सामान्य सूचकांक में नहीं जोड़ा गया है और इसलिए अभी तक आईडी नहीं है) इसके साथ जुड़ा हुआ है। लिंक पीआर रूपांतरण मॉड्यूल में जाते हैं (शब्द और उनके वजन लिंक में जानकारी में भाग लेते हैं), बाकी को चालान सूचकांक को अपडेट करना है। इंडेक्स तैयार किए गए स्लाइस की मात्रा आमतौर पर 100-300Mb प्रति घंटा है। और यह बिना पृष्ठ ग्रंथ के है।

पीआर और विभिन्न मैट्रिक्स की गणना में एक अलग मॉड्यूल शामिल है। मजेदार बात यह है कि पीआर की गणना के लिए लिंक को स्ट्रिंग के रूप में स्टोर करना अधिक सुविधाजनक है, और आईडी के बाद से नहीं सभी लिंक अंतिम इंडेक्स में नहीं आते हैं - अनावश्यक जानकारी के साथ लिंक स्टोरेज संरचना में भरने के लिए यह मूर्खतापूर्ण है। इस विशेषता के कारण, इस भाग को पर्ल या इसी तरह की भाषा में लिखना आसान है जो स्ट्रिंग्स के साथ जल्दी से काम करता है, या आपको संरचनात्मक भाषा में बड़ी संख्या में स्ट्रिंग्स को संग्रहीत करने के लिए एक सिस्टम को व्यवस्थित करना होगा।

इंडेक्सर के आउटपुट पर, हमें डायरेक्ट इंडेक्स का एक पैक्ड टुकड़ा मिलता है। लेकिन हमें रिवर्स इंडेक्स बनाने की जरूरत है ताकि हम जल्दी से खोज कर सकें। रिवर्स इंडेक्स एक तालिका है जिसमें प्रत्येक शब्द प्रासंगिकता या पीआर (जैसे Google) द्वारा छांटे गए दस्तावेजों की एक सूची से मेल खाता है जिसमें यह शब्द शामिल है। यह स्पष्ट है कि बस एक सीधा सूचकांक लेने और इसे उल्टा करने में वर्षों लगेंगे जब आधार बढ़ता है, इसलिए हर समय उलटा सूचकांक और पिछले चरण में तैयार किए गए प्रत्यक्ष सूचकांक के एक दर्जन टुकड़ों को जोड़ दिया जाता है, और फिर क्रमबद्ध किया जाता है। तकनीकी रूप से, यह एक साथ होता है - सॉर्ट किए गए सूची में सम्मिलित सॉर्ट। डेटाबेस को कैसे व्यवस्थित करना है, इस पर कई बिंदु हैं ताकि यह सामना कर सके, यह कैसे करें ताकि यह आवश्यक न हो कि हर बार एक सौ गीगा फ़ाइलों को कॉपी करें, आवश्यक टुकड़ा को मेमोरी में कैसे डालें, आदि।
शब्दों, मैट्रिक्स और अन्य सभी चीजों का एक डेटाबेस प्राथमिक रूप से तैयार किया गया है, साथ ही पिछले संस्करण को नई जानकारी के साथ जोड़ते हुए। जाने पर छोटे प्रत्यक्ष सूचकांक में शब्दों की आईडी उन लोगों द्वारा प्रतिस्थापित की जाती है जो डेटाबेस के पूर्ण संस्करण के अनुरूप हैं, और शेष जानकारी समान है।
उलटा सूचकांक का निर्माण करते समय, Url पृष्ठों वाले एक अलग डेटाबेस को भी पूरक किया जाता है - यह एक अलग बड़ी संरचना है, बहुत सारे रिकॉर्ड संग्रहीत किए जाने चाहिए और आईडी द्वारा त्वरित पहुंच होनी चाहिए, उसी साइट के भीतर लगातार पढ़ने के लिए पहुंच, लिंक के लिए जल्दी से जांच करें, डेटाबेस संरचनाओं के विवरण में मैं इसे खोलूंगा। एक सवाल।

उलटा सूचकांक के पुनर्निर्माण के चरण में, हमें पीआर, पेज मेट्रिक्स और बाकी सभी चीजों पर डेटा की आवश्यकता होती है, जो परिणामों को सॉर्ट करने में मदद करता है। वास्तव में, आपको केवल पहले दो सौ हजार परिणामों को छांटने की गारंटी होनी चाहिए - अगर यह बाकी की बात आती है, तो यह पहले से ही रैंकिंग फ़ंक्शन का काम होगा।

निर्मित रिवर्स इंडेक्स को पहले से ही खोज के लिए इस्तेमाल किया जा सकता है - हम क्वेरी से शब्दों की सूचियों का चयन करते हैं, प्रतिच्छेदन की तलाश करते हैं - हम गुणांक की गणना करते हैं, शब्दों के बीच की दूरी, अच्छी तरह से, और रैंकिंग फ़ंक्शन के आधार पर सॉर्ट करते हैं।

आकृति विज्ञान से थोड़ा अधिक - पहले, ज़ालिज़निआक के रूपात्मक शब्दकोश के आधार पर, हम सबसे बड़े आधार का चयन करते हैं, अंत से काटते हैं, 1 शब्दकोष का विकल्प देते हैं। इस पूरी प्रक्रिया को त्वरित पार्सिंग के लिए एक पेड़ में इकट्ठा किया जाता है, समाप्त पत्तियों में अंत के वेरिएंट होते हैं। हम शब्द द्वारा चलाते हैं, साथ ही साथ मिले पत्र के आधार पर पेड़ को नीचे उतारते हैं, जब तक कि हम सबसे कम संभव पत्ती तक नहीं पहुंचते हैं - वहां, अंत के आधार पर, हम सामान्यीकृत को प्रतिस्थापित करते हैं।
यदि हमें एक सामान्य रूप नहीं मिला है, तो हम स्टेमिंग का उपयोग करते हैं - lib.ru से डाउनलोड की गई पुस्तकों के ग्रंथों के आधार पर, मैंने अंत की घटना की आवृत्ति की एक तालिका बनाई है, सबसे उपयुक्त लोगों की तलाश करें (एक पेड़ के साथ भी) और इसे सामान्य रूप से बदलें। यदि शब्द 5-10 साल पहले भाषा में नहीं था, तो स्टेमिंग अच्छी तरह से काम करता है - यह "क्रॉलर" को "क्रॉलर" में आसानी से पार्स कर देगा

खोज इंजन पर मेरे लेखों की पूरी सामग्री और सूची यहां अपडेट की जाएगी: http://habrahabr.ru/blogs/search_engines/123671/