खोज तकनीक या अपने खोज इंजन को लिखने के लिए क्या पकड़ है

एक बार मेरे दिमाग में एक विचार आया: अपना खुद का सर्च इंजन लिखो। यह बहुत समय पहले था, जब मैं अभी भी एक विश्वविद्यालय में अध्ययन कर रहा था, मुझे बड़ी परियोजनाओं को विकसित करने की तकनीक के बारे में बहुत कम पता था, लेकिन मैं दर्जनों प्रोग्रामिंग भाषाओं और प्रोटोकॉलों के एक जोड़े में धाराप्रवाह था, और उस समय मेरी बहुत सारी साइटें थीं।

खैर, मुझे राक्षसी परियोजनाओं की लालसा है, हाँ ...

उस समय, उनके काम करने के तरीके के बारे में बहुत कम लोगों को पता था। अंग्रेजी में लेख और बहुत दुर्लभ। मेरे कुछ मित्र जो तब मेरे और उनके द्वारा खोदे गए दस्तावेजों और विचारों के आधार पर मेरी खोजों से अवगत थे, जिनमें हमारे विवादों के दौरान पैदा हुए लोग शामिल हैं, अब अच्छे पाठ्यक्रम ले रहे हैं, नई खोज तकनीकों के साथ आ रहे हैं, सामान्य तौर पर, यह विषय काफी दिलचस्प काम का विकास दिया। Google सहित विभिन्न बड़ी कंपनियों के नए विकास के लिए, अन्य चीजों के अलावा, इन कार्यों ने नेतृत्व किया, लेकिन मेरा व्यक्तिगत रूप से इससे कोई सीधा संबंध नहीं है।

फिलहाल, मेरे पास अपना खुद का, सीखने का इंजन है, कई बारीकियों के साथ - पीआर की गणना करना, सांख्यिकी-विषय एकत्रित करना, रैंकिंग फ़ंक्शन सीखना, मेनू और विज्ञापनों जैसे अप्रासंगिक पृष्ठ सामग्री को काटने के रूप में जानना-समझना। प्रति दिन लगभग आधा मिलियन पृष्ठों की सूचकांक गति। यह सब मेरे दो होम सर्वर पर घूम रहा है, और इस समय मैं सिस्टम को लगभग 5 फ्री सर्वर पर स्केल करने पर काम कर रहा हूं, जिसके लिए मैं एक्सेस कर रहा हूं।


यहां, पहली बार, सार्वजनिक रूप से, मैं वर्णन करूंगा कि मेरे द्वारा व्यक्तिगत रूप से क्या किया गया था। मुझे लगता है कि कई लोग यैंडेक्स, Google और लगभग सभी खोज इंजनों में रुचि रखेंगे, जो मुझे अंदर के काम से जानते हैं।

ऐसी प्रणालियों के निर्माण में कई कार्य हैं, जो सामान्य मामले में हल करना लगभग असंभव है, लेकिन कुछ ट्रिक्स, धारणाओं और आपके कंप्यूटर के हार्डवेयर कैसे काम करते हैं, इसकी अच्छी समझ के साथ, आप इसे गंभीरता से सरल कर सकते हैं। एक उदाहरण के रूप में, पुनरावर्ती पीआर, जो कई दसियों पृष्ठों के मामले में अब सबसे बड़ी रैम में नहीं रखा जा सकता है, खासकर यदि आप, मेरी तरह, जानकारी के लिए लालची हैं, और 1 अंक के अलावा कई और उपयोगी चीजों को संग्रहीत करना चाहते हैं। एक अन्य कार्य सूचकांक का भंडारण और अद्यतन है, कम से कम एक दो-आयामी डेटाबेस, जिसमें दस्तावेजों की एक सूची है जिस पर यह होता है एक विशेष शब्द की तुलना में।

जरा सोचिए, Google के अनुमान के अनुसार, इंडेक्स में 500 बिलियन से अधिक पेज हैं। यदि प्रत्येक शब्द 1 पृष्ठ पर केवल 1 बार दिखाई दिया, और इसे संग्रहीत करने के लिए, 1 बाइट की आवश्यकता थी - जो कि असंभव है, क्योंकि आपको कम से कम पेज की आईडी को स्टोर करने की आवश्यकता है - 4 बाइट्स से, तो फिर इंडेक्स की मात्रा 500GB होगी। वास्तव में, पृष्ठ पर औसतन 10 बार एक शब्द होता है, प्रति प्रविष्टि जानकारी की मात्रा शायद ही कभी होती है जब 30-50 बाइट्स से कम होता है, पूरे सूचकांक में हजारों गुना बढ़ जाता है ... तो आप इसे कैसे संग्रहीत करने का आदेश देते हैं? और अपडेट करना है?

खैर, यह सब कैसे काम करता है और कैसे काम करता है, मैं व्यवस्थित रूप से बात करूंगा, साथ ही साथ पीआर को कैसे जल्दी और वृद्धिशील रूप से गिना जाए, लाखों और अरबों पृष्ठों को कैसे संग्रहीत किया जाए, उनके पते और पते को जल्दी से खोजा जाए, विभिन्न भागों को कैसे व्यवस्थित किया जाए मेरे डेटाबेस में, कई सैकड़ों गिग्स द्वारा इंडेक्स को कैसे अपडेट किया जाए, ठीक है, मैं शायद आपको बताऊंगा कि एक लर्निंग रैंकिंग एल्गोरिदम कैसे बनाया जाता है।

आज, खोज करने के लिए उपयोग किए जाने वाले केवल इंडेक्स की मात्रा - 57 जीबी, हर दिन लगभग 1 जीबी बढ़ रही है। संपीड़ित ग्रंथों की मात्रा 25Gb है, ठीक है, मैं अन्य उपयोगी जानकारी का एक गुच्छा भी संग्रहीत करता हूं, जिसकी मात्रा इसकी प्रचुरता के कारण गणना करना बहुत मुश्किल है।

यहां उन लेखों की एक पूरी सूची है जो मेरी परियोजना पर लागू होते हैं और यहां वर्णित हैं:
0. खोज तकनीक या अपने खोज इंजन को लिखने के लिए पकड़ क्या है
1. खोज इंजन कहाँ शुरू होता है, या क्रॉलर के बारे में कुछ विचार
वेब खोज उपकरण के बारे में सामान्य शब्द
3. डाटाफ्लो सर्च इंजन का काम
किसी साइट को अनुक्रमित करते समय पृष्ठों के महत्वहीन हिस्सों को हटाने के बारे में
RDB के साथ काम करने पर अनुप्रयोग प्रदर्शन के अनुकूलन के तरीके
6. एक खोज इंजन के लिए डेटाबेस डिजाइन करने के बारे में थोड़ा
7. एवीएल पेड़ और उनके आवेदन की चौड़ाई
8. यूआरएल और उनके भंडारण के साथ काम करें
9. एक खोज इंजन के लिए एक सूचकांक का निर्माण