एक खोज इंजन, या Yandex.Server स्वचालन बनाना

मैं बेलारूस से हूं, यहां इंटरनेट प्रदाता सबसे बड़ी है। यह प्रदाता अपने उपयोगकर्ताओं को उन सभी साइटों तक मुफ्त पहुंच प्रदान करता है, जिन्हें घरेलू स्तर पर (अतिथि संसाधन) होस्ट किया जाता है।

शस्त्रागार में प्रत्येक byfly उपयोगकर्ता के पास मुफ्त उपलब्ध संसाधनों के लिंक के साथ फाइलों का एक सेट था। इसलिए इन संसाधनों के लिए एक खोज इंजन बनाने का विचार आया और अगस्त 2009 में पहले उपयोगकर्ताओं ने इसे देखा। उपस्थिति काफी तेजी से बढ़ी और लोकप्रियता के चरम पर, प्रति दिन लगभग 34,000 अद्वितीय उपयोगकर्ताओं द्वारा संसाधन का दौरा किया गया।



Yandex.Server सर्च इंजन के दिल में काम करता है। यहाँ उसका नियंत्रण कक्ष है:


यह तुरंत स्पष्ट हो गया कि केवल कार्यक्षमता का यह सेट (3 बटन चालू / बंद खोज पर, अनुक्रमण और बंद Ya.Server पर), एक खोज इंजन नहीं किया जा सकता है।
इसलिए, मुझे इसे थोड़ा संशोधित करना पड़ा और यह इस तरह निकला:



कई अतिरिक्त कार्य लागू किए गए, जैसे:

• सूचकांक को संसाधनों में विभाजित करना और उनमें से प्रत्येक का अपना मुखौटा और अनुक्रमण नियम बनाना;
• स्वचालित सूचकांक अद्यतन प्रणाली;
• वेबमास्टर्स ट्रैकिंग सिस्टम का दुरुपयोग करते हैं;
• जंक दस्तावेजों के लिए स्वचालित सूचकांक सफाई प्रणाली;
• वीडियो और अमूर्त के लिए अलग-अलग खोजें;
• स्वास्थ्य निगरानी प्रणाली ...

जब एक व्यवस्थापक एक नए नियंत्रण कक्ष में एक क्रिया करता है (उदाहरण के लिए, सूचकांक से एक साइट को निकालना चाहता है), सिस्टम आवश्यक मापदंडों के साथ एक कॉन्फ़िगरेशन फ़ाइल उत्पन्न करेगा:

function cfg_file_generate($adr, $option, $timeout, $delay, $rules) { global $cfg_useragent; $cfg = "<Webds> $rules <IndexedArea> HttpPrefix http://$adr Options $option <HttpOptions> Timeout $timeout Delay $delay <Headers> User-Agent: $cfg_useragent </Headers> </HttpOptions> </IndexedArea> </Webds>"; return $cfg; } 

फिर यह सूचकांक को मानक Yandex.Server नियंत्रण पैनल में अद्यतन करने का अनुरोध भेजेगा। कॉन्फ़िगरेशन फ़ाइल में निर्दिष्ट नियमों के अनुसार पुन: अनुक्रमण होता है। व्यवस्थापक संशोधित नियंत्रण कक्ष में ऑपरेशन का परिणाम देखेंगे। सभी जोड़तोड़ अजाक्स अनुरोधों के माध्यम से पृष्ठभूमि में किए जाते हैं।

प्रति दिन लोकप्रियता के चरम पर, वहाँ थे: 300,000 से अधिक खोज क्वेरी, ~ 34,000 अद्वितीय उपयोगकर्ता, खोज सूचकांक में 2,000 से अधिक साइटें। सभी जरूरतों के लिए, हार्डवेयर वीपीएस इंटेल 2.33 (1 कोर), 1 जीबी रैम हमेशा पर्याप्त से अधिक था।

उत्साही उपयोगकर्ताओं ने स्वयं खोज और यहां तक ​​कि डेस्कटॉप संस्करणों के साथ ब्राउज़रों के लिए विभिन्न ऐड-ऑन विकसित करना शुरू कर दिया। अन्य, इतना खोज सूचकांक में शामिल होना चाहते थे, कि उन्होंने धमकी भी दी :-)

बाद में, बाईफ़्ल ने मुफ्त पहुंच को समाप्त कर दिया और लोकप्रियता धीरे-धीरे फीकी पड़ने लगी। अब प्रति दिन 3,000 अद्वितीय उपयोगकर्ताओं के स्तर पर रखा गया है।

search.pusk.by शुरू में एक अल्पकालिक परियोजना के रूप में गणना की गई थी। मैंने 1 वर्ष पर उनके जीवन काल का अनुमान लगाया, लेकिन वह अधिक समय तक रहे :-)