खोज इंजन कहाँ से शुरू होता है, या क्रॉलर के बारे में कुछ विचार

अपने स्वयं के खोज इंजन के बारे में शुरू किए गए विषय की निरंतरता में

इसलिए कई प्रमुख कार्य हैं जिन्हें खोज प्रणाली को हल करना चाहिए, आइए इस तथ्य से शुरू करें कि एक अलग पृष्ठ प्राप्त किया जाना चाहिए और बचाया जाना चाहिए।
भविष्य में आपके द्वारा चुने जाने वाले प्रसंस्करण के तरीकों के आधार पर, कई तरीके हैं।

जाहिर है, आपके पास उन पृष्ठों की एक कतार होनी चाहिए, जिन्हें आपको वेब से डाउनलोड करने की आवश्यकता है, यदि केवल तभी उन्हें लंबी सर्दियों की शाम को देखने के लिए, अगर कुछ भी बेहतर आविष्कार नहीं हुआ है। मैं साइटों और उनके मुख्य पृष्ठों की एक कतार और इस समय मैं क्या प्रक्रिया करूँगा, की एक स्थानीय मिनी कतार पसंद करते हैं। कारण सरल है - उन सभी पृष्ठों की एक सूची, जिन्हें मैं केवल एक महीने में डाउनलोड करना चाहूंगा, मेरे बड़े हार्ड ड्राइव के आकार से काफी अधिक हो सकते हैं :), इसलिए मैं केवल वही संग्रहीत करता हूं जो वास्तव में आवश्यक है - साइटें, वर्तमान में उनमें से 600,000 हैं, और उनकी प्राथमिकताएं और लोड समय।


अगले पृष्ठ को लोड करते समय, इस पृष्ठ के सभी लिंक या तो स्थानीय कतार में जोड़े जाने चाहिए, यदि वे उस साइट के भीतर बने रहते हैं जिसे मैं संसाधित कर रहा हूं, या उन साइटों की मुख्य सूची में जिन्हें मुझे जल्दी या बाद में वापस लौटना है।

एक समय में एक साइट से कितने पृष्ठ प्राप्त करने हैं? व्यक्तिगत रूप से, मैं 100,000 से अधिक नहीं पसंद करता हूं, हालांकि मैं समय-समय पर इस सीमा को सिर्फ 1,000 पृष्ठों में बदल देता हूं। और बहुत सारी साइटें नहीं हैं जिन पर अधिक पृष्ठ हैं।
अब अधिक विस्तार से विचार करें:

अगर हमें एक बार में 1 पेज मिलता है, सभी पेज क्रमानुसार मिलते हैं, तो हम एक घंटे में कितने पेजों को प्रोसेस करेंगे?
- पृष्ठ पुनर्प्राप्ति समय के होते हैं:
· जिस समय हम CSN की प्रतिक्रिया की प्रतीक्षा कर रहे हैं (यह, जैसा कि अभ्यास से पता चलता है, छोटा नहीं है)। DNS उस साइट के नाम की तुलना "site.ru" करता है जिसके सर्वर पर IP पता है, और यह झूठ है, और यह विचार करना आसान काम नहीं है कि साइटें चलती हैं, पैकेट रूटिंग रूट बदलते हैं, और भी बहुत कुछ। संक्षेप में, DNS सर्वर एक पता तालिका संग्रहीत करता है, और हर बार जब हम पते को समझने के लिए उस पर दस्तक देते हैं - जहां पृष्ठ के लिए जाना है।
कनेक्शन का समय और अनुरोध भेजने (जल्दी से अगर आपके पास कम से कम एक औसत चैनल है)
· वास्तविक प्रतिक्रिया की प्राप्ति का समय - पृष्ठ

यही कारण है कि, यैंडेक्स, अफवाहों के अनुसार, एक बार बहुत ही पहली समस्या का सामना करना पड़ा - यदि आपको वास्तव में कई पृष्ठ मिलते हैं, तो प्रदाता का सीएसएन इसके साथ सामना करने में सक्षम नहीं है - मेरे अनुभव में पते में 10 सेकंड तक की देरी थी, विशेष रूप से आपके द्वारा अभी भी उत्तर को प्रसारित करना है। नेटवर्क पर आगे और पीछे, और मैं केवल प्रदाता नहीं हूं। मैं ध्यान देता हूं कि जब एक साइट से क्रमिक रूप से 1000 पृष्ठों का अनुरोध किया जाता है, तो आप प्रत्येक बार प्रदाता को 1000 बार खींचेंगे।

आधुनिक हार्डवेयर के साथ, स्थानीय नेटवर्क पर स्थानीय DNS सर्वर कैशिंग सर्वर को स्थापित करना काफी सरल है, और इसे अपने काम से लोड करना है, प्रदाता नहीं - फिर प्रदाता आपके पैकेट को तेज़ी से भेजना शुरू कर देगा। हालाँकि, आप भ्रमित हो सकते हैं और अपने पृष्ठ लोडर के भीतर कैश लिख सकते हैं यदि आप काफी निम्न स्तर पर लिखते हैं।
यदि आप पर्ल के लिए तैयार किए गए समाधान जैसे कि LWP या HTTP मॉड्यूल का उपयोग करते हैं, तो स्थानीय DNS सर्वर इष्टतम होगा।

अब यह कहते हैं कि उत्तर आपको औसतन 1-10 सेकंड में जाता है - तेज सर्वर हैं, और बहुत धीमे हैं। फिर प्रति मिनट आपको 6-60 पृष्ठ, प्रति घंटे 360-3600, प्रति दिन लगभग 8000 से 60,000 तक प्राप्त हुए (मैं जानबूझकर सभी प्रकार के विलंब के लिए नीचे आया हूं: वास्तविकता में, जब आप स्थानीय DNS के बिना एक समय में 1 पेज का अनुरोध करते हैं, तो चैनल 100mbit / s पर। आपको प्रति दिन 10,000 पृष्ठ प्राप्त होंगे, यदि साइटें भिन्न हैं, और बहुत तेज़ नहीं हैं)

और यहां तक ​​कि यह देखते हुए कि प्रसंस्करण समय को ध्यान में नहीं रखा गया है, पृष्ठों को सहेजना परिणाम है, स्पष्ट रूप से, दयनीय है।

ठीक है, मैंने कहा, और समानांतर में एक समय में 128 अनुरोध किए गए, सब कुछ ठीक-ठाक उड़ गया - प्रति घंटे 120 हजार पृष्ठों की एक चोटी, जब तक सर्वर लॉग से अश्लील लॉग नहीं आया, जहां मैं DDoS हमलों के बारे में दस्तक दे रहा था, ठीक है, हाँ 5 मिनट में 5000 अनुरोध शायद किसी भी होस्टिंग की अनुमति नहीं है।

सब कुछ इस तथ्य से तय किया गया था कि एक ही समय में मैंने 8-16 अलग-अलग साइटों को लोड करना शुरू कर दिया, समानांतर में 2-3 से अधिक पृष्ठ नहीं। यह प्रति घंटे 20-30 हजार पृष्ठों के बारे में कुछ निकला, और इसने मुझे अनुकूल बनाया। मुझे कहना होगा कि रात में संकेतक बहुत अधिक हैं

खोज इंजन पर मेरे लेखों की पूरी सामग्री और सूची यहां अपडेट की जाएगी: http://habrahabr.ru/blogs/search_engines/123671/