वेब-स्पाइडर कैसे काम करता है

मान लें कि हमारे पास निम्नलिखित कार्य हैं: विभिन्न श्रेणियों में विभिन्न साइटों के विज्ञापनों के बारे में जानकारी एकत्र करना। भविष्य में, इस जानकारी का उपयोग बाजार की निगरानी और विश्लेषण करने के लिए किया जाएगा, इस बाजार में किसी भी घटना के बारे में अलर्ट। यह एक मिनी सर्च इंजन बनाने जैसा दिखता है।

वास्तव में, हमारे पास 4 उपप्रणालियाँ हैं:
1. जानकारी एकत्र करने और निकालने वाले प्लगइन्स लॉन्च करने के लिए सेवा
2. अस्थायी डेटा भंडारण
3. डेटा इंडेक्स
4. निकाले गए डेटा के साथ काम करने के लिए आवेदन, उदाहरण के लिए, एक रिपोर्ट जनरेटर

हम प्रत्येक प्रणाली को अनुक्रम में मानते हैं।

सबसिस्टम अवलोकन

1. प्लगइन लॉन्च सेवा

यह एक ऐसी सेवा है, जो उपलब्ध अनुसूची के अनुसार, अपने पुस्तकालय से प्लगइन्स लॉन्च करती है। एक अलग प्लगइन को निष्पादित करने में त्रुटि के मामले में, सेवा कुछ कार्य करती है (लॉग में लिखना, ई-मेल द्वारा डेवलपर को सूचित करना, फिर से शुरू करना, प्लगइन को अक्षम करना, आदि)

2. अस्थायी डेटा भंडारण

सहायक प्रणाली इंटरनेट से डाउनलोड किए गए पृष्ठों को भंडारण और पहुंच प्रदान करती है। हम एसक्यूएल डेटाबेस का स्पष्ट रूप से उपयोग नहीं कर सकते हैं: डेटा इंटरनेट से ठोस धाराओं में डाउनलोड किया जाता है, उनमें से बहुत सारे हैं और वे बहुत जल्दी दिखाई देते हैं, इसके अलावा, वे लगातार एक्सेस किए जाते हैं (पढ़ें, संशोधित करें, हटाएं), कई धाराओं में और साथ भी उच्च आवृत्ति। NoSQL डेटाबेस का उपयोग करने का प्रयास किया गया था, लेकिन वे भी लोड का सामना नहीं कर सके। नतीजतन, एक हाइब्रिड रिपॉजिटरी बनाई गई थी: अभिलेखों के बारे में जानकारी SQL डेटाबेस में संग्रहीत की जाती है, और HTML सामग्री बड़ी फ़ाइलों में ही होती है। समय-समय पर, एक विशेष प्लगइन इन फ़ाइलों से पृष्ठों को "कट" करता है।

3. डेटा इंडेक्स

डेटा तक त्वरित पहुंच के लिए एक सूचकांक आवश्यक है। मान लीजिए कि हम किसी चयनित श्रेणी के विज्ञापनों की संख्या को चयनित तिथि के लिए देखने जा रहे हैं। डेटाबेस से एक समान चयन करने के लिए और हर बार सर्वर संसाधनों के लिए अस्थायी भंडारण बहुत महंगा है। इसके अलावा, कुछ डेटा बेमानी होंगे। इसलिए, एक इंडेक्स बनाया जाता है, जहां प्रत्येक दिन के लिए केवल विज्ञापनों की आईडी और उनकी श्रेणियां दर्ज की जाती हैं।

4. निकाले गए डेटा के साथ काम करने के लिए आवेदन

यहां सब कुछ स्पष्ट है। ये वे एप्लिकेशन हैं जिनके साथ अंतिम उपयोगकर्ता काम करता है। अंतर्निहित इंडेक्स के लिए धन्यवाद, एकत्रित डेटा अब जल्दी और आसानी से देखा जा सकता है। यह एक वेब एप्लिकेशन हो सकता है जहां उपयोगकर्ता रिपोर्ट टेम्प्लेट और चयन मानदंडों का चयन करता है और टेबल या ग्राफ़ के रूप में डेटा प्राप्त करता है। हो सकता है कि ये उन प्रबंधकों को दैनिक पत्र होंगे जो उन विज्ञापनों की श्रेणियों को दर्शाते हैं जिनमें वृद्धि हुई है।

डेटा उत्पादन पाइपलाइन

एक पाइपलाइन के रूप में डेटा प्राप्त करने की कल्पना करें।
1. वेब स्पाइडर का एक सेट जो स्रोत साइटों से खोज परिणाम पृष्ठ डाउनलोड करता है। ये वे पृष्ठ हैं जो खोज बॉट आमतौर पर नहीं पहुंचते हैं (एसईओ पृष्ठों के अपवाद के साथ, लेकिन उनमें विज्ञापनों की संख्या अपूर्ण होने की संभावना है और केवल सबसे लोकप्रिय श्रेणियां शामिल हैं)। प्रत्येक साइट के लिए आपको अपने स्वयं के अनुरोध तर्क के साथ अपना स्वयं का प्लगइन लिखना होगा। कभी-कभी यह querystring में मापदंडों के साथ एक GET अनुरोध है, कभी-कभी आपको POST भेजना होता है या कुकीज़ के माध्यम से पैरामीटर भी भेजना पड़ता है। इस तरह के प्लगइन को लिखने के लिए, ब्राउज़र में निर्मित कोई भी HTTP विश्लेषक मदद करेगा। खोज परिणामों को डाउनलोड करने वाले प्लगइन का कार्य साइट पर सभी श्रेणियों के विज्ञापनों को कवर करना है, इसके सभी पृष्ठों पर जाएं और सामग्री को अस्थायी भंडारण में सहेजना है। पेजिंग (पेजिंग - परिणाम के पृष्ठों के माध्यम से आगे बढ़ने) के माध्यम से आगे बढ़ने से बचने के लिए, पृष्ठ की सामग्री की पिछले एक के साथ तुलना करने की सिफारिश की जाती है।

2. पाइपलाइन का अगला चरण एक प्लग है - जिसमें पृष्ठों के लिंक का विस्तृत विवरण होता है , जिसमें लोड किए गए पृष्ठों से विज्ञापन (उत्पाद, सेवा, साइट की विशेषज्ञता के आधार पर) होता है । यहां आप सभी लिंक का विश्लेषण करने और अपनी ज़रूरत के अनुसार चयन करने का प्रयास कर सकते हैं या सरल तरीके से जा सकते हैं और प्रत्येक साइट के लिए इस तरह के लिंक का विवरण दर्ज कर सकते हैं। सबसे आसान तरीका है कि प्रत्येक साइट से लिंक निकालने के लिए अपनी XPath अभिव्यक्ति का उपयोग करें। प्लगइन लिंक निकालता है, उन्हें डेटाबेस में सहेजता है और संसाधित किए गए परिणामों के साथ पृष्ठों को चिह्नित करता है। इसके अतिरिक्त, प्लगइन यह जांच सकता है कि क्या पेज एक त्रुटि संदेश है या कोई खोज परिणाम नहीं मिला।
यदि आपके पास एक प्रश्न है कि आपको खोज परिणामों वाले पृष्ठों को संग्रहीत करने की आवश्यकता क्यों है, तो मैं आपको बताऊंगा कि यह क्यों आवश्यक है। बहुत बड़ी साइटें हैं, जिनमें से डाउनलोड करने में लंबा समय लगता है, और प्लगइन्स को अक्सर त्रुटि के परिणामस्वरूप पुनरारंभ करने के लिए मजबूर किया जाता है। त्रुटियां होंगी, वे साइट के संचालन, आपके सर्वर के प्रदर्शन, नेटवर्क त्रुटियों से संबंधित हो सकती हैं। इस मामले में, उस जगह से डाउनलोड करना जारी रखना तर्कसंगत है जहां प्लगइन बाधित था। इस घटना में कि साइट पर कुछ बदल गया है और विवरण वाले पृष्ठों के लिंक को पुनर्प्राप्त नहीं किया जा सकता है, यह केवल XPath या पुनर्प्राप्ति एल्गोरिथ्म को बदलने और प्लगइन को पुनरारंभ करने के लिए पर्याप्त होगा। यह फिर से डाउनलोड किए बिना सभी संग्रहीत पृष्ठों को जल्दी से संसाधित करेगा।

3. इसके बाद फिर से "सार्वभौमिक" प्लगइन आता है। वह विवरणों के साथ पृष्ठों के लिंक की सूची प्राप्त करता है और उन्हें डाउनलोड करता है , जिससे पृष्ठों को अस्थायी संग्रहण में सहेजा जाता है। सामान्य तौर पर, सभी पृष्ठों (खोज परिणामों के साथ और विवरण के साथ) की उम्र बढ़ने की अवधि होती है जिसके बाद उन्हें अमान्य माना जाता है और हटा दिया जाएगा। और उनके प्रसंस्करण को पुराने से नए तक ले जाया जाता है। प्रसंस्करण के बाद, उन्हें संसाधित के रूप में चिह्नित किया जाता है। डाउनलोड लिंक, विफलता के मामले में, डाउनलोड प्रयास के समय के साथ चिह्नित हैं, ताकि आप बाद में फिर से कोशिश कर सकें। त्रुटि का कारण सर्वर या प्रॉक्सी की अस्थायी अनुपलब्धता हो सकता है। आपको अलग-अलग साइटों से डाउनलोड करने के लिए प्रॉक्सी की आवश्यकता हो सकती है। खैर, किसी को डेटा स्रोत साइट के सर्वर पर लोड के बारे में नहीं भूलना चाहिए, प्रति सेकंड 1 बार से अधिक अनुरोध भेजने के लिए आवश्यक है।

4. विज्ञापन के विवरण के साथ एक पृष्ठ होने के बाद, यह केवल HTML से आवश्यक जानकारी निकालने के लिए रहता है। ऐसा करने के लिए, आपको फिर से प्रत्येक साइट के लिए अपना स्वयं का प्लगइन लिखना होगा या अधिक बुद्धिमान सार्वभौमिक के साथ आना होगा। सबसे सरल मामले में, आप फिर से प्रत्येक दस्तावेज़ फ़ील्ड के लिए XPath का उपयोग कर सकते हैं। HTML पार्स करने के लिए, HtmlAgilityPack जैसी लाइब्रेरी उपयुक्त है। निकाली गई जानकारी को कुछ सार्वभौमिक प्रारूप (उदाहरण के लिए एक्सएमएल) में रखा जाना चाहिए और पाइपलाइन नीचे पारित कर दिया जाना चाहिए।

5. सभी डेटा के साथ xml फ़ाइलों के एक सेट से, आप उन्हें कार्यों के अनुसार निपटान कर सकते हैं, उदाहरण के लिए, एक उपयुक्त इंडेक्स का निर्माण करें जो विशिष्ट एप्लिकेशन पहले से ही उपयोग करेंगे।

निष्कर्ष

मैंने आपको एक वास्तविक जीवन प्रणाली से परिचित कराया है जिसका उपयोग विभिन्न साइट वर्टिकल के लिए किया जाता है। वास्तव में, इस प्रणाली को बनाते समय, जो 4 वर्षों से विकसित हो रहा था, कई नुकसान दिखाई दिए। यदि इस विषय का स्वागत एक प्रतिष्ठित समुदाय द्वारा किया जाता है, तो मैं इस विषय पर और अधिक विस्तार से कुछ और लिखूंगा।