पार्सिंग फ्रेमवर्क ग्रैब: स्पाइडर

मैं अजगर ग्रैब लाइब्रेरी का लेखक हूं, जिससे वेबसाइट पार्सर लिखना आसान हो जाता है। मैंने एक हब पर कुछ समय पहले उसके बारे में एक परिचयात्मक लेख लिखा था हाल ही में, मैंने पार्सिंग को बारीकी से लेने का फैसला किया, फ्री-लांस पार्सिंग ऑर्डर की खोज शुरू की, और मुझे बड़ी संख्या में पृष्ठों के साथ साइटों को पार्स करने के लिए एक उपकरण की आवश्यकता थी।

मैं इस तरह के पुस्तकालय का उपयोग करते हुए अजगर धागे का उपयोग करते हुए बहु-थ्रेडेड पार्सर लागू करता था । थ्रेडिंग दृष्टिकोण में पेशेवरों और विपक्ष हैं। प्लस यह है कि हम एक अलग थ्रेड (थ्रेड) शुरू करते हैं और वही करते हैं जो हम चाहते हैं: हम लगातार कई नेटवर्क कॉल कर सकते हैं और यह सब एक ही संदर्भ में - कहीं भी स्विच करने, याद रखने और कुछ याद रखने की आवश्यकता नहीं है। नकारात्मक पक्ष यह है कि धागे धीमा हो जाते हैं और स्मृति का उपभोग करते हैं।

विकल्प क्या हैं?

एसिंक्रोनस रूप से नेटवर्क संसाधनों के साथ काम करें। केवल एक प्रोग्राम निष्पादन प्रवाह है जिसमें इस डेटा के तैयार होते ही सभी डेटा प्रोसेसिंग लॉजिक को निष्पादित किया जाता है, डेटा को स्वयं अतुल्यकालिक रूप से लोड किया जाता है। व्यवहार में, यह आपको बहुत तनाव के बिना कई सौ धागे के नेटवर्क के साथ काम करने की अनुमति देता है, यदि आप इतने सारे धागे को चलाने की कोशिश करते हैं, तो वे गंभीरता से धीमा कर देंगे।

इसलिए, मैंने मल्टीकलर के लिए एक इंटरफ़ेस लिखा है - यह पाइकुरल लाइब्रेरी का हिस्सा है, जो आपको नेटवर्क के साथ अतुल्यकालिक रूप से काम करने की अनुमति देता है। मैंने मल्टीकलर चुना क्योंकि ग्रैब pycurl का उपयोग करता है और मैंने सोचा कि मैं इसका उपयोग मल्टीकलर के साथ भी कर सकता हूं। और इसलिए यह हुआ। मैं कुछ हद तक आश्चर्यचकित था कि प्रयोगों के पहले दिन इसने काम किया :) ग्रैब के आधार पर पार्सर्स की वास्तुकला: स्पाइडर बहुत ही टेढ़ी-मेढ़ी रूपरेखा के आधार पर पार्सर्स के समान है, जो सामान्य रूप से आश्चर्यजनक और तार्किक नहीं है।

मैं आपको एक साधारण मकड़ी का उदाहरण देता हूं:

# coding: utf-8 from grab.spider import Spider, Task class SimpleSpider(Spider): initial_urls = ['http://ya.ru'] def task_initial(self, grab, task): grab.set_input('text', u'') grab.submit(make_request=False) yield Task('search', grab=grab) def task_search(self, grab, task): for elem in grab.xpath_list('//h2/a'): print elem.text_content() if __name__ == '__main__': bot = SimpleSpider() bot.run() print bot.render_stats() 

यहां क्या हो रहा है? `Self.initial_urls` में प्रत्येक URL के लिए प्रारंभिक नाम के साथ एक कार्य बनाया जाता है, जब दस्तावेज़ को मल्टीचर्ल डाउनलोड करता है, तो एक हैंडलर जिसे` task_initial` कहा जाता है। सबसे महत्वपूर्ण बात यह है कि हैंडलर के अंदर हमें अनुरोधित दस्तावेज़ के साथ एक ग्रैब-ऑब्जेक्ट मिलता है: हम ग्रैब एपीआई से लगभग किसी भी फ़ंक्शन का उपयोग कर सकते हैं। इस उदाहरण में, हम रूपों के साथ उनके काम का उपयोग करते हैं। कृपया ध्यान दें कि हमें पैरामीटर `make_request = False` को निर्दिष्ट करने की आवश्यकता है ताकि फ़ॉर्म को तुरंत न भेजा जाए, क्योंकि हम चाहते हैं कि यह नेटवर्क अनुरोध अतुल्यकालिक रूप से संसाधित किया जाए।

संक्षेप में, ग्रैब के साथ काम करना: मकड़ी टास्क ऑब्जेक्ट का उपयोग करके प्रश्नों को उत्पन्न करने और उन्हें विशेष विधियों में आगे संसाधित करने के लिए नीचे आती है। प्रत्येक कार्य का एक नाम है, यह इस विधि से है कि अनुरोधित नेटवर्क दस्तावेज़ को संसाधित करने के लिए विधि तब चयनित होती है।

टास्क ऑब्जेक्ट बनाने के दो तरीके हैं। एक सरल तरीका:

 Task('foo', url='http://google.com') 

दस्तावेज़ को पूरी तरह से नेटवर्क से डाउनलोड करने के बाद, 'task_foo` नामक एक विधि कहा जाएगा

अधिक जटिल तरीका:

 g = Grab() g.setup(....   ...) Task('foo', grab=g) 

इस तरह, हम अपनी आवश्यकताओं के अनुसार अनुरोध पैरामीटर को कॉन्फ़िगर कर सकते हैं, कुकीज़ सेट कर सकते हैं, विशेष हेडर बना सकते हैं, जो कुछ भी, एक POST अनुरोध उत्पन्न करते हैं।

मैं प्रश्न कहां बना सकता हूं? किसी भी हैंडलर विधि में, आप उपज टास्क ऑब्जेक्ट बना सकते हैं और इसे एसिंक्रोनस डाउनलोड कतार में जोड़ा जाएगा। आप रिटर्न के माध्यम से टास्क ऑब्जेक्ट भी वापस कर सकते हैं। इसके अलावा, टास्क ऑब्जेक्ट को जेनरेट करने के दो और तरीके हैं।

1) आप 'self.initial_urls` विशेषता में पतों की एक सूची निर्दिष्ट कर सकते हैं और उनके लिए कार्य और नाम' प्रारंभिक 'नाम से बनाए जाएंगे।

2) आप 'task_generator' विधि को परिभाषित कर सकते हैं और इसमें कई तरह के अनुरोधों के रूप में उपज प्राप्त कर सकते हैं। इसके अलावा, इसमें से नए अनुरोधों को पुराने के रूप में निष्पादित किया जाएगा। यह, उदाहरण के लिए, समस्याओं के बिना फ़ाइल फ़ाइल से एक लाख से अधिक लाइनों को पुनरावृत्त करने और अनुमति नहीं देता है, ओह क्षमा करें, उन्हें सभी मेमोरी के साथ लिट कर रहा है।

प्रारंभ में, मैंने निकाले गए डेटा के प्रसंस्करण को स्क्रैपी के रूप में करने की योजना बनाई। वहाँ यह पाइपलाइन ऑब्जेक्ट्स का उपयोग करके किया जाता है। उदाहरण के लिए, आपको मूवी के साथ एक पेज मिला, इसे पार्स करें, और टाइप मूवी की पाइपलाइन ऑब्जेक्ट वापस करें। और पहले आपने कॉन्फिग में लिखा था कि मूवी पाइपलाइन को डेटाबेस या सीएसवी फाइल में सेव किया जाना चाहिए। कुछ इस तरह। व्यवहार में, यह पता चला कि अतिरिक्त आवरण के साथ परेशान नहीं करना और डेटाबेस में या अनुरोध हैंडलर विधि में फ़ाइल को तुरंत लिखना आसान है। बेशक, यह मशीनों के एक बादल के पार तरीकों को समानांतर करने के मामले में काम नहीं करेगा, लेकिन इस बिंदु तक यह अभी भी जीवित रहने के लिए आवश्यक है, लेकिन अब यह विधि हैंडलर में सीधे सब कुछ करने के लिए अधिक सुविधाजनक है।

टास्क ऑब्जेक्ट को अतिरिक्त तर्क दिए जा सकते हैं। उदाहरण के लिए, हम Google खोज में एक अनुरोध करते हैं। हम इच्छित url बनाते हैं और टास्क ऑब्जेक्ट बनाते हैं: कार्य ('खोज', url = '...', क्वेरी = क्वेरी) अगला, task_search विधि में हम यह पता लगा सकते हैं कि हम कार्य को देखने के लिए किस क्वेरी की तलाश कर रहे थे।

पकड़ो: मकड़ी स्वचालित रूप से नेटवर्क त्रुटियों को ठीक करने की कोशिश करती है। नेटवर्क टाइमआउट के मामले में, यह फिर से कार्य चलाता है। स्पाइडर ऑब्जेक्ट बनाते समय आप 'network_try_limit` विकल्प का उपयोग करके कॉन्फ़िगर किए जा सकने वाले प्रयासों की संख्या।

मुझे कहना होगा कि मुझे अतुल्यकालिक शैली में पार्सर्स लिखना बहुत पसंद है। और बिंदु केवल यह नहीं है कि अतुल्यकालिक दृष्टिकोण सिस्टम संसाधनों को कम लोड करता है, बल्कि यह भी है कि पार्सर स्रोत कोड एक स्पष्ट और समझने योग्य संरचना प्राप्त करता है।

दुर्भाग्य से, स्पाइडर मॉड्यूल के संचालन का पूरी तरह से वर्णन करने के लिए, इसमें बहुत समय लगेगा। मैं ग्रैब लाइब्रेरी के उपयोगकर्ताओं की सेना को बताना चाहता था, जो मुझे पता है कि कई लोगों के पास अंडर-डॉक्यूमेंटेशन की निराशा में शामिल संभावनाओं में से एक है।

सारांश। यदि आप ग्रैब का उपयोग करते हैं, तो स्पाइडर मॉड्यूल पर एक नज़र डालें, आप इसे पसंद कर सकते हैं। यदि आप नहीं जानते कि ग्रैब क्या है, तो शायद आपको टेढ़ी-मेढ़ी रूपरेखा पर एक नज़र डालनी चाहिए, इसे ग्रैब की तुलना में सौ गुना अधिक सुंदर माना जाता है।

PS मैं पार्सिंग परिणामों को संग्रहीत करने के लिए मोंगॉडब का उपयोग करता हूं - यह सिर्फ भयानक है :) बस 64 बिट सिस्टम लगाने के लिए मत भूलना, अन्यथा आप दो से अधिक गीगाबाइट का डेटाबेस नहीं बना सकते।

PS डंपज़.ओआर 11 9 395 साइट को पार्स करने के लिए एक असली पार्सर का एक उदाहरण

Grablib.org प्रोजेक्ट की PS आधिकारिक साइट (रिपॉजिटरी, गूगल-ग्रुप और डॉक्यूमेंटेशन के लिंक हैं)

PS मैं ग्रैब पर आधारित कस्टम पार्सर लिख रहा हूं, विवरण यहां Grablab.org पर हैं