ग्रैब का उपयोग करना: पार्सिंग वेबसाइटों के लिए स्पाइडर

सभी को नमस्कार!

मैं ओपन-सोर्स फ्रेमवर्क ग्रैब का एक सक्रिय उपयोगकर्ता हूं ( itforge ने इसके बारे में यहां और यहां पहले ही लिखा है ) और GrabLab प्रोजेक्ट का 1/2 (जो कि फ्रेमवर्क के वाणिज्यिक संचालन में लगा हुआ है)। क्योंकि हम अक्सर साइटों को पार्स करते हैं, एक नियम के रूप में बहुत सारे और कार्य एक दूसरे से पूरी तरह से अलग होते हैं, मैं एक विशिष्ट प्रोजेक्ट पार्सिंग के निर्माण में अपने अनुभव को साझा करना चाहूंगा।

उन औजारों के बारे में जो मेरे काम में मेरी मदद करते हैं

एक कामकाजी ब्राउज़र के रूप में, मैं HttpFox प्लगइन्स (आने वाले / आउटगोइंग http ट्रैफ़िक का विश्लेषण करता हूं) के साथ FireFox का उपयोग करता हूं, XPather (आपको xpath अभिव्यक्तियों की जांच करने की अनुमति देता है), SQLite प्रबंधक (देखें sqlite टेबल), मैं ई-मेल में कोड टाइप करता हूं, जहां मैं आम तौर पर स्निपेट (YASnippets) का उपयोग करता हूं। संरचनाओं।

पहले चरण में, एक नियम के रूप में, फ्रेमवर्क की बारीकियों के कारण, साइट पूरी तरह से है (या यदि बहुत अधिक डेटा है, तो आंशिक रूप से, बाद के विकास की सुविधा के लिए) मोंगोडब पर आधारित एक स्थानीय कैश में सहेजा जाता है, जो समय बचाता है, क्योंकि पेज रीडिंग कैश से आती है।


Sql डेटाबेस के साथ काम करने के लिए, जहां एक नियम के रूप में (अक्सर json / xml में कम), आपको ORM - SQLAlchemy का उपयोग करने वाले डेटा को विघटित करने की आवश्यकता होती है।

दरअसल, ग्रैब फ्रेमवर्क खुद एक प्रोजेक्ट बनाने और उसके कार्यों को नियंत्रित करने में बहुत लचीलापन प्रदान करता है। हालांकि, पिछली कुछ परियोजनाओं को अच्छी तरह से निम्नलिखित संरचना में रखा गया था, जो वेब विकास में शामिल लोगों से अच्छी तरह परिचित थे:

1) मॉडल थिंकपैड - मैं डेटा मॉडल का वर्णन करता हूं
2) config.py - junga, सेटिंग्स, orm इनिशियलाइज़ेशन की दुनिया से settings.py का एक एनालॉग।
3) /spiders/*.py - मकड़ियों का कोड
4) spider.py या project_name.py - मुख्य परियोजना फ़ाइल, समवर्ती आमतौर पर विभिन्न मकड़ियों को लॉन्च करने के लिए एक कमांड-लाइन इंटरफ़ेस लागू करती है, क्योंकि अक्सर साइट को भागों में पार्स किया जाता है।

वास्तविक जीवन से ज्यादा तलाकशुदा नहीं होने के उदाहरण के रूप में, हम गीथर के ओपन-सोर्स गढ़ से पार्सर "ट्रेंडिंग प्रोजेक्ट्स" और "सबसे लोकप्रिय पायथन प्रोजेक्ट्स" लिखेंगे।

उदाहरण के लिए पूर्ण कोड यहां पाया जा सकता है ।

पहले आपको मॉडल का वर्णन करने की आवश्यकता है।

class Item(Base): __tablename__ = 'item' sqlite_autoincrement = True id = Column(Integer, primary_key=True) title = Column(String(160)) author = Column(String(160)) description = Column(String(255)) url = Column(String(160)) last_update = Column(DateTime, default=datetime.datetime.now) 

इसके बाद, config.py फ़ाइल में, आरंभिक orm इनिशियलाइज़ेशन किया जाता है, टेबल बनाए जाते हैं, स्थिरांक पाए जाते हैं, और एक फ़ंक्शन होता है जो सेटिंग्स (default_spider_params) के आधार पर स्पाइडर लॉन्च करने के लिए मापदंडों का निर्माण करता है, जो आमतौर पर प्रोजेक्ट में सभी मकड़ियों के लिए आम है।

 def init_engine(): db_engine = create_engine( 'sqlite+pysqlite:///data.sqlite', encoding='utf-8') Base.metadata.create_all(db_engine) return db_engine db_engine = init_engine() Session = sessionmaker(bind=db_engine) def default_spider_params(): params = { 'thread_number': MAX_THREADS, 'network_try_limit': 20, 'task_try_limit': 20, } if USE_CACHE: params.update({ 'thread_number': 3, 'use_cache': True, 'cache_db': CACHE_DB, 'debug_error' :True, }) return params 

ज्यादातर मामलों में, सर्वर पर मोंगोडब का उपयोग करने की आवश्यकता नहीं होती है, इसलिए कैश को अक्षम बनाना सुविधाजनक है। परियोजना को तैनात करते समय, मैं बस USE_CACHE = गलत सेट करता हूं और सब कुछ ठीक काम करता है। SAVE_TO_DB का उपयोग डेटाबेस में डेटा लिखने / निष्क्रिय करने के लिए किया जाता है।

वास्तव में, हम सबसे दिलचस्प हिस्से की ओर मुड़ते हैं: हमारे पास 2a मकड़ियाँ होंगी, पहली "टॉप ट्रेंडिंग" प्रोजेक्ट्स की 5 रिपॉजिटरी, और दूसरी "मोस्ट वाच्ड पायथन" होगी।

यह स्पष्ट रूप से देखा गया है कि इन मकड़ियों के सामान्य भाग होते हैं जिन्हें अलग, आधार वर्ग में ले जाया जाना चाहिए और इनसे विरासत में मिला, जो कोड को कम करता है, समर्थन को सरल करता है, और कार्यक्रम को अधिक पठनीय बनाता है। अधिक या कम जटिल परियोजना में, जहां बड़ी संख्या में पृष्ठ एक-दूसरे से थोड़ा अलग होते हैं, कार्यक्षमता के भाग को सुपरक्लास में स्थानांतरित करने की आवश्यकता लगातार उत्पन्न होती है।

हम OOP की उपेक्षा नहीं करेंगे और BaseHubSpider लिखेंगे जिसमें हम 2a को बचाने () और log_progress () विधियों को परिभाषित करते हैं।

 class BaseHubSpider(Spider): initial_urls = ['http://github.com'] items_total = 0 def save(self, data): if not SAVE_TO_DB: return session = Session() if not session.query(Item).filter_by(title=data['title']).first(): obj = Item(**data) session.add(obj) session.commit() def log_progress(self, str): self.items_total += 1 print "(%d) Item scraped: %s" % (self.items_total, str) 

एक वास्तविक आवेदन में, यह बहुत संभावना है कि कुछ मापदंडों के आधार पर एक पृष्ठ पार्सिंग फ़ंक्शन है - प्रत्येक पृष्ठ पर अलग-अलग फ़ील्ड्स के नाम जबकि उनके लिए xpath पथ लगभग समान है, आदि।

उदाहरण के लिए, कुछ इस तरह (यह एक कार्यशील उदाहरण नहीं है, लेकिन बेहतर समझ के लिए सिर्फ एक उदाहरण है):

  XPATH = u'//table[@class="standart-table table"]' + \ u'//tr[th[text() = "%s"]]/td' values = ( ('title', u' '), ('rating', u''), ('categories', u' '), ('description', u''), ) for db_field, field_title in values: try: data[db_field] = get_node_text(grab.xpath( XPATH % field_title, None)).strip() except AttributeError: data[db_field] = '' 

https://github.com/istinspring/grab-default-project-example/blob/master/spiders/lang_python.py

स्पाइडर कोड जो डेटाबेस में 20 सबसे लोकप्रिय अजगर परियोजनाओं को पार्स और संग्रहीत करता है।

ध्यान दो

  repos = grab.xpath_list( '//table[@class="repo"]//tr/td[@class="title"]/..') for repo in repos: data = { 'author': repo.xpath('./td[@class="owner"]/a/text()')[0], 'title': repo.xpath('./td[@class="title"]/a/text()')[0],} 

repos = Grab.xpath_list ('') - lxml ऑब्जेक्ट की सूची देता है, जबकि उदाहरण के लिए Grab.xpath ('') पहला तत्व देता है, क्योंकि इस मामले में xpath एक हड़पने वाली वस्तु विधि है, अर्थात repo.xpath ('./ h3 / a [1] / text ()') लूप में संचालन करने पर, हमें एक सूची या अपवाद मिलता है यदि lxml xpath नहीं मिला। सीधे शब्दों में, ग्रैब ऑब्जेक्ट से xpath और lxml ऑब्जेक्ट से xpath अलग-अलग चीजें हैं, पहले मामले में पहला तत्व वापस आ जाएगा (या तो डिफ़ॉल्ट या एक अपवाद फेंकें), और दूसरे में तत्वों की सूची ['कुछ'] वापस आ जाएगी।

^ ^ यह पढ़ने के लिए समझ से बाहर है, लेकिन जैसे ही आप व्यवहार में इसका सामना करते हैं, बस इस पैराग्राफ को याद रखें।

आशा है कि जानकारी उपयोगी थी। कॉमरेड इटफोर्ज ओपन सोर्स उत्पादों ग्रैब के विकास पर अथक रूप से काम कर रहे हैं, हड़पने का प्रलेखन रूसी में उपलब्ध है, लेकिन हड़पने के लिए: मकड़ी, दुर्भाग्य से, केवल परिचयात्मक भाग ही उपलब्ध है ।

फ्रेमवर्क के सवालों के लिए, हमने Grablab@conference.jabber.ru पर एक जैबर कॉन्फ्रेंस की है