🎛️ 🖕🏿 🥗 स्क्रैपी के साथ डेटा एकत्र करना 🏇🏻 📖 🛑

इस डेटा संग्रह ढांचे के आकस्मिक उल्लेख के बारे में यहां पहले ही उल्लेख किया जा चुका है। उपकरण वास्तव में शक्तिशाली है और अधिक ध्यान देने योग्य है। इस समीक्षा में, मैं वर्णन करूंगा कि कैसे

scrapy

एक मकड़ी बनाएँ जो GET अनुरोध करता है,
एक HTML दस्तावेज़ से डेटा निकालें
प्रक्रिया और निर्यात डेटा।

स्थापना

आवश्यकताएँ: अजगर 2.5+ (तीसरी शाखा समर्थित नहीं है), मुड़, lxml या libxml2, simplejson, pyopenssl (HTTPS का समर्थन करने के लिए)

मैंने समस्याओं के बिना रिपॉजिटरी से उबंटू स्थापित किया। इंस्टॉलेशन गाइड पृष्ठ अन्य लिनक्स वितरणों के साथ-साथ मैक ओएस एक्स और विंडोज पर भी इंस्टॉलेशन का वर्णन करता है।

कार्य

संभवतः, कोई ऑनलाइन स्टोर पार्स करना चाहता है और उत्पाद विवरण और फोटो के साथ पूरी सूची को बाहर निकालना चाहता है, लेकिन मैं जानबूझकर ऐसा नहीं करूंगा। चलो कुछ खुले डेटा लेते हैं, उदाहरण के लिए, शैक्षिक संस्थानों की एक सूची । साइट काफी विशिष्ट है और यह कई चालें दिखा सकती है।

इससे पहले कि आप एक मकड़ी लिख लें, आपको स्रोत साइट का निरीक्षण करने की आवश्यकता है। ध्यान दें कि साइट फ़्रेम (!) पर बनाई गई है, फ़्रेमसेट में हम एक प्रारंभ पृष्ठ के साथ एक फ्रेम की तलाश कर रहे हैं। एक खोज रूप है। हमें केवल मॉस्को में विश्वविद्यालयों की आवश्यकता है, इसलिए उपयुक्त फ़ील्ड भरें, "खोजें" पर क्लिक करें।

हम विश्लेषण करते हैं। हमारे पास पेजिंग लिंक के साथ एक पेज है, प्रति पेज 15 विश्वविद्यालय हैं। फ़िल्टर पैरामीटर GET के माध्यम से पारित किए जाते हैं, केवल पृष्ठ मूल्य परिवर्तन।

इसलिए, हम इस समस्या को हल करते हैं:

Abitur.nica.ru/new/www/search.php?region=77&town=0&opf=0&type=0&spec=0&ed_level=0&ed_form=0&qualif=&substr=&page=1 पर जाएं
परिणामों के साथ प्रत्येक पृष्ठ पर जाएं, पृष्ठ के मूल्य को बदलते हुए
विश्वविद्यालय के विवरण abitur.nica.ru/new/www/vuz_detail.php?code=486®ion=77&town=0&opf=0&type=0&spec=0&sp_level=0&ed_form=0&qualif=&substr=&page=1 पर जाएं।
सीएसवी फ़ाइल में विस्तृत विश्वविद्यालय विवरण सहेजें

परियोजना निर्माण

हम उस फ़ोल्डर में जाते हैं जहां हमारी परियोजना स्थित होगी, इसे बनाएं:

scrapy startproject abitur cd abitur

हमारी परियोजना के अबित्र फ़ोल्डर में फाइलें हैं:

आइटम्स थ्रेड में वे कक्षाएं होती हैं जो एकत्रित किए जा रहे डेटा के क्षेत्रों को सूचीबद्ध करती हैं
पाइपलाइन्डो आपको एक मकड़ी को खोलने / बंद करने, डेटा की बचत करने पर कुछ कार्यों को सेट करने की अनुमति देता है,
सेटिंग्स थिंकपैड में कस्टम स्पाइडर सेटिंग्स होती हैं,
मकड़ियों - वह फ़ोल्डर जिसमें मकड़ियों के वर्गों के साथ फाइलें संग्रहीत की जाती हैं। प्रत्येक स्पाइडर आमतौर पर name_spider.py नाम के साथ एक अलग फाइल में लिखा जाता है।

मकड़ी

निर्मित मकड़ियों / abitur_spider.py फ़ाइल में, हम अपने मकड़ी का वर्णन करते हैं

 class AbiturSpider(CrawlSpider): name = "abitur" allowed_domains = ["abitur.nica.ru"] start_urls = ["http://abitur.nica.ru/new/www/search.php?region=77&town=0&opf=0&type=0&spec=0&ed_level=0&ed_form=0&qualif=&substr=&page=1"] rules = ( Rule(SgmlLinkExtractor(allow=('search\.php\?.+')), follow=True), Rule(SgmlLinkExtractor(allow=('vuz_detail\.php\?.+')), callback='parse_item'), ) "..."

हमारी कक्षा क्रॉलस्पाइडर से विरासत में मिली है, जो हमें लिंक पैटर्न को निर्धारित करने की अनुमति देगा जो कि मकड़ी उनके माध्यम से निकालेगी और नेविगेट करेगी।

क्रम में:

नाम - मकड़ी का नाम, जिसका उपयोग किया जाता है,
अनुमत_डोमेंस - उस साइट के डोमेन जिसके आगे मकड़ी नहीं खोजी जानी चाहिए,
start_urls - प्रारंभिक पते की सूची,
नियम - लिंक निकालने के लिए नियमों की एक सूची।

जैसा कि आपने देखा, नियमों के बीच पैरामीटर एक कॉलबैक फ़ंक्शन है। हम जल्द ही उसके पास लौट आएंगे।

तत्वों

जैसा कि मैंने कहा, आइटम्सहोम में ऐसी कक्षाएं होती हैं जो एकत्र किए जा रहे डेटा के क्षेत्रों को संकलित करती हैं।
इसे इस तरह किया जा सकता है:

 class AbiturItem(Item): name = Field() state = Field() "..."

निर्यात से पहले पार्स किए गए डेटा को संसाधित किया जा सकता है। उदाहरण के लिए, एक शैक्षिक संस्थान "राज्य" और "गैर-राज्य" हो सकता है, लेकिन हम इस मूल्य को बूलियन प्रारूप में संग्रहीत करना चाहते हैं या दिनांक "1 जनवरी, 2011" को "01.01.2011" के रूप में लिख सकते हैं।

इसके लिए इनपुट और आउटपुट हैंडलर हैं, इसलिए हम राज्य क्षेत्र को अलग तरह से लिखते हैं:

 class AbiturItem(Item): name = Field() state = Field(input_processor=MapCompose(lambda s: not re.match(u'\s*', s))) "...."

MapCompose राज्य सूची के प्रत्येक तत्व पर लागू होता है।

किसी पृष्ठ पर आइटम खोजें

वापस हमारे parse_item पद्धति पर।

आप प्रत्येक आइटम के लिए अपने स्वयं के लोडर का उपयोग कर सकते हैं। इसका उद्देश्य डाटा प्रोसेसिंग से भी जुड़ा है।

 class AbiturLoader(XPathItemLoader): default_input_processor = MapCompose(lambda s: re.sub('\s+', ' ', s.strip())) default_output_processor = TakeFirst() class AbiturSpider(CrawlSpider): "..." def parse_item(self, response): hxs = HtmlXPathSelector(response) l = AbiturLoader(AbiturItem(), hxs) l.add_xpath('name', '//td[@id="content"]/h1/text()') l.add_xpath('state', '//td[@id="content"]/div/span[@class="gray"]/text()') "..." return l.load_item()

हमारे मामले में, प्रत्येक क्षेत्र से चरम और डुप्लिकेट स्थान हटा दिए जाते हैं। आप लोडर में अलग-अलग नियम भी जोड़ सकते हैं, जो हमने AbiturItem वर्ग में किया था:

 class AbiturLoader(XPathItemLoader): "..." state_in = MapCompose(lambda s: not re.match(u'\s*', s))

इसलिए, जैसा आप चाहते हैं वैसा करें।

Parse_item () फ़ंक्शन एक आइटम ऑब्जेक्ट लौटाता है, जिसे पाइपलाइन (पाइपलाइनलाइन में वर्णित) के लिए पास किया जाता है। वहां आप प्रारूप में डेटा सहेजने के लिए अपनी कक्षाएं लिख सकते हैं जो मानक स्क्रैपी कार्यक्षमता द्वारा प्रदान नहीं की जाती हैं। उदाहरण के लिए, मोंगॉडब को निर्यात करें।

इस तत्व के क्षेत्रों को XPath का उपयोग करके सेट किया जाता है, जिसे यहाँ या यहाँ पढ़ा जा सकता है । यदि आप FirePath का उपयोग करते हैं, तो ध्यान दें कि यह तालिका के अंदर tbody टैग जोड़ता है। XPath पथों की जांच करने के लिए, अंतर्निहित कंसोल का उपयोग करें।

और एक टिप्पणी। जब आप XPath का उपयोग करते हैं, तो परिणाम एक सूची के रूप में लौटाए जाते हैं, इसलिए टेकफ़र्स्ट आउटपुट प्रोसेसर को कनेक्ट करना सुविधाजनक है, जो इस सूची का पहला तत्व लेता है।

लांच

स्रोत कोड यहां लिया जा सकता है, शुरू करने के लिए, प्रोजेक्ट फ़ोल्डर पर जाएं और कंसोल में टाइप करें

 scrapy crawl abitur --set FEED_URI=scraped_data.csv --set FEED_FORMAT=csv

संक्षेप में, मैंने सब कुछ बताया, लेकिन यह स्क्रेपी की विशेषताओं का एक छोटा सा हिस्सा है :

अपने HTML और XML का डेटा खोज और पुनर्प्राप्त करें
निर्यात से पहले डेटा रूपांतरण
JSON, CSV, XML स्वरूपों में निर्यात करें
फ़ाइल डाउनलोड करें
स्वयं के बिचौलियों, पाइपलाइनों के साथ ढांचा विस्तार
POST अनुरोधों का निष्पादन, कुकीज़ और सत्रों के लिए समर्थन, प्रमाणीकरण
उपयोगकर्ता-एजेंट स्पूफिंग
शेल डिबग कंसोल
लॉगिंग सिस्टम
वेब आधारित निगरानी
टेलनेट कंसोल के माध्यम से प्रबंधन

एक लेख में सब कुछ वर्णन करना असंभव है, इसलिए टिप्पणियों में प्रश्न पूछें, दस्तावेज़ीकरण पढ़ें, और भविष्य के लेखों के बारे में सुझाव दें।

एक उदाहरण GitHub पर पोस्ट किया गया।

स्क्रैपी के साथ डेटा एकत्र करना