पकड़ो - एक HTML दस्तावेज़ के डोम पेड़ के साथ काम करने के लिए एक नया इंटरफ़ेस

ऐतिहासिक भ्रमण

इससे पहले, मैंने पहले ही हड़ के बारे में हेबर पर लिखा था - साइट पार्सर लिखने के लिए एक रूपरेखा: एक , दो , तीन , चार । संक्षेप में, ग्रब दो पुस्तकालयों के शीर्ष पर एक आसान शेल है: नेटवर्किंग के लिए pycurl और पार्सल HTML दस्तावेज़ों के लिए lxml।

Lxml लाइब्रेरी आपको DOM ट्री से XPATH के अनुरोध करने और एलीमेंटट्री ऑब्जेक्ट के रूप में परिणाम प्राप्त करने की अनुमति देती है, जिसमें उपयोगी गुणों का एक गुच्छा होता है। कुछ साल पहले, मैंने कई सरल तरीके विकसित किए हैं जो आपको हॉर्नबीम के माध्यम से लोड किए गए दस्तावेज़ में xpath अनुरोध करने की अनुमति देते हैं। मैं कोड का वर्णन करूंगा:

>>> from grab import Grab >>> g = Grab() >>> g.go('http://habrahabr.ru/') <grab.response.Response object at 0x7fe5f7189850> >>> print g.xpath_text('//title')    /  /  

संक्षेप में, यह निम्नलिखित कोड के समान है:

 >>> from urllib import urlopen >>> from lxml.html import fromstring >>> data = urlopen('http://habrahabr.ru/').read() >>> dom = fromstring(data) >>> print dom.xpath('//title')[0].text_content()    /  /  

Xpath_text विधि की सुविधा यह है कि यह स्वचालित रूप से धर के माध्यम से लोड किए गए दस्तावेज़ पर लागू होता है, आपको पेड़ बनाने की आवश्यकता नहीं है, यह स्वचालित रूप से किया जाता है, आपको मैन्युअल रूप से पहले तत्व का चयन करने की आवश्यकता नहीं है, xpath_text विधि यह स्वचालित रूप से करता है, यह विधि स्वचालित रूप से सभी नेस्टेड तत्वों से पाठ भी निकालती है। । अगला, मैं उनके संक्षिप्त विवरण के साथ ग्रैब लाइब्रेरी के सभी तरीके देता हूं:

• Grab.xpath - स्थिति को संतुष्ट करने वाला पहला तत्व लौटाएं
• Grab.xpath_list - सभी तत्व वापस करें
• Grab.xpath_text - वह पहला तत्व लें जो स्थिति को संतुष्ट करता है और उसमें से पाठ्य सामग्री को निकालता है, अगर तत्व नहीं मिला तो आप डिफ़ॉल्ट मान सेट कर सकते हैं।
• Grab.xpath_number - Grab.xpath_text का परिणाम लें और इसमें संख्या ज्ञात करें

बिना शर्मिंदगी के नहीं। Grab.xpath विधि - चयन का पहला तत्व देता है, जबकि ElementTree ऑब्जेक्ट की xpath विधि पूरी सूची लौटाती है। इस रेक को लेकर लोग बार-बार सामने आए। मैं यह भी नोट करना चाहता हूं कि सीएसएस अनुरोधों के साथ काम करने के तरीकों का बिल्कुल एक ही सेट था यानी। Grab.css, Grab.css_list, Grab.css_text, आदि, लेकिन मैंने व्यक्तिगत रूप से XPATH के पक्ष में सीएसएस अभिव्यक्तियों को खारिज कर दिया क्योंकि XPATH एक अधिक शक्तिशाली उपकरण है और अक्सर इसका उपयोग करने के लिए समझ में आता है और मैं कोड में CSS और XPATH अभिव्यक्तियों का एक मश्मश नहीं देखना चाहता था।

उपरोक्त विधियों में कई नुकसान थे:

सबसे पहले, जब एक अलग फ़ंक्शन में तत्वों का चयन करने के लिए कोड लेना आवश्यक था, तो इन कार्यों को कॉल करने के लिए इसे पूरे ग्रैब ऑब्जेक्ट को पास करने के लिए लुभाना था। कोई अन्य तरीका नहीं है: या तो हम एक ग्रैब ऑब्जेक्ट पास करते हैं या हम एक नंगे डोम ऑब्जेक्ट पास करते हैं जिसमें उपयोगी फ़ंक्शन नहीं होते हैं, जैसे कि xpath_text।

दूसरी बात, Grab.xpath और Grab.xpath_list फ़ंक्शंस के परिणाम नंगे एलिमेंटट्री तत्व हैं जिनके पास अब xpath_text जैसे तरीके नहीं हैं।

तीसरा, हालांकि यह अधिक संभावना है कि एक फ्रेमवर्क विस्तार की समस्या है, एक तरह से या किसी अन्य, ग्रैब ऑब्जेक्ट का नाम स्थान ऊपर वर्णित कई विधियों से भरा हुआ है।

ओह, और चौथा। मैं इस सवाल से झिझक रहा था कि कैसे हथियाने वाले तत्वों का HTML कोड प्राप्त किया जाए। xxpath और Grab.xpath_list तरीकों का उपयोग करके। लोग यह नहीं समझना चाहते थे कि हड़बड़ी केवल lxml के आसपास एक आवरण है और आपको बस lxml.de पर मैनुअल पढ़ने की आवश्यकता है

DOM ट्री के साथ काम करने का नया इंटरफ़ेस इन कमियों को खत्म करने के लिए बनाया गया है। यदि आप स्क्रेपी ढांचे का उपयोग करते हैं, तो नीचे वर्णित चीजें पहले से ही आपको परिचित होंगी। मैं चयनकर्ताओं के बारे में बात करना चाहता हूं।

चयनकर्ताओं

चयनकर्ता, यह क्या है? ये ElementTree तत्वों के आसपास आवरण हैं। प्रारंभ में, दस्तावेज़ का पूरा डोम ट्री एक आवरण में लपेटा जाता है यानी रैपर रूट html तत्व के आसपास बनाया गया है। अगला, हम चयन विधि का उपयोग उन तत्वों की सूची प्राप्त करने के लिए कर सकते हैं जो XPATH अभिव्यक्ति को संतुष्ट करते हैं और ऐसे प्रत्येक तत्व को फिर से चयनकर्ता आवरण में लपेटा जाएगा।

आइए देखें कि हम चयनकर्ताओं के साथ क्या कर सकते हैं। शुरू करने के लिए, हम चयनकर्ता का निर्माण करते हैं

 >>> from grab.selector import Selector >>> from lxml.html import fromstring >>> root = Selector(fromstring('<html><body><h1>Header</h1><ul><li>Item 1</li><li><li>item 2</li></ul><span id="color">green</span>')) 

अब चयन विधि का उपयोग करके एक चयन करें, हमें नए चयनकर्ताओं की एक सूची मिलती है। हम इंडेक्स द्वारा वांछित चयनकर्ता तक पहुंच सकते हैं, पहले चयनकर्ता का चयन करने के लिए एक () विधि भी है। ध्यान दें कि ElementTree तत्व को सीधे एक्सेस करने के लिए, हमें किसी भी चयनकर्ता के नोड विशेषता तक पहुंचने की आवश्यकता है।

 >>> root.select('//ul') <grab.selector.selector.SelectorList object at 0x7fe5f41922d0> >>> root.select('//ul')[0] <grab.selector.selector.Selector object at 0x7fe5f419bed0> >>> root.select('//ul')[0].node <Element ul at 0x7fe5f41a7a70> >>> root.select('//ul').one() <grab.selector.selector.Selector object at 0x7fe5f419bed0> 

पाए गए चयनकर्ताओं पर क्या कार्य उपलब्ध हैं? हम पाठ सामग्री निकाल सकते हैं, संख्यात्मक सामग्री खोजने की कोशिश कर सकते हैं, और यहां तक ​​कि एक नियमित अभिव्यक्ति भी लागू कर सकते हैं।

 >>> root.select('//ul/li')[0].text() 'Item 1' >>> root.select('//ul/li')[0].number() 1 >>> root.select('//ul/li/text()')[0].rex('(\w+)').text() 'Item' 

ध्यान दें कि हम पहले चयनित चयनकर्ता को संदर्भित करने के लिए एक सूचकांक का उपयोग करते हैं। इन सभी रिकॉर्डों को एक सूचकांक निर्दिष्ट किए बिना कम किया जा सकता है, फिर, डिफ़ॉल्ट रूप से, पाया गया पहला चयनकर्ता उपयोग किया जाएगा।

 >>> root.select('//ul/li').text() 'Item 1' >>> root.select('//ul/li').number() 1 >>> root.select('//ul/li/text()').rex('em (\d+)').text() '1' >>> root.select('//ul/li/text()').rex('em (\d+)').number() 1 

और क्या? HTML विधि चयनकर्ता HTML कोड प्राप्त करने के लिए, चयनकर्ता के अस्तित्व की जांच करने के लिए मौजूद विधि है। आप किसी भी चयनकर्ता पर चयन विधि को भी कॉल कर सकते हैं।

 >>> root.select('//span')[0].html() u'<span id="color">green</span>' >>> root.select('//span').exists() True >>> root.select('//god').exists() False >>> root.select('//ul')[0].select('./li[3]').text() 'item 2' 

ग्रैब ऑब्जेक्ट से सीधे चयनकर्ता के साथ कैसे काम करें? डॉक्टर विशेषता का उपयोग करके, आप DOM ट्री के रूट चयनकर्ता तक पहुँच सकते हैं और फिर इच्छित चयन के लिए चयन विधि का उपयोग कर सकते हैं:

 >>> from grab import Grab >>> g = Grab() >>> g.go('http://habrahabr.ru/') <grab.response.Response object at 0x2853410> >>> print g.doc.select('//h1').text()   ,      MIT    >>> print g.doc.select('//div[contains(@class, "post")][2]')[0].select('.//div[@class="favs_count"]').number() 60 >>> print g.doc.select('//div[contains(@class, "post")][2]')[0].select('.//div[@class="favs_count"]')[0].html() <div class="favs_count" title=" ,    ">60</div> 

ग्रैब में चयनकर्ताओं का वर्तमान कार्यान्वयन अभी भी काफी कच्चा है, लेकिन मुझे लगता है कि नए इंटरफ़ेस को समझना और उसका मूल्यांकन करना पहले से ही संभव है।

जिप के संस्करण में अभी तक कोई चयनकर्ता उपलब्ध नहीं हैं। यदि आप चयनकर्ताओं के साथ खेलना चाहते हैं, तो भंडार से पकड़ो: bitbucket.org/lorien/grab । विशेष रूप से, चयनकर्ताओं का कार्यान्वयन यहां है

मैं कंपनी GrabLab का प्रतिनिधित्व करता हूं - हम पार्सिंग साइटों में लगे हुए हैं, ग्रैब का उपयोग करके पार्सिंग कर रहे हैं और न केवल। यदि आपकी कंपनी ग्रैब का उपयोग करती है, तो आप अपनी आवश्यकताओं के लिए ग्रैब के शोधन के संबंध में हमसे संपर्क कर सकते हैं।