🔁 🚟 ™️ पकड़ो - पार्सिंग साइटों के लिए अजगर पुस्तकालय 🍖 🚂 ☺️

लगभग पाँच या छह साल पहले, जब मैं अभी भी पीएचपी में मुख्य रूप से प्रोग्रामिंग कर रहा था, तो मैंने साइट्स को पार्स करने के लिए कर्ल लाइब्रेरी का उपयोग करना शुरू किया। मुझे एक उपकरण की आवश्यकता थी जिसने मुझे किसी साइट पर उपयोगकर्ता सत्र का अनुकरण करने, एक नियमित ब्राउज़र के हेडर भेजने और POST अनुरोध भेजने का एक सुविधाजनक तरीका प्रदान करने की अनुमति दी। सबसे पहले मैंने सीधे कर्ल एक्सटेंशन का उपयोग करने की कोशिश की, लेकिन इसका इंटरफ़ेस बहुत असुविधाजनक था और मैंने एक सरल इंटरफ़ेस के साथ एक आवरण लिखा। समय बीतता गया, मैं अजगर के पास गया और उसी ओक कर्ल एक्सटेंशन एपीआई में भाग गया। मुझे अजगर में रैपर को फिर से लिखना पड़ा।

हड़पना क्या है?

यह पार्सिंग साइटों के लिए एक पुस्तकालय है। इसके मुख्य कार्य:

नेटवर्क अनुरोध तैयारी (कुकीज़, http-headers, POST / GET डेटा)
सर्वर अनुरोध (संभवतः HTTP / SOCKS प्रॉक्सी के माध्यम से)
एक सर्वर प्रतिक्रिया और इसकी प्रारंभिक प्रक्रिया प्राप्त करना (हेडिंग पार्स करना, कुकीज़ पार्स करना, किसी दस्तावेज़ की एन्कोडिंग का निर्धारण करना, एक रीडायरेक्ट संसाधित करना (यहां तक कि मेटा रिफ्रेश टैग में एक रीडायरेक्ट समर्थित है))
DOM प्रतिक्रिया ट्री के साथ काम करें (यदि यह HTML डॉक्यूमेंट है)
रूपों के साथ काम करना (भरना, ऑटोफिल)
डीबगिंग: प्रक्रिया को कंसोल, नेटवर्क अनुरोधों और फ़ाइलों के जवाबों में लॉग करना

अगला, मैं प्रत्येक आइटम के बारे में अधिक विस्तार से बात करूंगा। सबसे पहले, एक कार्य ऑब्जेक्ट को आरम्भ करने और एक नेटवर्क अनुरोध तैयार करने के बारे में बात करते हैं। मैं कोड का एक उदाहरण दूंगा जो यांडेक्स से एक पृष्ठ का अनुरोध करता है और इसे एक फ़ाइल में सहेजता है:

>>> g = Grab(log_file='out.html') >>> g.go('http://yandex.ru')

वास्तव में, `log_file` पैरामीटर डिबगिंग के लिए अभिप्रेत है - यह इंगित करता है कि आगे के अध्ययन के लिए प्रतिक्रिया निकाय को कहाँ सहेजना है। लेकिन आप इसे फ़ाइल डाउनलोड करने के लिए उपयोग कर सकते हैं।

हमने देखा कि आप कंस्ट्रक्टर में ग्रैब ऑब्जेक्ट को कैसे कॉन्फ़िगर कर सकते हैं - सही। और यहाँ एक ही कोड के कुछ और संस्करण हैं:

 >>> g = grab() >>> g.setup(url='http://yandex.ru', log_file='out.html') >>> g.request()

या

 >>> g = Grab() >>> g.go('http://yandex.ru', log_file='out.html')

सबसे छोटा:

 >>> Grab(log_file='out.html').go('http://yandex.ru')

संक्षेप में: आप कंस्ट्रक्टर के माध्यम से, 'सेटअप' विधि के माध्यम से या `गो 'और` अनुरोध` विधियों के माध्यम से हड़पने के कॉन्फ़िगरेशन को निर्दिष्ट कर सकते हैं। `Go` पद्धति के मामले में, अनुरोधित URL को एक स्थैतिक तर्क के रूप में पारित किया जा सकता है, अन्य मामलों में, इसे एक नामित तर्क के रूप में पारित किया जाना चाहिए। `Go` और` request` विधियों के बीच का अंतर यह है कि `go` के लिए पहले पैरामीटर की आवश्यकता होती है, जबकि अनुरोध को किसी भी चीज़ की आवश्यकता नहीं होती है और हम पहले सेट किए गए URL का उपयोग करते हैं।

`Log_file` विकल्प के अलावा,` log_dir` विकल्प है, जो बहु-कदम पार्सर को डीबग करना अविश्वसनीय रूप से आसान बनाता है।

 >>> import logging >>> from grab import Grab >>> logging.basicConfig(level=logging.DEBUG) >>> g = Grab() >>> g.setup(log_dir='log/grab') >>> g.go('http://yandex.ru') DEBUG:grab:[02] GET http://yandex.ru >>> g.setup(post={'hi': u', !'}) >>> g.request() DEBUG:grab:[03] POST http://yandex.ru

आप देखते हैं? प्रत्येक अनुरोध को एक नंबर मिला। प्रत्येक अनुरोध की प्रतिक्रिया फ़ाइल / tmp / [संख्या 022.html में दर्ज की गई थी, और / tmp / [संख्या 022.log फ़ाइल भी बनाई गई थी, जिसमें प्रतिक्रिया के http-headers दर्ज किए गए थे। और उपरोक्त कोड क्या करता है? वह यैंडेक्स के मुख्य पृष्ठ पर जाता है। और फिर यह उसी पृष्ठ पर एक व्यर्थ POST अनुरोध करता है। कृपया ध्यान दें कि दूसरे अनुरोध में हम URL को निर्दिष्ट नहीं करते हैं - पिछले अनुरोध का url डिफ़ॉल्ट रूप से उपयोग किया जाता है।

आइए एक और पकड़ो डिबगिंग सेटिंग को देखें।

 >>> g = Grab() >>> g.setup(debug=True) >>> g.go('http://youporn.com') >>> g.request_headers {'Accept-Language': 'en-us;q=0.9,en,ru;q=0.3', 'Accept-Encoding': 'gzip', 'Keep-Alive': '300', 'Accept': 'text/xml,application/xml,application/xhtml+xml,text/html;q=0.9,text/plain;q=0.8,image/png,*/*;q=0.3', 'User-Agent': 'Mozilla/5.0 (Windows; U; Windows NT 5.1; en; rv:1.9.0.2) Gecko/2008091620 Firefox/3.0.2', 'Accept-Charset': 'utf-8,windows-1251;q=0.7,*;q=0.7', 'Host': 'www.youporn.com'}

हमने youporn.com से एक अनुरोध किया। डिबग विकल्प आउटगोइंग अनुरोध हेडर संग्रहीत करने में सक्षम बनाता है। यदि हम कुछ के बारे में सुनिश्चित नहीं हैं, तो आप देख सकते हैं कि हमने सर्वर को वास्तव में क्या भेजा है। Request_headers विशेषता में अनुरोध के http हेडर की कुंजियों और मूल्यों के साथ एक शब्दकोश है।

प्रश्नों के संकलन के लिए बुनियादी क्षमताओं पर विचार करें।

Http अनुरोध विधियों

पोस्ट अनुरोध। यह बहुत आसान है। `पोस्ट` विकल्प में कुंजियों और मूल्यों के साथ एक शब्दकोश निर्दिष्ट करें। पकड़ो स्वचालित रूप से अनुरोध प्रकार को POST में बदल देगा।

 >>> g = Grab() >>> g.setup(post={'act': 'login', 'redirec_url': '', 'captcha': '', 'login': 'root', 'password': '123'}) >>> g.go('http://habrahabr.ru/ajax/auth/') >>> print g.xpath_text('//error')

अनुरोध प्राप्त करें। यदि कोई POST डेटा या अनुरोध विधि स्पष्ट रूप से सेट नहीं की गई है, तो Grab एक GET अनुरोध उत्पन्न करेगा।

PUT, DELETE, HEAD विधियाँ। सैद्धांतिक रूप से, यदि आप विकल्प विधि = 'डिलीट', विधि = 'पुट' या विधि = 'हेड' सेट करते हैं तो सब कुछ काम करेगा। व्यवहार में, मैंने इन विधियों के साथ बहुत कम काम किया है और उनके प्रदर्शन के बारे में निश्चित नहीं हूं।

POST अनुरोधों के बारे में महत्वपूर्ण सूचना। पकड़ो को दिए गए सभी विकल्पों को बचाने और निम्नलिखित प्रश्नों में उनका उपयोग करने के लिए डिज़ाइन किया गया है। एकमात्र विकल्प जो इसे नहीं बचाता है वह `पोस्ट` विकल्प है। यदि उसने इसे सहेजा है, तो निम्नलिखित उदाहरण में, आप दूसरे URL पर एक POST अनुरोध भेजेंगे, और यह शायद ही आप चाहते हैं:

 >>> g.setup(post={'login': 'root', 'password': '123'}) >>> g.go('http://example.com/login') >>> g.go('http://example.com/news/recent')

HTTP शीर्ष लेख कॉन्फ़िगर करें

अब देखते हैं कि आप भेजे गए हेडर को कैसे कॉन्फ़िगर कर सकते हैं। हेडर शब्दकोश को 'हेडर' विकल्प के साथ सेट करें। डिफ़ॉल्ट रूप से, ग्रैब कुछ हेडर को एक ब्राउज़र की तरह देखने के लिए उत्पन्न करता है: स्वीकार करें, स्वीकार करें-भाषा, स्वीकार-सारथी, कीप-अलाइव। आप उन्हें 'हेडर' विकल्प के साथ भी बदल सकते हैं:

 >>> g = Grab() >>> g.setup(headers={'Accept-Encoding': ''}) >>> g.go('http://digg.com') >>> print g.response.headers.get('Content-Encoding') None >>> g.setup(headers={'Accept-Encoding': 'gzip'}) >>> g.go('http://digg.com') >>> print g.response.headers['Content-Encoding'] gzip

कुकीज़ के साथ काम करें

डिफ़ॉल्ट रूप से, ग्रैब प्राप्त कुकीज़ को बचाता है और उन्हें अगले अनुरोध में भेजता है। आपको बॉक्स से उपयोगकर्ता सत्र अनुकरण मिलता है। यदि आपको इसकी आवश्यकता नहीं है, तो `reuse_cookies` विकल्प को अक्षम करें। आप कुकीज़ को मैन्युअल रूप से `कुकीज़` विकल्प के साथ सेट कर सकते हैं, इसमें एक शब्दकोश होना चाहिए, जिसका प्रसंस्करण` पोस्ट` विकल्प में प्रेषित डेटा के प्रसंस्करण के समान है।

 >>> g.setup(cookies={'secureid': '234287a68s7df8asd6f'})

आप उस फ़ाइल को निर्दिष्ट कर सकते हैं जिसका उपयोग कुकी 'विकल्प' के साथ कुकी भंडारण के रूप में किया जाना चाहिए। यह आपको प्रोग्राम लॉन्च के बीच कुकीज़ को बचाने की अनुमति देगा।

किसी भी समय, आप डंप_कूक विधि का उपयोग करके किसी फ़ाइल में ग्रैब ऑब्जेक्ट कुकीज़ को लिख सकते हैं, या फाइल से लोड कर सकते हैं load_cookies विधि। पकड़ो ऑब्जेक्ट की कुकीज़ को साफ़ करने के लिए, 'clear_cookies` विधि का उपयोग करें।

उपयोगकर्ता एजेंट

डिफ़ॉल्ट रूप से, ग्रैब एक वास्तविक ब्राउज़र होने का दिखावा करता है। इसमें अलग-अलग उपयोगकर्ता-एजेंट स्ट्रिंग्स की एक सूची है, जिनमें से एक ग्रैब ऑब्जेक्ट बनाते समय यादृच्छिक रूप से चुना जाता है। बेशक, आप अपने यूजर-एजेंट को `user_agent` विकल्प के साथ सेट कर सकते हैं।

 >>> from grab import Grab >>> g = Grab() >>> g.go('http://whatsmyuseragent.com/') >>> g.xpath('//td[contains(./h3/text(), "Your User Agent")]').text_content() 'The Elements of Your User Agent String Are:\nMozilla/5.0\r\nWindows\r\nU\r\nWindows\r\nNT\r\n5.1\r\nen\r\nrv\r\n1.9.0.1\r\nGecko/2008070208\r\nFirefox/3.0.1' >>> g.setup(user_agent='Porn-Parser') >>> g.go('http://whatsmyuseragent.com/') >>> g.xpath('//td[contains(./h3/text(), "Your User Agent")]').text_content() 'The Elements of Your User Agent String Are:\nPorn-Parser'

प्रॉक्सी सर्वर के साथ काम करें

सब कुछ ट्राइट है। प्रॉक्सी विकल्प में, आपको "सर्वर: पोर्ट" के रूप में प्रॉक्सी पते को पास करने की आवश्यकता होती है, प्रॉक्सी_टाइप विकल्प में हम इसके प्रकार को पास करते हैं: http, मोजे 4 या मोज़े 5 यदि आपके प्रॉक्सी को प्राधिकरण की आवश्यकता है, तो प्रॉक्सी_सुमेर विकल्प का उपयोग करें, मान जिसके पास "उपयोगकर्ता: पासवर्ड" है।
Google खोज पर आधारित सबसे सरल प्रॉक्सी खोज इंजन:

 >>> from grab import Grab, GrabError >>> from urllib import quote >>> import re >>> g = Grab() >>> g.go('http://www.google.ru/search?num=100&q=' + quote('free proxy +":8080"')) >>> rex = re.compile(r'(?:(?:[-a-z0-9]+\.)+)[a-z0-9]+:\d{2,4}') >>> for proxy in rex.findall(g.drop_space(g.css_text('body'))): ... g.setup(proxy=proxy, proxy_type='http', connect_timeout=5, timeout=5) ... try: ... g.go('http://google.com') ... except GrabError: ... print proxy, 'FAIL' ... else: ... print proxy, 'OK' ... 210.158.6.201:8080 FAIL ... proxy2.com:80 OK …. 210.107.100.251:8080 OK ….

उत्तर कार्य

मान लीजिए कि आपने ग्रैब का उपयोग करके नेटवर्क अनुरोध किया है। आगे क्या है? `Go` और` request` विधियाँ एक रिस्पांस ऑब्जेक्ट लौटाएंगे, जो ग्रैब ऑब्जेक्ट की `प्रतिक्रिया` विशेषता के माध्यम से भी उपलब्ध है। आप प्रतिक्रिया वस्तु के निम्नलिखित गुणों और विधियों में रुचि रख सकते हैं: कोड, बॉडी, हेडर, यूआरएल, कुकीज, चारसेट।

कोड - HTTP प्रतिक्रिया कोड। यदि उत्तर 200 वें से अलग है, तो कोई अपवाद उत्पन्न नहीं होगा, इसे ध्यान में रखें।
शरीर वास्तविक प्रतिक्रिया शरीर है, जिसमें HTTP हेडर को छोड़कर
हेडर - ये शब्दकोश में हेडर हैं
url - मूल से भिन्न हो सकता है यदि कोई रीडायरेक्ट था
कुकीज़ - शब्दकोश में कुकीज़
charset - दस्तावेज़ की एन्कोडिंग, इसे दस्तावेज़ के META टैग में खोजा जाता है, सामग्री-प्रकार http-प्रतिक्रिया हेडर और XML-दस्तावेज़ों के xml- घोषणा में भी।

ग्रैब ऑब्जेक्ट में `response_unicode_body` नामक एक विधि है, जो प्रतिक्रिया बॉडी को यूनिकोड में परिवर्तित कर देता है, ध्यान दें कि HTML प्रकार की इकाइयाँ और यूनिकोड समकक्षों में परिवर्तित नहीं होती हैं।

अंतिम अनुरोध की प्रतिक्रिया ऑब्जेक्ट हमेशा विशेषता `प्रतिक्रिया` पकड़ो ऑब्जेक्ट में संग्रहीत होती है।

 >>> g = Grab() >>> g.go('http://aport.ru') >>> g.response.code 200 >>> g.response.cookies {'aportuid': 'AAAAGU5gdfAAABRJAwMFAg=='} >>> g.response.headers['Set-Cookie'] 'aportuid=AAAAGU5gdfAAABRJAwMFAg==; path=/; domain=.aport.ru; expires=Wed, 01-Sep-21 18:21:36 GMT' >>> g.response.charset 'windows-1251'

प्रतिक्रिया पाठ के साथ कार्य करना (Grab.ext.text एक्सटेंशन)

खोज विधि आपको यह निर्धारित करने की अनुमति देती है कि निर्दिष्ट स्ट्रिंग प्रतिक्रिया निकाय में मौजूद है या नहीं, खोज_संबंध विधि पैरामीटर के रूप में एक नियमित अभिव्यक्ति ऑब्जेक्ट को स्वीकार करती है। यदि तर्क नहीं मिला, तो Assert_substring और assert_rex तरीके DataNotFound अपवाद को फेंक देते हैं। इसके अलावा इस विस्तार में ऐसे सुविधाजनक कार्य हैं जैसे `find_number - पहली संख्यात्मक घटना की खोज करता है,` drop_space` - किसी भी व्हाट्सएप वर्ण को हटाता है और `normalize_space` - एक स्थान के साथ रिक्त स्थान के क्रम को बदलता है।

 >>> g = Grab() >>> g.go('http://habrahabr.ru') >>> g.search(u'Google') True >>> g.search(u'') False >>> g.search(u'') False >>> g.search(u'') False >>> g.search(u'') True >>> g.search('') Traceback (most recent call last): File "", line 1, in File "grab/ext/text.py", line 37, in search raise GrabMisuseError('The anchor should be byte string in non-byte mode') grab.grab.GrabMisuseError: The anchor should be byte string in non-byte mode >>> g.search('', byte=True) True >>> import re >>> g.search_rex(re.compile('Google')) <_sre.SRE_Match object at 0xb6b0a6b0> >>> g.search_rex(re.compile('Google\s+\w+', re.U)) <_sre.SRE_Match object at 0xb6b0a6e8> >>> g.search_rex(re.compile('Google\s+\w+', re.U)).group(0‌) u'Google Chrome' >>> g.assert_substring('  ') Traceback (most recent call last): File "", line 1, in File "grab/ext/text.py", line 62, in assert_substring if not self.search(anchor, byte=byte): File "grab/ext/text.py", line 37, in search raise GrabMisuseError('The anchor should be byte string in non-byte mode') grab.grab.GrabMisuseError: The anchor should be byte string in non-byte mode >>> g.assert_substring(u'  ') Traceback (most recent call last): File "", line 1, in File "grab/ext/text.py", line 63, in assert_substring raise DataNotFound('Substring not found: %s' % anchor) grab.grab.DataNotFound >>> g.drop_spaces('foo bar') Traceback (most recent call last): File "", line 1, in AttributeError: 'Grab' object has no attribute 'drop_spaces' >>> g.drop_space('foo bar') 'foobar' >>> g.normalize_space(' foo \n \t bar') 'foo bar' >>> g.find_number('12    ') '12'

DOM ट्री के साथ काम करें (Grab.ext.lxml एक्सटेंशन)

हम सबसे दिलचस्प दृष्टिकोण। अद्भुत lxml लाइब्रेरी के लिए धन्यवाद, ग्रैब आपको डेटा खोजने के लिए xpath अभिव्यक्तियों के साथ काम करने की क्षमता देता है। यदि बहुत संक्षेप में: `ट्री` विशेषता के माध्यम से, आप DOM ट्री को एलीमेंटट्री इंटरफ़ेस के साथ एक्सेस कर सकते हैं। पेड़ को lxml लाइब्रेरी के पार्सर का उपयोग करके बनाया गया है। आप दो क्वेरी भाषाओं का उपयोग करके DOM ट्री के साथ काम कर सकते हैं: xpath और css।

Xpath के साथ काम करने के तरीके:

xpath - अनुरोध को संतुष्ट करने वाला पहला तत्व लौटाएं
xpath_list - सभी तत्व वापस करें xpath_text - तत्व की पाठ सामग्री (और सभी नेस्टेड तत्व) लौटाएं
xpath_number - किसी तत्व के पाठ (और सभी नेस्टेड तत्वों) से पहली संख्यात्मक घटना लौटाते हैं

यदि तत्व नहीं मिला, तो फ़ंक्शंस `xpath`,` xpath_text` और `xpath_number` एक DataNotFound अपवाद को फेंक देंगे।

फ़ंक्शन `css`,` css_list`, `css_text` और` css_number` समान रूप से काम करते हैं, एक अपवाद के साथ, तर्क एक xpath पथ नहीं होना चाहिए, लेकिन एक css चयनकर्ता।

 >>> g = Grab() >>> g.go('http://habrahabr.ru') >>> g.xpath('//h2/a[@class="topic"]').get('href') 'http://habrahabr.ru/blogs/qt_software/127555/' >>> print g.xpath_text('//h2/a[@class="topic"]')  Qt Creator 2.3.0‌ >>> print g.css_text('h2 a.topic')  Qt Creator 2.3.0‌ >>> print 'Comments:', g.css_number('.comments .all') Comments: 5 >>> from urlparse import urlsplit >>> print ', '.join(urlsplit(x.get('href')).netloc for x in g.css_list('.hentry a') if not 'habrahabr.ru' in x.get('href') and x.get('href').startswith('http:')) labs.qt.nokia.com, labs.qt.nokia.com, thisismynext.com, www.htc.com, www.htc.com, droider.ru, radikal.ru, www.gosuslugi.ru, bit.ly

प्रपत्र (Grab.ext.lxml_form एक्सटेंशन)

जब मैंने स्वचालित फॉर्म भरने की कार्यक्षमता लागू की, तो मुझे बहुत खुशी हुई। आप पर भी खुशी! तो, वहाँ `set_input` विधियाँ हैं - यह निर्दिष्ट नाम,` set_input_by_id` - आईडी विशेषता के मूल्य से फ़ील्ड भरता है, और `set_input_by_number` - बस संख्या के साथ। ये विधियाँ एक ऐसे रूप के साथ काम करती हैं जिसे हाथ से सेट किया जा सकता है, लेकिन आमतौर पर ग्रैब खुद ही सही अनुमान लगा लेते हैं कि किस फॉर्म के साथ काम करना है। यदि फ़ॉर्म एक है - सब कुछ स्पष्ट है, लेकिन यदि कई हैं? ग्रैब उस फॉर्म को लेगा जिसमें सबसे अधिक क्षेत्र हैं। किसी प्रपत्र को मैन्युअल रूप से निर्दिष्ट करने के लिए, `select_form` विधि का उपयोग करें। आप सबमिट विधि का उपयोग करके पूर्ण किए गए फॉर्म को जमा कर सकते हैं। पकड़ो खुद ही उन क्षेत्रों के लिए एक पोस्ट / जीईटी अनुरोध का निर्माण करेंगे जिन्हें हमने स्पष्ट रूप से नहीं भरा था (उदाहरण के लिए, छिपे हुए क्षेत्र), फॉर्म की कार्रवाई और अनुरोध विधि की गणना करें। इसमें 'form_fields' पद्धति भी है जो शब्दकोश में सभी फ़ील्ड और फ़ॉर्म मान लौटाएगी।

 >>> g.go('http://ya.ru/') >>> g.set_input('text', u' ') >>> g.submit() >>> print ', '.join(x.get('href') for x in g.css_list('.b-serp-url__link')) http://gigporno.ru/, http://drochinehochu.ru/, http://porno.bllogs.ru/, http://www.pornoflv.net/, http://www.plombir.ru/, http://vuku.ru/, http://www.carol.ru/, http://www.Porno-Mama.ru/, http://kashtanka.com/, http://www.xvidon.ru/

परिवहन

डिफ़ॉल्ट रूप से, ग्रैब सभी नेटवर्क संचालन के लिए pycurl का उपयोग करता है। यह कार्यक्षमता विस्तार के रूप में भी लागू की जाती है और आप urllib2 लाइब्रेरी के माध्यम से अनुरोधों के लिए एक और परिवहन एक्सटेंशन कनेक्ट कर सकते हैं। केवल एक समस्या है, इस एक्सटेंशन को पहले से लिखा जाना चाहिए :) urllib2 एक्सटेंशन पर काम चल रहा है, लेकिन बहुत धीरे-धीरे - मैं pycurl से 100% संतुष्ट हूं। मुझे लगता है कि pycurl और urllib2 एक्सटेंशन क्षमताओं में समान होंगे, सिवाय इसके कि urllib2 SOCKS प्रॉक्सी के साथ काम करने में सक्षम नहीं है। इस आलेख में सभी उदाहरण pycurl परिवहन का उपयोग करते हैं, जो डिफ़ॉल्ट रूप से सक्षम है।

 >>> g = Grab() >>> g.curl <pycurl.Curl object at 0x9d4ba04> >>> g.extensions [<grab.ext.pycurl.Extension object at 0xb749056c>, <grab.ext.lxml.Extension object at 0xb749046c>, <grab.ext.lxml_form.Extension object at 0xb6de136c>, <grab.ext.django.Extension object at 0xb6a7e0ac>]

हथौड़ा मोड

यह मोड डिफ़ॉल्ट रूप से सक्षम है। ग्रैब में प्रत्येक अनुरोध के लिए एक समयबाह्य है। हथौड़ा मोड में, टाइमआउट की स्थिति में, ग्रैब तुरंत एक अपवाद नहीं फेंकता है, लेकिन बढ़ते समय के साथ कई बार अनुरोध करने की कोशिश करता है। यह मोड आपको प्रोग्राम की स्थिरता को महत्वपूर्ण रूप से बढ़ाने की अनुमति देता है। चैनल में साइटों या अंतराल के काम में सूक्ष्म ठहराव का सामना अक्सर किया जाता है। मोड को सक्षम करने के लिए, 'हथौड़ा_मोड' विकल्प का उपयोग करें, टाइमआउट की संख्या और लंबाई निर्धारित करने के लिए, 'हथौड़ा_ टाइमआउट' विकल्प का उपयोग करें, जिसके लिए संख्यात्मक जोड़े की एक सूची पारित की जानी चाहिए: पहला नंबर सर्वर सॉकेट से कनेक्ट होने का समय है, दूसरा नंबर ऑपरेशन सहित पूरी अवधि के लिए टाइमआउट है। प्रतिक्रिया मिल रही है।

 >>> import logging >>> logging.basicConfig(level=logging.DEBUG) >>> g = Grab() >>> g.setup(hammer_mode=True, hammer_timeouts=((1, 1), (2, 2), (30, 30))) >>> URL = 'http://download.wikimedia.org/enwiki/20110803/enwiki-20110803-stub-articles5.xml.gz' >>> g.go(URL, method='head') DEBUG:grab:[01] HEAD http://download.wikimedia.org/enwiki/20110803/enwiki-20110803-stub-articles5.xml.gz >>> print 'File size: %d Mb' % (int(g.response.headers['Content-Length']) / (1024 * 1024)) File size: 3 Mb >>> g.go(URL, method='get') DEBUG:grab:[02] GET http://download.wikimedia.org/enwiki/20110803/enwiki-20110803-stub-articles5.xml.gz DEBUG:grab:Trying another timeouts. Connect: 2 sec., total: 2 sec. DEBUG:grab:[03] GET http://download.wikimedia.org/enwiki/20110803/enwiki-20110803-stub-articles5.xml.gz DEBUG:grab:Trying another timeouts. Connect: 30 sec., total: 30 sec. DEBUG:grab:[04] GET http://download.wikimedia.org/enwiki/20110803/enwiki-20110803-stub-articles5.xml.gz >>> print 'Downloaded: %d Mb' % (len(g.response.body) / (1024 * 1024)) Downloaded: 3 Mb

Django एक्सटेंशन (Grab.ext.django)

हाँ, हाँ। ऐसी एक चीज है :-) मान लीजिए कि आपके पास एक मूवी मॉडल है जिसमें ImageField फ़ील्ड `चित्र` है। यहां चित्र डाउनलोड करने और मूवी ऑब्जेक्ट पर सहेजने का तरीका बताया गया है।

 >>> obj = Movie.objects.get(pk=797) >>> g = Grab() >>> g.go('http://img.yandex.net/i/www/logo.png') >>> obj.picture = g.django_file() >>> obj.save()

ग्रैब में और क्या है?

अन्य चिप्स हैं, लेकिन मुझे डर है कि लेख बहुत बड़ा होगा। ग्रैब लाइब्रेरी के उपयोगकर्ता का मुख्य नियम यह है कि यदि कुछ स्पष्ट नहीं है, तो आपको कोड देखने की आवश्यकता है। प्रलेखन अभी भी कमजोर है

विकास की योजनाएँ

मैं कई वर्षों से ग्रैब का उपयोग कर रहा हूं, जिसमें उत्पादन स्थल भी शामिल हैं, उदाहरण के लिए, एग्रीगेटर में, जहां आप मॉस्को और अन्य शहरों में डिस्काउंट कूपन खरीद सकते हैं। 2011 में, मैंने परीक्षण और दस्तावेज लिखना शुरू कर दिया। शायद मैं मल्टीकलर पर आधारित अतुल्यकालिक अनुरोधों के लिए कार्यक्षमता लिखूंगा। यूरलिब ट्रांसपोर्ट खत्म करना भी अच्छा होगा।

मैं परियोजना को कैसे मदद कर सकता हूं? बस इसका उपयोग करें, बग्रेपोर्ट और पैच भेजें। आप मुझसे पार्सर्स, ग्रबर्स , सूचना प्रोसेसिंग स्क्रिप्ट लिखने का भी आदेश दे सकते हैं। मैं नियमित रूप से हड़पने का उपयोग करके इस तरह की चीजें लिखता हूं।

आधिकारिक परियोजना भंडार: bitbucket.org/lorien/grab लाइब्रेरी को pypi.python.org से भी वितरित किया जा सकता है, लेकिन आमतौर पर भंडार में कोड ताज़ा होता है।

UPD: टिप्पणियों में हॉर्नबीम के सभी प्रकारों के विकल्प दिए गए। मैंने उन्हें अपने सिर से एक सूची + कुछ के साथ सारांशित करने का निर्णय लिया। वास्तव में, इन वैगन और छोटे ट्रॉली के विकल्प हैं। मुझे लगता है कि हर एन-वें प्रोग्रामर एक दिन नेटवर्क अनुरोधों के लिए एक उपयोगिता बाइक तय करता है:

UPD2: कृपया अपने प्रश्नों को पुस्तकालय के बारे में Google समूह को लिखें: group.google.com/group/python-grab/ अन्य हड़पने वाले उपयोगकर्ताओं को प्रश्नों और उत्तरों से खुद को परिचित कराना सहायक होगा।

UPD3: अप-टू-डेट प्रलेखन docs.grablib.org/ पर उपलब्ध है

UPD4: वर्तमान परियोजना स्थल: Grablib.org

UPD5: लेख में स्रोत कोड के निश्चित उदाहरण। अगले उन्नयन के बाद, हेब्राह्ब ने उन कारणों के लिए पुराने लेखों में कोड के प्रारूपण को सही करना शुरू नहीं किया, जिन कारणों से मुझे समझ नहीं आया और यह हर जगह चला गया। लेख को सही करने के लिए अलेक्सी माज़ानोव का धन्यवाद। वह भी हबर को प्राप्त करना चाहता है, यदि आपके पास एक निमंत्रण है, तो उसका मेल: egocentrist@me.com

पकड़ो - पार्सिंग साइटों के लिए अजगर पुस्तकालय