पायथन का उपयोग कर एक वेबसाइट से छवियों को डाउनलोड करने के लिए चार तरीके

हाल ही में, मुझे अजगर पर एक साधारण पार्सर लिखना था जो साइट से छवियों को डाउनलोड करेगा (सिद्धांत रूप में, वही पार्सर न केवल छवियों को डाउनलोड कर सकता है, बल्कि अन्य प्रारूपों की फाइलें भी) और उन्हें डिस्क पर सहेज सकता है। कुल मिलाकर, मुझे इंटरनेट पर चार तरीके मिले। इस लेख में, मैंने उन सभी को एक साथ इकट्ठा करने का फैसला किया।

ये तरीके हैं:

पहली विधि

पहली विधि urllib मॉड्यूल (या urllib2) का उपयोग करती है। चलो कुछ छवि img के लिए एक कड़ी हो। विधि इस प्रकार है:

import urllib resource = urllib.urlopen(img) out = open("...\img.jpg", 'wb') out.write(resource.read()) out.close() 

यहां आपको ध्यान देने की आवश्यकता है कि छवियों के लिए रिकॉर्डिंग मोड 'wb' (बाइनरी) है, न कि सिर्फ 'w'।

दूसरी विधि

दूसरी विधि एक ही urlib का उपयोग करती है। भविष्य में यह दिखाया जाएगा कि यह विधि पहले की तुलना में थोड़ी धीमी है (पार्सिंग गति कारक का नकारात्मक अर्थ अस्पष्ट है), लेकिन इसकी संक्षिप्तता के कारण ध्यान देने योग्य है:

 import urllib urllib.urlretrieve(img, "...\img.jpg") 

इसके अलावा, यह ध्यान देने योग्य है कि मेरे लिए अज्ञात कारणों से urllib2 लाइब्रेरी में urlretrieve फ़ंक्शन (क्या कोई मुझे बता सकता है) गायब है।

तीसरी विधि

तीसरी विधि अनुरोध मॉड्यूल का उपयोग करती है। विधि में पहले दो तरीकों के साथ छवि अपलोड गति का समान क्रम है:

 import requests p = requests.get(img) out = open("...\img.jpg", "wb") out.write(p.content) out.close() 

उसी समय, जब अजगर में वेब के साथ काम करते हैं, तो इसकी संक्षिप्तता और इसे संभालने में आसानी की वजह से urllib और रिश्वत परिवारों के बजाय बिल्कुल अनुरोधों का उपयोग करने की सिफारिश की जाती है।

चौथा तरीका

चौथा तरीका पिछली विधियों (एक पूरे क्रम से) की गति में मौलिक रूप से भिन्न है। उन पर आधारितplplib2 मॉड्यूल के उपयोग के आधार पर। यह इस तरह दिखता है:

 import httplib2 h = httplib2.Http('.cache') response, content = h.request(img) out = open('...\img.jpg', 'wb') out.write(content) out.close() 

यहां स्पष्ट रूप से कैशिंग का उपयोग किया जाता है। कैशिंग (एच = कैंप्लिब 2.हेट्प ()) के बिना, विधि अपने पिछले समकक्षों की तुलना में 6-9 गुना धीमी गति से काम करती है।

एक्सटेंशन के साथ छवियों को डाउनलोड करने के उदाहरण पर स्पीड परीक्षण किया गया था। lenta.ru समाचार फ़ीड की साइट से .jpg। इस मानदंड और कार्यक्रम के निष्पादन समय के मापन के लिए उपयुक्त छवियों का चयन निम्नानुसार किया गया था:

 import re, time, urllib2 url = "http://lenta.ru/" content = urllib2.urlopen(url).read() imgUrls = re.findall('img .*?src="(.*?)"', ontent) start = time.time() for img in imgUrls: if img.endswith(".jpg"): """      url""" print time.time()-start 

साइट पर लगातार बदलती तस्वीरें माप की शुद्धता को प्रभावित नहीं करती हैं, क्योंकि विधियों ने एक के बाद एक काम किया। प्राप्त परिणाम निम्नानुसार हैं:

विधि स्पीड तुलना तालिका

विधि 1, एस	विधि 2, एस	विधि 3, एस	विधि 4, s (बिना कैशिंग, s)
0.823	0.908	0.874	0.089 (7.625)

डेटा को सात मापों के परिणामों के औसत के परिणामस्वरूप प्रस्तुत किया जाता है।
ग्रैब लाइब्रेरी (और अन्य) से निपटने वालों से अनुरोध करें कि वे टिप्पणियों में इस और अन्य पुस्तकालयों का उपयोग करके छवियों को डाउनलोड करने के लिए एक समान विधि लिखें।