करो-खुद स्थिति की निगरानी

हम खोज इंजन, शुरुआत में प्रश्नों की स्थिति की निगरानी करते हैं।

आमतौर पर हम ग्राहकों को बढ़ाने में रुचि रखते हैं।
और कुछ बढ़ाने के लिए, आपको पहले इसका मूल्यांकन करना चाहिए।
और ऐसा ऐतिहासिक रूप से हुआ कि कुछ ग्राहक खोज इंजन से ऑनलाइन स्टोर पर आते हैं।
(यदि कोई रुचि रखता है, तो मैं निम्नलिखित लेखों में प्रासंगिक विज्ञापन और मूल्य समुच्चय के साथ काम करने के बारे में लिखूंगा।)
और खोज इंजन में आपकी स्थिति का आकलन करने के लिए, आपको आमतौर पर खोज परिणामों में प्रश्नों की स्थिति पर उनसे आंकड़े एकत्र करने की आवश्यकता होती है।

हमारे उपकरण में 2 भाग शामिल होंगे:

• कर्ल और lxml का उपयोग करके खोज परिणामों को पार्स करने की स्क्रिप्ट
• Django पर प्रबंधन और प्रदर्शन के लिए वेब इंटरफ़ेस

हम अनुरोध पर हमारी स्थिति yandex.ru से सीखते हैं।

मैं तुरंत स्पष्ट करना चाहता हूं, इस लेख में मूल बातों का वर्णन किया जाएगा और हम सबसे सरल विकल्प बनाएंगे, जिसे हम भविष्य में सुधारेंगे।

सबसे पहले, एक फ़ंक्शन बनाते हैं जो html द्वारा url देता है।

हम पेजरेल का उपयोग करके पेज लोड करेंगे।

import pycurl c = pycurl.Curl() 

Url सेट करें हम लोड करेंगे

 url = 'ya.ru' c.setopt(pycurl.URL, url) 

पृष्ठ के शरीर को वापस करने के लिए, कर्ल एक कॉलबैक फ़ंक्शन का उपयोग करता है, जो html के साथ एक स्ट्रिंग से गुजरता है।
हम स्ट्रिंग स्ट्रिंग बफर का उपयोग करेंगे, इसमें इनपुट के लिए एक लेखन () फ़ंक्शन है, और हम गेटवल्यू () के माध्यम से इससे सभी सामग्री प्राप्त कर सकते हैं

 from StringIO import StringIO c.bodyio = StringIO() c.setopt(pycurl.WRITEFUNCTION, c.bodyio.write) c.get_body = c.bodyio.getvalue 

बस के मामले में, हम अपने कर्ल को एक ब्राउज़र की तरह बनाएंगे, टाइमआउट, उपयोगकर्ता एजेंट, हेडर आदि लिखेंगे।

 c.setopt(pycurl.FOLLOWLOCATION, 1) c.setopt(pycurl.MAXREDIRS, 5) c.setopt(pycurl.CONNECTTIMEOUT, 60) c.setopt(pycurl.TIMEOUT, 120) c.setopt(pycurl.NOSIGNAL, 1) c.setopt(pycurl.USERAGENT, 'Mozilla/5.0 (X11; Ubuntu; Linux i686; rv:13.0) Gecko/20100101 Firefox/13.0') httpheader = [ 'Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8', 'Accept-Language: ru-ru,ru;q=0.8,en-us;q=0.5,en;q=0.3', 'Accept-Charset:utf-8;q=0.7,*;q=0.5', 'Connection: keep-alive', ] c.setopt(pycurl.HTTPHEADER, httpheader) 

अब पेज लोड करें

 c.perform() 

बस इतना ही, पेज हमारे साथ है, हम html पेज पढ़ सकते हैं

 print c.get_body() 

तो हम हेडर पढ़ सकते हैं

 print c.getinfo(pycurl.HTTP_CODE) 

और अगर आपको 200 के अलावा कुछ सर्वर प्रतिक्रिया मिली, तो हम इसे प्रोसेस कर सकते हैं। अब हम केवल एक अपवाद फेंकते हैं, हम निम्नलिखित लेखों में अपवादों को संभालेंगे

 if c.getinfo(pycurl.HTTP_CODE) != 200: raise Exception('HTTP code is %s' % c.getinfo(pycurl.HTTP_CODE)) 

सब कुछ लपेटें जो एक फ़ंक्शन में बदल गया, अंत में हमें मिला

 import pycurl try: from cStringIO import StringIO except ImportError: from StringIO import StringIO def get_page(url, *args, **kargs): c = pycurl.Curl() c.setopt(pycurl.URL, url) c.bodyio = StringIO() c.setopt(pycurl.WRITEFUNCTION, c.bodyio.write) c.get_body = c.bodyio.getvalue c.headio = StringIO() c.setopt(pycurl.HEADERFUNCTION, c.headio.write) c.get_head = c.headio.getvalue c.setopt(pycurl.FOLLOWLOCATION, 1) c.setopt(pycurl.MAXREDIRS, 5) c.setopt(pycurl.CONNECTTIMEOUT, 60) c.setopt(pycurl.TIMEOUT, 120) c.setopt(pycurl.NOSIGNAL, 1) c.setopt(pycurl.USERAGENT, 'Mozilla/5.0 (X11; Ubuntu; Linux i686; rv:13.0) Gecko/20100101 Firefox/13.0') httpheader = [ 'Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8', 'Accept-Language: ru-ru,ru;q=0.8,en-us;q=0.5,en;q=0.3', 'Accept-Charset:utf-8;q=0.7,*;q=0.5', 'Connection: keep-alive', ] c.setopt(pycurl.HTTPHEADER, httpheader) c.perform() if c.getinfo(pycurl.HTTP_CODE) != 200: raise Exception('HTTP code is %s' % c.getinfo(pycurl.HTTP_CODE)) return c.get_body() 

फ़ंक्शन की जाँच करें

 print get_page('ya.ru') 

हम खोज परिणामों से चुन सकते हैं कि पदों वाली साइटों की सूची पृष्ठ पर है

हम एक खोज क्वेरी का निर्माण करेंगे,
yandex.ru/yandsearch पर हमें 3 GET पैरामीटर भेजने की आवश्यकता है,
'text'-request,' lr'- खोज क्षेत्र, 'पृष्ठ' समस्या का पृष्ठ

 import urllib import urlparse key='' region=213 page=1 params = ['http', 'yandex.ru', '/yandsearch', '', '', ''] params[4] = urllib.urlencode({ 'text':key, 'lr':region, 'p':page-1, }) url = urlparse.urlunparse(params) 

यूआरएल को प्रिंट करें और ब्राउज़र में जांचें

 print url 

पिछले फ़ंक्शन के माध्यम से आउटपुट के साथ एक पृष्ठ प्राप्त करें

 html = get_page(url) 

अब हम इसे lxml का उपयोग करते हुए डोम मॉडल के अनुसार पार्स करेंगे

 import lxml.html site_list = [] for h2 in lxml.html.fromstring(html).find_class('b-serp-item__title'): b = h2.find_class('b-serp-item__number') if len(b): num = b[0].text.strip() url = h2.find_class('b-serp-item__title-link')[0].attrib['href'] site = urlparse.urlparse(url).hostname site_list.append((num, site, url)) 

मैं और अधिक विस्तार से लिखूंगा कि यहां क्या हो रहा है
lxml.html.fromstring (html) - html स्ट्रिंग से हम html डॉक्यूमेंट ऑब्जेक्ट बनाते हैं
.find_class ('b-serp-item__title') - हम उन सभी टैग के लिए दस्तावेज़ में देखते हैं, जिनमें वर्ग 'b-serp-item__title' शामिल हैं, हमें उन H2 तत्वों की एक सूची मिलती है, जिनमें उन पदों की जानकारी होती है, जो हमें इंटरसेप्ट करते हैं, और उनके माध्यम से लूप करते हैं।
b = h2.find_class ('b-serp-item__number') - पाया गया H2 टैग के अंदर तत्व b की खोज करें, जिसमें साइट की स्थिति संख्या शामिल है, यदि आप पाते हैं तो हम साइट के b [0] .xtxt (पट्टी) और लाइन c url को इकट्ठा करते हैं। साइट
urlparse.urlparse (url) .hostname - डोमेन नाम प्राप्त करें

परिणामी सूची की जाँच करें

 print site_list 

और हम एक फंक्शन में निकली हर चीज को इकट्ठा करेंगे

 def site_list(key, region=213, page=1): params = ['http', 'yandex.ru', '/yandsearch', '', '', ''] params[4] = urllib.urlencode({ 'text':key, 'lr':region, 'p':page-1, }) url = urlparse.urlunparse(params) html = get_page(url) site_list = [] for h2 in lxml.html.fromstring(html).find_class('b-serp-item__title'): b = h2.find_class('b-serp-item__number') if len(b): num = b[0].text.strip() url = h2.find_class('b-serp-item__title-link')[0].attrib['href'] site = urlparse.urlparse(url).hostname site_list.append((num, site, url)) return site_list 

फ़ंक्शन की जाँच करें

 print site_list('', 213, 2) 

साइटों की सूची में हमारी साइट का पता लगाएं

हमें एक सहायक फ़ंक्शन की आवश्यकता है जो 'www।' साइट की शुरुआत में

 def cut_www(site): if site.startswith('www.'): site = site[4:] return site 

साइटों की एक सूची प्राप्त करें और हमारी साइट के साथ तुलना करें

 site = 'habrahabr.ru' for pos, s, url in site_list('python', 213, 1): if cut_www(s) == site: print pos, url 

हम्म, 'अजगर' द्वारा जारी करने के पहले पृष्ठ पर कोई हब नहीं है, आइए इस मुद्दे को गहराई से पाश में लेकर जाने की कोशिश करते हैं,
लेकिन हमें एक सीमा रखने की आवश्यकता है, max_position - हम किस स्थिति की जाँच करेंगे,
उसी समय, हम इसे एक फ़ंक्शन में लपेटते हैं, और मामले में कुछ भी नहीं मिला है, हम कोई भी नहीं, कोई नहीं लौटाएगा

 def site_position(site, key, region=213, max_position=10): for page in range(1,int(math.ceil(max_position/10.0))+1): site = cut_www(site) for pos, s, url in site_list(key, region, page): if cut_www(s) == site: return pos, url return None, None 

चेक

 print site_position('habrahabr.ru', 'python', 213, 100) 

वास्तव में हमें अपना स्थान मिल गया है।

कृपया लिखें, क्या यह विषय दिलचस्प है और क्या मुझे जारी रखना चाहिए?

अगले लेख में क्या लिखना है?
- इस फ़ंक्शन के लिए टेबलेट और ग्राफ़ के साथ एक वेब इंटरफ़ेस बनाएं और स्क्रिप्ट को क्रोन पर लटकाएं
- इस फ़ंक्शन के लिए कैप्चा प्रोसेसिंग मैन्युअल रूप से और विशेष एपीआई दोनों के माध्यम से करें
- मल्टीथ्रेडिंग के साथ क्या-धागा के लिए एक मॉनिटरिंग स्क्रिप्ट बनाएं
- एपीआई या मूल्य प्रबंधन के माध्यम से घोषणाओं को उत्पन्न करने और भरने के उदाहरण द्वारा निर्देश के साथ काम का वर्णन करें