पायथन में पार्सिंग। कैसे एक dovecote संग्रह बनाने के लिए

लेख पायथन में एक स्क्रिप्ट के विकास का वर्णन करता है। स्क्रिप्ट HTML-कोड को पार्स करती है, साइट सामग्री की एक सूची संकलित करती है, लेख डाउनलोड करती है और "बाहरी" तत्वों से लेख पाठ की प्रारंभिक सफाई करती है। पुस्तकालय urllib (HTML पृष्ठों को पुनः प्राप्त करना), lxml (HTML कोड को पार्स करना, तत्वों को हटाना और "साफ किया हुआ लेख") को सहेजना, पुनः (नियमित भाव से काम करना), configobj (कॉन्फ़िगरेशन फाइल पढ़ना) का उपयोग किया जाता है।

स्क्रिप्ट लिखने के लिए, पायथन भाषा का बुनियादी ज्ञान, प्रोग्रामिंग कौशल और कोड डीबगिंग पर्याप्त हैं।

आलेख प्रकाशनों की सूची पर पुस्तकालयों के उपयोग पर स्पष्टीकरण प्रदान करता है प्रकाशनों की सूची एस.एम. गोलूबिट्स्की, एक वर्किंग स्क्रिप्ट का लिंक।

प्रस्तावना या कुछ गीत

मैं शायद ही यह कहने में गलत हूं कि सर्गेई गोलूबिट्स्की के अनिश्चितकालीन काम से कई फेरीवाले परिचित हैं। लगभग 15 वर्षों के लिए कंप्यूटर पत्रकारिता में, नामेरेक ने पेपर बॉस कंप्यूटर में असामयिक मृतक और कंप्यूटर-ऑनलाइन पोर्टल पर 300 से अधिक Dovecats में पहाड़ पर 433 लेख प्रकाशित किए। और यह बिजनेस जर्नल में विदेशी gesheft के नायकों पर विश्लेषणात्मक अनुसंधान की गिनती नहीं कर रहा है, "होम कंप्यूटर", "रूसी जर्नल", "D`" और इतने पर लेख में रचनात्मकता के रहस्यों पर से पर्दा। और इसी तरह। जीवन-निर्माण की संपूर्ण समीक्षाओं में रुचि रखने वाले लोग उपरोक्त लिंक पर मिलेंगे।

पिछले साल, लेखक की परियोजना "द ओल्ड पीजॉन हाउस एंड हिज फ्रेंड्स " ने काम शुरू किया, जिसे विशेष रूप से माना गया (और बन गया), लगातार लेखक के प्रकाशन संग्रह और सांस्कृतिक-पोवेदलियन चर्चाओं के संचालन के लिए एक मंच द्वारा फिर से भर दिया गया। एक ऐसे व्यक्ति के रूप में, जो नेटवर्क जीवन, सामाजिक पौराणिक कथाओं और आत्म-विकास के विषयों के प्रति उदासीन नहीं है, लेखक द्वारा प्रकट रूप से, और उच्च-गुणवत्ता वाले अवकाश पढ़ने के लिए उत्सुक है, मैं एक बार डावकोट पर सभाओं में नियमित हो गया। अपनी क्षमता के अनुसार मैं न केवल इस परियोजना को दृष्टि में रखने की कोशिश करता हूं, बल्कि किसी तरह इसके विकास में भी भाग लेता हूं।

कंप्यूटर-ऑनलाइन पोर्टल से संग्रह को हस्तांतरित लेखों के प्रूफरीडिंग के क्षेत्र में काम करते हुए, मैंने सबसे पहले सभी कबूतरों की एक सूची संकलित करने का फैसला किया।

समस्या का बयान

इसलिए, कार्य, जिसके उदाहरण पर हम पायथन में पार्सिंग साइटों पर विचार करेंगे, इस प्रकार था:

• Computerre-online पर होस्ट किए गए सभी Dovecats की सूची बनाएं। सूची में लेख का शीर्षक, प्रकाशन की तिथि, लेख की सामग्री (केवल पाठ, चित्र, वीडियो), सारांश, स्रोत के लिंक के बारे में जानकारी शामिल होनी चाहिए।
• पेपर कंप्यूटर में प्रकाशित सामग्री के साथ सूची को पूरक करें, डुप्लिकेट ढूंढें।
• वेबसाइट Internettrading.net के संग्रह से सामग्री के साथ सूची को पूरक करें
• "पुराने कबूतर" पोर्टल पर पहले से प्रकाशित लेखों की एक सूची डाउनलोड करें
• आगे की प्रक्रिया के लिए स्थानीय डिस्क पर लेख डाउनलोड करें, यदि संभव हो तो अनावश्यक तत्वों के पाठ को स्वचालित रूप से साफ़ करें।

टूलकिट चयन

प्रोग्रामिंग भाषा के रूप में, मेरी पसंद तुरंत और असमान रूप से पायथन पर गिर गई। न केवल इसलिए कि मैंने कुछ साल पहले अपने अवकाश पर इसका अध्ययन किया (और फिर एक उन्नत कैलकुलेटर के रूप में कुछ समय के लिए सक्रिय पायथन शेल का इस्तेमाल किया), लेकिन पुस्तकालयों की प्रचुरता, स्रोत कोड उदाहरणों और लेखन और डीबगिंग स्क्रिप्ट की आसानी के लिए भी। कम से कम, वे तत्काल समस्याओं को हल करने के लिए अधिग्रहीत कौशल के आगे उपयोग के लिए संभावनाओं में भी रुचि रखते थे: Google डॉक्स एपीआई, वर्ड प्रोसेसिंग ऑटोमेशन, आदि के साथ एकीकरण।

स्क्रैच से एक बहुत ही विशिष्ट कार्य को हल करते हुए, टूलकिट का चयन किया गया ताकि न्यूनतम समय पढ़ने के प्रलेखन में खर्च किया जा सके, पुस्तकालयों की तुलना की जा सके और अंततः, लागू हो सके। दूसरी ओर, समाधान में अन्य साइटों और इसी तरह के कार्यों के लिए आसान अनुकूलन के लिए पर्याप्त बहुमुखी प्रतिभा होनी चाहिए। शायद कुछ उपकरण और पुस्तकालय अपूर्ण हैं, लेकिन उन्होंने अंततः योजना को अंत तक लाने की अनुमति दी।

तो, पायथन के उपयुक्त संस्करण को निर्धारित करने के लिए उपकरणों का चुनाव शुरू हुआ। शुरू में मैंने पायथन 3.2 का उपयोग करने की कोशिश की, लेकिन प्रयोग की प्रक्रिया में मैं पायथन 2.7 पर रुक गया, क्योंकि "ट्रोइका" पर कुछ उदाहरण नहीं गए।

अतिरिक्त पुस्तकालयों और पैकेजों की स्थापना को आसान बनाने के लिए, मैंने सेटप्टूल का उपयोग किया - डाउनलोड करने, निर्माण करने और पैकेज स्थापित करने के लिए एक उपकरण।

इसके अतिरिक्त पुस्तकालय स्थापित किए गए थे:

• urllib - साइटों के HTML-पृष्ठ प्राप्त करना;
• lxml - XML ​​और HTML कोड पार्स करने के लिए एक पुस्तकालय;
• configobj विन्यास फाइल पढ़ने के लिए एक पुस्तकालय है।

तात्कालिक साधनों का उपयोग किया गया था:

• नोटपैड ++ सिंटैक्स हाइलाइटिंग वाला एक टेक्स्ट एडिटर है:
• FireBug - FireFox ब्राउज़र प्लगइन जो आपको HTML पृष्ठों के स्रोत कोड को देखने की अनुमति देता है
• FirePath - XPath विश्लेषण और परीक्षण के लिए फ़ायरफ़ॉक्स ब्राउज़र प्लगइन:
• कोडिंग डिबगिंग के लिए अंतर्निहित पायथन जीयूआई।

Habré पर लेख और चर्चाओं ने अमूल्य मदद प्रदान की:

• वेब डेटा पुनर्प्राप्ति दृष्टिकोण
• Xpath html अनुरोधों के उदाहरण
• "LXML" या आसानी से HTML को पार्स कैसे करें
• आप कौन सी लाइब्रेरी साइट्स को पार्स करते हैं
• सुंदर सूप के साथ आसान वेबसाइट पार्सिंग

साथ ही मैनुअल, उदाहरण और प्रलेखन:

• पायथन 3 (पिलग्रिम) / एक्सएमएल में विसर्जन
• पैकेज lxml। एपीआई संदर्भ
• MSDN लाइब्रेरी में XPath उदाहरण
• PyT प्रलेखन में एलीमट्री एक्सएमएल एपीआई
• Lxml.etree ट्यूटोरियल

और, ज़ाहिर है, पायथन प्रोग्रामिंग भाषा की किताब

समाधान अवलोकन

कार्य में चार अलग-अलग साइटों से सामग्री डाउनलोड करने के लिए चार समान प्रक्रियाएं शामिल हैं। उनमें से प्रत्येक के पास लेखों की सूची और सामग्री के लिंक के साथ एक या कई पृष्ठ हैं। प्रक्रिया को औपचारिक रूप देने और एकरूप करने में बहुत समय व्यतीत नहीं करने के लिए, एक मूल स्क्रिप्ट लिखी गई, जिसके आधार पर प्रत्येक साइट के लिए एक कस्टम स्क्रिप्ट विकसित की गई, जिसमें सामग्री की सूची और HTML पृष्ठों की संरचना की ख़ासियत को ध्यान में रखा गया। इसलिए, Internettrading.net पर पार्सिंग सामग्री, जहाँ HTML को मैन्युअल रूप से जेनरेट किया गया था, के लिए अतिरिक्त चेक और पेज पार्सिंग परिदृश्यों की बहुत आवश्यकता थी, जबकि CMS ड्रुपल ("ओल्ड पिजन हाउस एंड हिज फ्रेंड्स") और बिट्रिक्स ("कंप्यूटर-ऑनलाइन"), अभिलेखागार द्वारा गठित कंप्यूटर के कागज) पृष्ठों में कम से कम विशेषताएं होती हैं।

भविष्य में, मैं पुराने ब्लूबेरी के पोर्टल को पार्स करने के लिए ऐतिहासिक रूप से सबसे हालिया स्क्रिप्ट के विवरण का उल्लेख करूंगा।

लेखों की सूची " फ़ोटोग्राफ़र " अनुभाग में प्रदर्शित की गई है। यहां नाम, लेख का लिंक और सिनोप्सिस दिया गया है। सूची को कई पृष्ठों में विभाजित किया गया है। आप पता बार ((? पेज = n) में एक लूप में पैरामीटर को बदलकर अगले पृष्ठ पर जा सकते हैं, लेकिन HTML पाठ से अगले पृष्ठ का लिंक प्राप्त करना मुझे और अधिक सुरुचिपूर्ण लग रहा था।

लेख के पृष्ठ पर डीडी YYYY महीने प्रारूप में एक प्रकाशन की तारीख, इसका अपना पाठ और हस्ताक्षर में स्रोत का एक संकेत है।

विभिन्न प्रकार के डेटा के साथ काम करने के लिए, दो ऑब्जेक्ट बनाए गए: MaterialList (ऑब्जेक्ट) - लेखों की एक सूची ( _ParseList सूची के एक अलग पृष्ठ को पार्स करने के लिए एक विधि और अगले पृष्ठ के URL को प्राप्त करने के लिए एक विधि _etetNextPage , सामग्री और उनके पहचानकर्ताओं की एक सूची संग्रहीत करता है) और सामग्री (ऑब्जेक्ट) - लेख ही। _InitID तिथि के आधार पर एक पहचानकर्ता बनाने के लिए एक विधि शामिल है, _ParsePage पृष्ठ के लिए एक पार्सिंग विधि, प्रकाशन स्रोत _GetSection का निर्धारण करने के लिए एक विधि , और प्रकाशन तिथि, सामग्री प्रकार, आदि जैसे लेख विशेषताएँ।)

इसके अतिरिक्त, दस्तावेज़ ट्री के तत्वों के साथ काम करने के लिए कार्य परिभाषित किए गए हैं:

• get_text (मद, पथ) - दस्तावेज़ पथ में पथ पथ के साथ तत्व का पाठ प्राप्त करना
• get_value (आइटम) - आइटम दस्तावेज़ में नोड टेक्स्ट प्राप्त करें
• get_value_path (मद, पथ) - पथ के साथ आइटम दस्तावेज़ में नोड का पाठ प्राप्त करें
• get_attr_path (मद, पथ, अट्रैट) - दस्तावेज़ में पथ पथ के साथ तत्व की विशेषता प्राप्त करें

और get_month_by_name (माह) फ़ंक्शन, जो दिनांक को पार्स करने के लिए उसके नाम से महीने की संख्या देता है।

मुख्य कोड ( मुख्य () प्रक्रिया) में फ़ाइल से कॉन्फ़िगरेशन लोड करना, सामग्री की सूची के पन्नों से गुजरना स्मृति में सामग्री लोड करना और सूची की फ़ाइलों को और अधिक सहेजना (CSV प्रारूप में) और लेख ग्रंथों (HTML में, फ़ाइल नाम) पर बनता है। सामग्री पहचानकर्ता के आधार पर)।

कॉन्फ़िगरेशन फ़ाइल सामग्री सूची के प्रारंभ पृष्ठ का URL, सामग्री पृष्ठों के लिए सभी XPath पथ और लेख सूची, फ़ाइल नाम और लेखों को सहेजने के लिए निर्देशिका पथ संग्रहीत करती है।

कार्यान्वयन का विवरण

इस भाग में, मैं कोड के मुख्य बिंदुओं पर चर्चा करूँगा जो किसी तरह कठिनाइयों या धूम्रपान मैनुअल का कारण बने।

दस्तावेजों के अंदर रास्तों की डिबगिंग को सरल बनाने और कोड को पढ़ने की सुविधा के लिए, सभी XPath को एक अलग कॉन्फ़िगरेशन फ़ाइल में ले जाया गया है। विन्यास फाइल के साथ काम करने के लिए विन्यास पुस्तकालय काफी उपयुक्त था। कॉन्फ़िगरेशन फ़ाइल में निम्न संरचना है:
# Comment
[ Section_1 ]
# Comment
variable_1 = value_1
# Comment
variable_2 = value_2
[[Subsection_1]]
variable_3 = value_3
[[Subsection_2]]
[ Section_2 ]

उप-वर्गों का घोंसला मनमाना हो सकता है, अनुभागों पर टिप्पणी और विशिष्ट चर की अनुमति है। कॉन्फ़िगरेशन फ़ाइल के साथ काम करने का एक उदाहरण:

from configobj import ConfigObj

#
cfg = ConfigObj('sgolub-list.ini')
# url sgolub
url = cfg['sgolub']['url']


Html पेज डाउनलोड करना urlib लाइब्रेरी का उपयोग करके कार्यान्वित किया जाता है। Lxml का उपयोग करते हुए, हम दस्तावेज़ को एक पेड़ में बदलते हैं और रिश्तेदार लिंक को ठीक करते हैं:

import urllib
from lxml.html import fromstring

# html-
html = urllib.urlopen(url).read();

# lxml.html.HtmlElement
page = fromstring(html)

#
page.make_links_absolute(url)


प्रकाशनों की सूची को पार्स करते समय, हमें सूची के सभी तत्वों के माध्यम से लूप करने की आवश्यकता होती है। इसके लिए lxml.html.HtmlElement.findall (पाथ) विधि उपयुक्त है। उदाहरण के लिए:

for item in page.findall(path):
url = get_attr_path(item,cfg['sgolub']['list']['xpath_link'],'href')


अब फायरपथ प्लगइन और XPath के निर्माण के लिए इसके उपयोग के बारे में एक टिप्पणी करने का समय है। वास्तव में, जैसा कि पहले से ही हैबर पर लिखा गया है, फायरपाथ ऐसे पथ देता है जो एलएक्सएमएल में पथों से भिन्न होते हैं। थोड़ा सा, लेकिन एक अंतर है। बहुत जल्द, इन मतभेदों की पहचान की गई और बाद में संशोधनों के साथ फायरपैथ का उपयोग किया गया, उदाहरण के लिए, टीओबी टैग को * (सबसे गंभीर समस्या) के साथ बदलें। इसी समय, इस तरह से समायोजित किए गए रास्तों को फायरपाथ में जांचा जा सकता है, जो प्रक्रिया को बहुत तेज करता है।

जबकि page.findall(path) तत्वों की एक सूची देता है, एक एकल तत्व प्राप्त करने के लिए एक खोज (पथ) विधि है। उदाहरण के लिए:

content = page.find(cfg['sgolub']['doc']['xpath_content'])

खोजने और खोजने के तरीके केवल सरल रास्तों के साथ काम करते हैं, जिनमें स्थितियों में तार्किक अभिव्यक्ति नहीं होती है, उदाहरण के लिए:

xpath_blocks = './/*[@id='main-region']/div/div/div/table/*/tr/td'
xpath_nextpage = './/*[@id='main-region']/div/div/div/ul/li[@class="pager-next"]/a[@href]'


उदाहरण के लिए, अधिक जटिल परिस्थितियों का उपयोग करने के लिए
xpath_purifytext = './/*[@id="fin" or @class="info"]'
आपको xpath (पथ) विधि की आवश्यकता होगी, जो तत्वों की एक सूची देता है। यहां एक उदाहरण कोड है जो चयनित तत्वों को एक पेड़ से साफ करता है (मैं अभी भी यह नहीं समझता कि यह जादू कैसे काम करता है, लेकिन तत्व वास्तव में पेड़ से हटा दिए जाते हैं):

from lxml.html import tostring

for item in page.xpath(cfg['computerra']['doc']['xpath_purifytext']):
item.drop_tree()
text=tostring(page,encoding='cp1251')

यह टुकड़ा भी lxml.html.tostring विधि का उपयोग करता है, जो निर्दिष्ट एन्कोडिंग में एक स्ट्रिंग में पेड़ को बचाता है (पहले से ही अतिरिक्त तत्वों के बिना!)।

अंत में, मैं पुनः अभिव्यक्ति पुस्तकालय के साथ काम करने के दो उदाहरण दूंगा। पहला उदाहरण "DD Month YYYY" प्रारूप में पार्सिंग की तारीख लागू करता है:

import re
import datetime

# content lxml.html.HtmlElement
# ,
datestr=get_text(content,cfg['sgolub']['doc']['xpath_date'])
if len(datestr)>0:
datesplit=re.split('\s+',datestr,0,re.U)
self.id = self._InitID(list,datesplit[2].zfill(4)+str(get_month_by_name(datesplit[1])).zfill(2)+datesplit[0].zfill(2))
self.date = datetime.date(int(datesplit[2]),get_month_by_name(datesplit[1]),int(datesplit[0]))
else:
self.id = self._InitID(list,list.lastid[0:8])
self.date = datetime.date(1970,1,1)


Re.split फ़ंक्शन (regexp, string, start, options) का उपयोग किया जाता है , जो विशिष्ट मास्क द्वारा अलग किए गए लाइन तत्वों की एक सूची बनाता है (इस मामले में, अंतरिक्ष द्वारा)। पुनः विकल्प आपको यूनिकोड में रूसी वर्णों के साथ काम करने की अनुमति देता है। Zfill (n) फ़ंक्शन स्ट्रिंग को वर्णों की निर्दिष्ट संख्या के लिए बाईं ओर शून्य के साथ समाप्त करता है।

दूसरा उदाहरण दिखाता है कि एक विकल्प खोजने के लिए नियमित अभिव्यक्तियों का उपयोग कैसे करें।

def _GetSection(item, path):
#
reinfo = re.compile(r'.*«(?P<gsource>.*)».*',re.LOCALE)
for info in item.xpath(path):
src=get_value_path(info,'.').strip('\n').strip().encode('cp1251')
if src.startswith(' '):
parser = self.reinfo.search(src)
if parser is not None:
if parser.group('gsource')=='-':
return '-'
else:
return parser.group('gsource')
break
return ''


उपरोक्त उदाहरण फ़ंक्शन के लिए कोड दिखाता है _GetSection (आइटम, पथ) , जिसके लिए एक सबट्री पास की गई है जिसमें प्रकाशन स्रोत का एक संकेत शामिल है, उदाहरण के लिए, "बिजनेस जर्नल में पहली बार प्रकाशित"। रेगेक्स स्निपेट पर ध्यान दें ? पी <gsource> । कोष्ठक में रखो, यह आपको एक स्ट्रिंग में नामित समूहों को परिभाषित करने और parser.group ('gsource') का उपयोग करने की अनुमति देता है। Re.LOCALE विकल्प re.U के समान है ।

पार्सर स्रोत कोड Google डॉक्स पर अपलोड किया गया है। पुराने कबूतर की साइट को पार्सर्स की धारा से बचाने के लिए, मैं केवल कोड पोस्ट करता हूं, लिंक और पथ के साथ कॉन्फ़िगरेशन फ़ाइल के बिना।

निष्कर्ष

प्रौद्योगिकी के अनुप्रयोग का परिणाम हार्ड ड्राइव पर चार साइटों के लेखों का एक संग्रह था और डॉवेट्स के सभी प्रकाशनों की सूची। सूचियों को मैन्युअल रूप से Google डॉक्स स्प्रेडशीट में अपलोड किया गया था, संग्रह से लेख भी मैन्युअल रूप से Google दस्तावेज़ों के संपादन के लिए स्थानांतरित किए गए थे।

समस्याओं को हल करने की योजना:

• एक ऐसी सेवा लिखना जो स्वचालित रूप से नए पदों को ट्रैक करता है
• Google डॉक्स एपीआई के साथ एकीकरण स्वचालित रूप से नई पोस्ट को सूचीबद्ध करने के लिए
• कुछ त्रुटियों के स्वत: सुधार और Google डॉक्स पर अपलोड करने के साथ HTML से XML प्रारूप में संग्रहीत लेखों को परिवर्तित करना

पीएस टिप्पणी, समर्थन और रचनात्मक आलोचना के लिए सभी को बहुत धन्यवाद। मुझे उम्मीद है कि सावधान अध्ययन के बाद भविष्य में अधिकांश टिप्पणियां मेरे लिए उपयोगी होंगी।