XPath और Yii का उपयोग करके पार्सर लिखना

परिचय

कभी-कभी ऐसे कार्य होते हैं जब आपको ग्राहक की जरूरतों के लिए एक निश्चित सेवा के एपीआई के साथ काम करने के लिए एक रैपर लागू करने की आवश्यकता होती है और मूल रूप से एक समान कार्य करना आसान होता है, लेकिन सेवा में हमेशा यह एपीआई नहीं होता है, या विचार यह उठता है कि ऐसा नहीं करना बेहतर होगा, इसलिए आपको संपूर्ण सामग्री पृष्ठ को पार्स करना होगा ।

इस लेख के लिए एक उदाहरण के रूप में, हम XenForo फोरम डेमो और एक पूर्व-निर्मित विषय का उपयोग करेंगे, जहां से हम विशिष्ट डेटा पार्स करेंगे: शीर्षक, निर्माण समय और विषय पाठ स्वयं, जबकि एक अधिकृत फोरम खाते में पार्स किया जाएगा। अन्य सभी डेटा को सादृश्य द्वारा लिया जा सकता है।

Parser खुद Yii2 में सुविधाजनक उपयोग के लिए एक घटक के रूप में लागू किया गया है।

हमें क्या चाहिए?

• पृष्ठ को पार्स करने के लिए cURL लाइब्रेरी का उपयोग किया जाएगा, इसलिए इसे पहले से इंस्टॉल किया जाना चाहिए।
• चूँकि Yii का भारी उपयोग नहीं किया जाएगा (पार्सिंग प्रक्रिया को लॉग करने के लिए, पार्सिंग को स्वयं कॉल करना और परिणाम प्रस्तुत करना), केवल पार्सर के स्वास्थ्य को दिखाने के लिए। इसलिए, ऐसे कार्यों के लिए, Yii2 न्यूनतम का उपयोग करना काफी है।

चलिए शुरू करते हैं

ParserXenforo घटक बनाएँ। चूंकि हमें घटनाओं की आवश्यकता नहीं है, यह ऑब्जेक्ट से विरासत में पर्याप्त होगा।

<?php namespace app\components; use Yii; use \yii\base\Object; class ParserXenforo extends Object { } 

पेज लोड करने के लिए हमें गुण और स्थिरांक जोड़ने की आवश्यकता है। होस्ट, उपयोगकर्ता नाम, पासवर्ड, कर्लऑप्ट गुण स्वयं घटक सेटिंग्स में सेट किए जाएंगे।

 <?php namespace app\components; use Yii; use \yii\base\Object; class ParserXenforo extends Object { /** * Uri      */ const REQUEST_URI_LOGIN = 'login/login'; /** *     cookies */ const COOKIES_FILE_NAME = 'cookies.txt'; /** * @var string    */ private $_data; /** * @var string   */ public $host; /** * @var string   */ public $username; /** * @var string   */ public $password; /** * @var array  cURL */ public $curlOpt; } 

पेज लोड करने के तरीके जोड़ें।
सबसे पहले, हम हेडर और उपयोगकर्ता-एजेंट के सेट मानों को प्राप्त करने के लिए एक विधि लागू करते हैं जिसे कर्लओप्ट में संग्रहीत किया जाएगा, और भविष्य में इसे cURL मापदंडों के लिए पारित किया जाएगा।

 protected function getCurlOpt($nameOpt) { if ($nameOpt !== 'userAgent' && $nameOpt !== 'header') { return false; } return $this->curlOpt[$nameOpt]; } 

फोरम पर प्राधिकरण के लिए, आपको उपयोगकर्ता लॉगिन और पासवर्ड को POST के माध्यम से स्थानांतरित करना होगा। ऐसा करने के लिए, एक प्राधिकरण url (होस्ट + प्राधिकरण url) बनाएं

 protected function getLoginUrl() { return $this->host . self::REQUEST_URI_LOGIN; } 

और अनुरोध की पोस्ट लाइन

 protected function createPostRequestForCurl() { return 'login=' . $this->username . '&password=' . $this->password . '&remember=1'; } 

प्राधिकरण को बचाने के लिए, हम रनटाइम में कुकी फ़ाइल का उपयोग करेंगे। इस फ़ाइल का पूर्ण पथ प्राप्त करने के लिए, एक ऐसा तरीका बनाएं जो उपनाम पथ से पूर्ण पथ प्राप्त करता है और इसमें फ़ाइल नाम जोड़ता है।

 protected function getPathToCookieFile($cookieFileName = self::COOKIES_FILE_NAME) { return Yii::getAlias('@app/runtime') . DIRECTORY_SEPARATOR . $cookieFileName; } 

हम पारित मापदंडों के साथ पृष्ठ की पार्सिंग विधि को लागू करते हैं। सबसे पहले, हम प्राधिकरण कार्रवाई पर जाते हैं, जहां हम POST मूल्यों को स्थानांतरित करते हैं और पारित url पर वापस लौटते हैं, लेकिन पहले से ही अधिकृत खाते में। बस मामले में। उदाहरण के लिए, मैंने अक्सर देखा कि इस मंच पर वे अनधिकृत उपयोगकर्ताओं से सामग्री छिपाने के लिए एक मॉड्यूल स्थापित करते हैं।
_Data में डेटा को सफलतापूर्वक लोड करने के बाद, हम Yii :: जानकारी () विधि के साथ लॉग करते हैं जिससे डेटा लोड होता है।

 public function loadUsingCurl($url) { $ch = curl_init(); curl_setopt($ch, CURLOPT_URL, $this->loginUrl); curl_setopt($ch, CURLOPT_FAILONERROR, 1); curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1); curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); curl_setopt($ch, CURLOPT_REFERER, $url); curl_setopt($ch, CURLOPT_HTTPHEADER, $this->getCurlOpt('header')); curl_setopt($ch, CURLOPT_COOKIEFILE, $this->pathToCookieFile); curl_setopt($ch, CURLOPT_COOKIEJAR, $this->pathToCookieFile); curl_setopt($ch, CURLOPT_FRESH_CONNECT, 1); curl_setopt($ch, CURLOPT_USERAGENT, $this->getCurlOpt('userAgent')); curl_setopt($ch, CURLOPT_POST, 1); curl_setopt($ch, CURLOPT_POSTFIELDS, $this->createPostRequestForCurl()); $this->_data = curl_exec($ch); if (curl_exec($ch) === false) { throw new \Exception(curl_errno($ch) . ': ' . curl_error($ch)); } curl_close($ch); Yii::info(Yii::t('app', 'Loading data page')); return $this; } 

घटक का आधार भाग कार्यान्वित किया जाता है। अब आपको इसे घटकों में कनेक्ट करने और कॉन्फ़िगर करने की आवश्यकता है। उपयोगकर्ता-एजेंट में आपके कंप्यूटर के डेटा को निर्दिष्ट करना, उदाहरण के लिए, जहां घटक स्थित है, बेस यूआरएल, और प्राधिकरण डेटा।
प्राधिकरण के लिए पैरामीटर व्यवस्थापक में दिए गए थे: व्यवस्थापक डेमो। उन्होंने इसे केवल कुछ दिनों के लिए दिया, या यूँ कहें, 24 मार्च 2014 को सुबह 7:26 बजे तक

 .... 'components' => [ ... 'parser' => [ 'class' => 'app\components\ParserXenforo', 'host' => 'http://9af5766eb2759a49.demo-xenforo.com/130/index.php?', 'username' => 'admin', 'password' => 'admin', 'curlOpt' => [ 'userAgent' => 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/31.0.1650.57 Safari/537.36', 'header' => [ 'Accept: text/html, application/xml;q=0.9, application/xhtml+xml, image/png, image/jpeg, image/gif, image/x-xbitmap, */*;q=0.1', 'Accept-Language: en-US,en;q=0.8,ru;q=0.6,uk;q=0.4', 'Accept-Charset: Windows-1251, utf-8, *;q=0.1', 'Accept-Encoding: deflate, identity, *;q=0', ] ] ], ... ], .... 

कंट्रोलर में, हम एक्शन में कॉल करके प्रदर्शन की जाँच कर सकते हैं और लॉग्स ऐप में देख सकते हैं। क्या सब कुछ ठीक हो गया था

 $urlThread = 'http://9af5766eb2759a49.demo-xenforo.com/130/index.php?threads/some-thread.1/'; /** @var \app\components\ParserXenforo $dataParse */ $dataParse = Yii::$app->parser->loadUsingCurl($urlThread); 

डेटा पार्स करना

आइए हमारे पृष्ठ के DOMDocument वर्ग की वस्तु प्राप्त करने के लिए एक विधि बनाकर शुरू करें और इसे संग्रहीत करने के लिए एक संपत्ति जोड़ें। Libxml त्रुटियों को अक्षम करने से पहले और लोड करने के बाद विपरीत करें। पृष्ठ पार्स करने के साथ कुछ समस्याओं से बचने के लिए। परिणामस्वरूप, हमें इसके साथ आगे काम करने के लिए हमारे पृष्ठ का DOM मिलता है। नियमित अभिव्यक्ति का भी उपयोग किया जा सकता है। लेकिन इस मामले में DOM के साथ काम करना अधिक सुविधाजनक है।

 public function createDomDocument() { $this->_dom = new \DOMDocument(); libxml_use_internal_errors(true); if ($this->_dom->loadHTML($this->_data)) { Yii::info(Yii::t('app', 'Create DomDocument')); } else { Yii::info(Yii::t('app', 'An error occurred when creating an object of class DOMDocument')); } libxml_use_internal_errors(false); return $this; } 

हम DOMXPath वर्ग की एक नई वस्तु प्राप्त करने की विधि की ओर मुड़ते हैं ताकि आवश्यक डेटा प्राप्त करने के लिए XPath अभिव्यक्ति को निष्पादित करना सुविधाजनक हो।

 public function createDomXpath() { $this->_xpath = new \DOMXPath($this->_dom); Yii::info(Yii::t('app', 'Create DomXpath')); return $this; } 

खैर, अब आप हमारे डेटा: शीर्षक, टाइमस्टैम्प और सामग्री को प्राप्त करने के लिए XPath प्रश्नों को सुरक्षित रूप से आगे बढ़ा सकते हैं।
पहले हम हेडर प्राप्त करते हैं और _title गुण जोड़ते हैं

 public function parseTitle() { $xpathQuery = '*//h1'; $nodes = $this->_xpath->query($xpathQuery, $this->_dom); if ($nodes->length === 0) { Yii::info(Yii::t('app', 'Error parse title')); } $this->_title = $nodes->item(0)->nodeValue; Yii::info(Yii::t('app', 'Parse title')); return $this; } 

आगे हमारे विषय का टाइमस्टैम्प

 public function parseTimestamp() { $xpathQuery = '*//p[@id="pageDescription"]/a/abbr'; $nodes = $this->_xpath->query($xpathQuery, $this->_dom); if ($nodes->length === 0) { Yii::info(Yii::t('app', 'Error parse timestamp')); return $this; } //   timestamp $this->_timestamp = $nodes->item(0)->getAttribute('data-time'); Yii::info(Yii::t('app', 'Parse timestamp')); return $this; } 

अंतिम सामग्री प्राप्त करें

 public function parseContent() { $xpathQuery = '*//blockquote[@class="messageText ugc baseHtml"]'; $nodes = $this->_xpath->query($xpathQuery, $this->_dom); if ($nodes->length === 0) { Yii::info(Yii::t('app', 'Error parse content')); return $this; } $this->_content = $nodes->item(0)->nodeValue; Yii::info(Yii::t('app', 'Parse content')); return $this; } 

चलो थोड़ा पीछे चलते हैं और अधिक विस्तार से विचार करते हैं कि हमने XPath से क्या अनुरोध किया था

• '* // h1' हम DOM h1 में देखते हैं। * = का अर्थ है पूरे DOM में सर्च
• * // p [@ id = "पेजडेसक्रिप्शन"] / a / abbr हम पीसी आईडी पेज डीस्क्रिप्शन एलिमेंट की तलाश कर रहे हैं जिसमें एब्री एलिमेंट के साथ एक लिंक हो।
• * // blockquote [@ class = "messageText ugc baseHtml"] हम वर्ग संदेश के साथ एक उद्धरण की तलाश कर रहे हैं।

हम पार्सिंग को पूरा करने के लिए एक विधि बनाएंगे (यह आवश्यक नहीं हो सकता है, लेकिन यह अभी भी अधिक स्पष्ट रूप से दिखाई देगा कि डेटा पार्सिंग पूरा हो गया है और क्या सभी डेटा प्राप्त हुआ है), साथ ही प्राप्त डेटा तक पहुंचने के लिए तरीके

 /** * @return \app\components\ParserXenforo */ public function endParse() { if (isset($this->_content, $this->_timestamp, $this->_content)) { Yii::info(Yii::t('app', 'End parse')); } else { Yii::info(Yii::t('app', 'Some data were not received')); } return $this; } /** * @return string title */ public function getTitle() { return $this->_title; } /** * @return int timestamp */ public function getTimestamp() { return $this->_timestamp; } /** * @return string content */ public function getContent() { return $this->_content; } 

आउटपुट परिणाम

घटक को कहा जा सकता है कि यह तैयार है, हम देख सकते हैं कि यह हमारे नियंत्रक की कार्रवाई में आवश्यक कार्यों को जोड़कर कैसे काम करता है और उनके उत्पादन को देखता है

 $urlThread = 'http://9af5766eb2759a49.demo-xenforo.com/130/index.php?threads/some-thread.1/'; /** @var \app\components\ParserXenforo $dataParse */ $dataParse = Yii::$app->parser ->loadUsingCurl($urlThread) ->createDomDocument() ->createDomXpath() ->parseTitle() ->parseTimeStamp() ->parseContent() ->endParse(); return $this->render('index', ['data' => $dataParse]); 

 <?php /** * @var yii\web\View $this * @var \app\components\ParserXenforo $data */ $this->title = 'My Yii Application'; ?> <div class="site-index"> <h1><?= $data->title; ?></h1> <p>Created At: <?= date('Ymd H:i:s', $data->timestamp); ?></p> <p><?= $data->content; ?></p> </div> 

परिणाम एक समान परिणाम है।

निष्कर्ष

इस लेख में, हमने देखा कि XenForo मंच विषय को पार्स करने के उदाहरण का उपयोग करके Yii के लिए एक घटक के रूप में पृष्ठ की सामग्री को कैसे बनाया जाए।
सादृश्य से, आप अन्य डेटा की पार्सिंग कर सकते हैं, या थोड़ा अलग वर्ग बना सकते हैं, जिसे हम पार्सिंग के लिए बनाएंगे, उदाहरण के लिए, सभी फोरम विषय, सिद्धांत रूप में:

• यदि कोई हो तो पेज पेजेशन प्राप्त करें।
• हम विषयों के लिंक प्राप्त करने वाले पृष्ठों से गुजरते हैं और किसी प्रकार के मध्यवर्ती भंडारण के लिए लिखते हैं
• हमें इन लिंक्स से सामग्री मिलती है।

इस लेख में सैद्धांतिक पहलू को नहीं छुआ गया था; यह लेख पृष्ठ के डेटा को प्राप्त करने के लिए कम वास्तविक लेकिन सरल उदाहरण पर प्रदर्शित करने के लिए उन्मुख था।
उदाहरण कोड का लिंक संसाधनों में पाया जा सकता है।

साधन

Yii2 न्यूनतम का विवरण
Yii2 प्रलेखन
रूसी में Xpath 1.0 विनिर्देश
स्रोत कोड रिपोजिटरी