🛣️ 🦕 🤳🏼 HTML :: TokeParser 🥊 🤟🏾 😷

HTML को पार्स करते समय सबसे अधिक उपयोग किए जाने वाले मॉड्यूल में से एक HTML :: TokeParser है। यह मॉड्यूल संपूर्ण HTML दस्तावेज़ को टोकन में तोड़ता है, जिसे आप बाद में आसानी से काम कर सकते हैं।

आइए कुछ व्यावहारिक उदाहरण देखें। वेबसाइट habrahabr.ru को लें

उदाहरण 1. आपको पूर्ण लेख के लिंक की सूची को पार्स करने की आवश्यकता है।

पहला वाला। उपयोग किए गए एन्कोडिंग का निर्धारण करें। ऐसा करने के लिए, बस मेटा टैग को देखो, Habr के लिए यह UTF-8 है

<meta http-equiv="content-type" content="text/html; charset=utf-8" />

दूसरा वाला। वेब पेज को किसी फ़ाइल में सहेजें। एक छोटी सी स्क्रिप्ट लिखना

 use strict; use warnings; use HTML::TokeParser; use Data::Dumper; open (my $f,"<", $ARGV[0]) ; my $p = HTML::TokeParser->new($f); while (my $token = $p->get_token()) { print Dumper ($token); }

हम अपनी सहेजी गई फ़ाइल को इनपुट में स्थानांतरित करते हैं और डेटा को STDOUT से फ़ाइल पर पुनर्निर्देशित करते हैं। हमें कुछ ऐसा मिलना चाहिए

 $VAR1 = [ 'T', ' ', '' ]; $VAR1 = [ 'D', '<!DOCTYPE html>' ]; $VAR1 = [ 'T', ' ', '' ]; $VAR1 = [ 'S', 'html', { 'xmlns' => 'http://www.w3.org/1999/xhtml', 'xml:lang' => 'ru' }, [ 'xmlns', 'xml:lang' ], '<html xmlns="http://www.w3.org/1999/xhtml" xml:lang="ru">' ];

आदि यह फ़ाइल डीबगिंग के लिए उपयोग की जाएगी।

तीसरा। हम फायरबग का उपयोग करते हैं और देखते हैं कि लेख के पूर्ण संस्करण का लिंक क्या है। यही हमारे मामले में मिलता है

 <a href="http://habrahabr.ru/post/163525/#habracut" class="button habracut">  →</a>

हम अनुमान लगाते हैं कि हम कक्षा = "बटन हैबरकुट" के लिए सभी लिंक आसानी से पा सकते हैं। हम चरण 2 में बनाई गई फ़ाइल में बटन habracut लाइन की तलाश कर रहे हैं। हम अपना पार्सर लिखते हैं, मैं आमतौर पर इसे एक अलग वर्ग के रूप में व्यवस्थित करता हूं। Parser को HTML में डेटा प्राप्त करना चाहिए। वही हमें मिलता है

Test.pl

 use strict; use warnings; use habr_parse; use LWP::UserAgent; use Data::Dumper; my $ua = LWP::UserAgent->new(); my $res = $ua->get("http://habrahabr.ru"); if ($res->is_success()) { my $parser = habr_parse->new(); # print Dumper ($res); my $conf = {}; $conf->{content} = $res->content; $conf->{cp} = 'utf8'; my $r = $parser->get_page_links($conf); print Dumper ($r); }

Habr_parse.pm

 package habr_parse; use strict; use warnings; use HTML::TokeParser; use HTML::Entities; use Data::Dumper; use Encode; sub new { my $class = shift; my $self = {}; bless ($self, $class); } sub get_page_links { my $self = shift; my $conf = shift; my @data; # get internal format $conf->{content} = decode($conf->{cp},$conf->{content}); # print Dumper ($conf); decode_entities($conf->{content}); my $p = HTML::TokeParser->new(\$conf->{content}); while (my $token = $p->get_token()) { # we found our link if ($token->[0] eq 'S' && $token->[1] eq 'a' && defined ($token->[2]->{class}) && $token->[2]->{class}=~/^\s*button\s+habracut$/i) { push @data, $token->[2]->{href}; } } # print Dumper ($p); return \@data; } return 1;

नीचे दिए गए कोड की एक पंक्ति लिखने के लिए, चरण 2 में बनाई गई फ़ाइल की उपस्थिति बहुत मदद करती है (विशेषकर यदि बहुत सारी शर्तें हैं)

  if ($token->[0] eq 'S' && $token->[1] eq 'a' && defined ($token->[2]->{class}) && $token->[2]->{class}=~/^\s*button\s+habracut$/i)

सिद्धांत रूप में, यह एक सरल उदाहरण है, क्योंकि प्रत्येक लिंक में एक विशिष्ट विशेषता (वर्ग मान) है , जो कहीं और नहीं पाया जाता है। लेकिन HTML :: TokeParser की शक्ति वह नहीं है। उदाहरण 2 पर विचार करें।

उदाहरण 2. प्रत्येक लेख के लिए श्रेणियों की सूची प्राप्त करना आवश्यक है। फायरबग के साथ, हम देखते हैं कि श्रेणियां विशेषता वर्ग = 'हब' के साथ एक div टैग के अंदर हैं।

चूंकि हम कुकीज़ और किसी भी प्रमाणीकरण के बिना साइट पर जाते हैं, इसलिए हमें किसी भी हब की सदस्यता नहीं दी जा सकती है, इसलिए, शीर्षक के साथ लिंक = 'आप इस हब के लिए सदस्यता नहीं लेते हैं' हमारे लिए प्रदर्शित किए जाते हैं।

यदि आप चरण 2 (उदाहरण 1) में बनाए गए हमारे डंप को देखते हैं, तो यहां हमें कौन से टुकड़े की आवश्यकता है

 $VAR1 = [ 'S', 'a', { 'href' => 'http://habrahabr.ru/hub/photo/', 'title' => '     ', 'class' => 'hub ' }, [ 'href', 'class', 'title' ], '<a href="http://habrahabr.ru/hub/photo/" class="hub " title="     " >' ]; $VAR1 = [ 'T', '', '' ];

अगर हम पहली बार शीर्षक के साथ एक लिंक पाते हैं तो सब कुछ ठीक हो जाता है = 'आप इस हब के लिए सब्सक्राइब नहीं किए जाते हैं' हमें अगला टोकन मिलेगा और अगर यह टेक्स्ट है, तो इसे सेव करें।

मैं थोड़ी अलग तकनीक दिखाऊंगा, जो इस तथ्य पर आधारित है कि हम स्टैक पर टोकन धकेलते हैं, नवीनतम टोकन की जांच करते हैं, जब तक कि हमें वह नहीं मिलता जो हमें चाहिए। यदि हम आवश्यक टोकन को पूरा नहीं करते हैं, तो हम unget_token () का उपयोग करते हैं।

आइए एक और पैटर्न पर ध्यान दें, हमें जिस डेटा की आवश्यकता है, उसके बाद समापन टैग के साथ एक टोकन है

 $VAR1 = [ 'T', '.   ', '' ]; $VAR1 = [ 'E', 'a', '</a>' ];

बदलें habr_parse.pm

 package habr_parse; use strict; use warnings; use HTML::TokeParser; use HTML::Entities; use Data::Dumper; use Encode; sub new { my $class = shift; my $self = {}; bless ($self, $class); } sub get_page_links { my $self = shift; my $conf = shift; my @data; # get internal format # $conf->{content} = decode($conf->{cp},$conf->{content}); # print Dumper ($conf); # decode_entities($conf->{content}); my $p = HTML::TokeParser->new(\$conf->{content}); my $tmp_conf = {}; while (my $token = $p->get_token()) { # we found our link if ($token->[0] eq 'S' && $token->[1] eq 'a' && defined ($token->[2]->{class}) && $token->[2]->{class}=~/^\s*button\s+habracut$/i) { $tmp_conf->{href} = $token->[2]->{href}; } elsif ($token->[0] eq 'S' && $token->[1] eq 'div' && defined ($token->[2]->{class}) && $token->[2]->{class} eq 'hubs') { my @next; my $found=0; #      $tmp_conf = {}; my $token = $p->get_token(); push @next, $token; #     div ( div   ). while ($next[$#next][1] ne 'div') { push @next, $p->get_token(); # print Dumper ($next[$#next][1]); #    if ($next[$#next][0] eq 'E' && $next[$#next][1] eq 'a') { #   T     if ($next[$#next-1][0] eq 'T') { # print $next[$#next-1][1] . "\n"; push @{$tmp_conf->{cats}}, $next[$#next-1][1]; $found = 1; } } } if (!$found) { #         $p->unget_token(@next); } push @data, $tmp_conf; } } # print Dumper ($p); return \@data; } return 1;

परिणाम

 $VAR1 = [ { 'cats' => [ '    IT', ' ' ], 'href' => 'http://habrahabr.ru/post/162053/#habracut' }, { 'cats' => [ '', ' ' ], 'href' => 'http://habrahabr.ru/post/163433/#habracut' }, { 'cats' => [ '  ', '.   ', ' ' ], 'href' => 'http://habrahabr.ru/post/163493/#habracut' }, { 'cats' => [ 'HTML', 'CSS' ], 'href' => 'http://habrahabr.ru/post/163429/#habracut' }, { 'cats' => [ '', '  Intel' ], 'href' => 'http://habrahabr.ru/company/intel/blog/162293/#habracut' }, { 'cats' => [ ' — ', '', '   ' ], 'href' => 'http://habrahabr.ru/company/tm/blog/163483/#habracut' }, { 'cats' => [ '-', 'Open source' ], 'href' => 'http://habrahabr.ru/post/163425/#habracut' }, { 'cats' => [ '', ' ', 'Open source' ], 'href' => 'http://habrahabr.ru/post/148911/#habracut' }, { 'cats' => [ '' ], 'href' => 'http://habrahabr.ru/post/163445/#habracut' }, { 'cats' => [ '  ', ' ' ], 'href' => 'http://habrahabr.ru/post/163525/#habracut' } ];

Unget_token () के साथ एक समान दृष्टिकोण भी आपको घोंसले के शिकार स्तर द्वारा टोकन की खोज करने की अनुमति देता है। उदाहरण के लिए, हमें एक निश्चित एक के बाद तीसरा टोकन प्राप्त करने की आवश्यकता है, हमें केवल तीन टोकनों को सरणी में जोड़ना होगा और अंतिम एक की जांच करनी होगी। यदि यह खोजा नहीं गया है, तो सभी टोकन को मूल स्ट्रीम में unget_token () का उपयोग करके लौटाएं

इस दृष्टिकोण के साथ, HTML :: TokeParser में, घोंसले के शिकार के बारे में जानकारी संग्रहीत नहीं है, इसलिए, एक विकल्प के रूप में, आप टोकन और unget_token () के साथ एक सरणी का उपयोग कर सकते हैं।

HTML :: TokeParser

More articles: