🎤 👶🏼 📏 मैं वेबसाइट को पार्सशिल कैसे करता हूं 🤦🏼 ❇️ 💇🏾

प्रस्तावना

सबसे पहले, मैं यह नोट करना चाहता हूं कि मैं एक प्रोग्रामर नहीं हूं। मैं एडमिन हूं, बाय। बेशक, मैं एक वास्तुकार कहा जाना चाहूंगा, लेकिन दृश्य अंतरिक्ष में पर्याप्त आवश्यकताओं के साथ कोई उपयुक्त रिक्तियां नहीं हैं, और सबसे महत्वपूर्ण बात यह है कि इन आवश्यकताओं के लिए कोई वेतन नहीं है। क्या अफ़सोस है।
तथ्य की बात के रूप में, इस लेख के ढांचे में मैं नए पॉवर्सशेल संस्करण के उपयोगी अच्छाइयों के बारे में बात करना चाहता हूं। विशेष रूप से, वेब पृष्ठों को जल्दी और आत्मविश्वास से पार्स करने की क्षमता के बारे में और इसे "समानांतर में।"

कार्य

इसलिए, जो कार्य मेरे सामने खड़ा था, वह काफी सरल था। एक निश्चित साइट है, यदि आप उस प्रारंभिक फॉर्म से गुजरते हैं जिस पर आपको प्रारंभ और समाप्ति तिथि का चयन करने की आवश्यकता होती है, तो हम इस पृष्ठ पर यहां आते हैं:

इस तरह के पृष्ठों की संख्या एकल तिथि अवधि के भीतर बड़ी हो सकती है। लेकिन 999 से अधिक नहीं। यही है, अगर, उदाहरण के लिए, आपको 5 साल के लिए डेटा का चयन करने की आवश्यकता है, तो वे 999 पृष्ठों में फिट नहीं होंगे। यह पृष्ठ एक निर्देशिका है, मुझे केवल उस डेटा में रुचि थी, जिसके लिए वह परमिट नंबर कॉलम में एक लिंक के माध्यम से जाता है:

सामान्य तौर पर, चूंकि मैं एक प्रोग्रामर नहीं हूं, इसलिए मेरा ज्ञान C # या इस तरह की संभावनाओं का लाभ उठाने के लिए पर्याप्त नहीं था। सामान्य तौर पर, मेरे पसंदीदा टूल - पावरशेल ने यहां मदद की।

निर्णय

मैंने दो चरणों में जाने का फैसला किया। सबसे पहले, लिंक के साथ निर्देशिका को अनलोड और पार्स करें, और फिर निर्देशिका के माध्यम से उन दस्तावेजों का चयन करें जिनके लिए यह संदर्भित करता है। प्रोग्रामर के लिए एक आदिम कार्य। मुझे लगभग 16 घंटे लगे। यह सच है, यह देखते हुए कि मैंने मेरे लिए नए आदेशों का उपयोग करके ऐसा किया, न केवल समस्या को हल करने के लिए, बल्कि मेरे लिए नए आदेशों और चिप्स को पॉवरशेल 3 के लिए नया सीखने के लिए, जो उस समय सिर्फ बाहर आया था।
मैं भाग्यशाली था कि साइट ने URL बार में सीधे मापदंडों को स्वीकार किया, जैसे:

  http: // [स्किप] / [स्किप]; allcount = $ allcount और allstartdate_month = $ allstartdate_month [स्किप]

क्योंकि मुझे नहीं पता कि HTML फ़ॉर्म के साथ कैसे काम करना है। इसलिए, मैंने अनुरोध मापदंडों को बदलते हुए, बस आवश्यक पृष्ठों का अनुरोध करने का निर्णय लिया। इसके लिए, मैंने Invoke-WebRequest cmdlet का उपयोग किया। यह आपको सबसे सरल रूप में एक अनुरोध भेजने और सीधे .NET कक्षाएं या IE COM ऑब्जेक्ट का उपयोग किए बिना परिणाम प्राप्त करने की अनुमति देता है। परिणाम एक पार्स किया गया HTML दस्तावेज़ है जिसे आप आगे पार्स कर सकते हैं।
इसके अतिरिक्त, इस पृष्ठ की ख़ासियत यह थी कि यह न केवल तालिका के HTML कोड के साथ लौटा था, बल्कि इस तालिका की सामग्री के साथ भी था जिसे पार्स किया गया था

फर्स्ट हाफ पार्सिंग

इस भाग में, मैंने सिर्फ एक निर्देशिका चुनी। इस स्तर पर मुख्य समस्या उन सभी पृष्ठों के माध्यम से छंटनी है जो सिस्टम द्वारा लौटाए गए हैं और पिछले एक को निर्धारित करते हैं। ऐसा करने के लिए, मैंने यह जांचने का निर्णय लिया कि पृष्ठ पर अगला बटन है या नहीं।
इसके अलावा, इस भाग के आउटपुट में, मैं एक फ्लैट सीएसवी फ़ाइल प्राप्त करना चाहता था जिसमें निर्देशिका ही थी। और अंत में, इस फ़ाइल को अगले चरण पर स्थानांतरित करें। इसके लिए, नीचे दिए गए कोड का जन्म हुआ। यह बस तिथि सीमा के लिए सभी रूट लेबल का चयन करता है, उपरोक्त सुविधा का उपयोग करके नियमित अभिव्यक्तियों के साथ पृष्ठ की सामग्री को पार्स करता है, और एक ऑब्जेक्ट लौटाता है जिसमें सभी निर्दिष्ट जानकारी होती है।

function Get-AppList { [CmdletBinding()] param( [datetime] $startDate = '01.01.2012', [datetime] $endDate = '01.01.2012', [string] $allpermittype = "SG", [string] $allcount = "0000", [string] $requestid= "1" ) begin{ [string] $allstartdate_month = "{0:d2}" -f $startDate.Month [string] $allstartdate_day= "{0:d2}" -f $startDate.Day [string] $allstartdate_year= $startDate.Year [string] $allenddate_month = "{0:d2}" -f $endDate.Month [string] $allenddate_day = "{0:d2}" -f $endDate.Day [string] $allenddate_year = $endDate.Year $fields = @{Regex="\[0:PtAppFirstName\]\{(?<PtAppFirstName>.+)\}";Column="PtAppFirstName"}, @{Regex="\[1:PtAppLastName\]\{(?<PtAppLastName>.+)\}";Column="PtAppLastName"}, @{Regex="\[2:PtAppMI\]\{(?<PtAppMI>.+)\}";Column="PtAppMI"}, @{Regex="\[3:PtJobNum\]\{(?<PtJobNum>.+)\}";Column="PtJobNum"}, @{Regex="\[4:PtJobDocNum\]\{(?<PtJobDocNum>.+)\}";Column="PtJobDocNum"}, @{Regex="\[5:PtJobType\]\{(?<PtJobType>.+)\}";Column="PtJobType"}, @{Regex="\[6:PtPermitType\]\{(?<PtPermitType>.+)\}";Column="PtPermitType"}, @{Regex="\[7:PtPermitSubtype\]\{(?<PtPermitSubtype>.+)\}";Column="PtPermitSubtype"}, @{Regex="\[8:PtPermitSeqNum\]\{(?<PtPermitSeqNum>.+)\}";Column="PtPermitSeqNum"}, @{Regex="\[9:PtIssuanceDate\]\{(?<PtIssuanceDate>.+)\}";Column="PtIssuanceDate"}, @{Regex="\[10:PtFilingDate\]\{(?<PtFilingDate>.+)\}";Column="PtFilingDate"}, @{Regex="\[11:PtExpirationDate\]\{(?<PtExpirationDate>.+)\}";Column="PtExpirationDate"}, @{Regex="\[12:PtBin\]\{(?<PtBin>.+)\}";Column="PtBin"}, @{Regex="\[13:JHouseNumber\]\{(?<JHouseNumber>.+)\}";Column="JHouseNumber"}, @{Regex="\[14:JStreetName\]\{(?<JStreetName>.+)\}";Column="JStreetName"}, @{Regex="\[15:PermitIsn\]\{(?<PermitIsn>.+)\}";Column="PermitIsn"} $uri = "http://[skip]/bisweb/[skip]?allcount=$allcount&allstartdate_month=$allstartdate_month&allstartdate_day=$allstartdate_day&allstartdate_year=$allstartdate_year&allenddate_month=$allenddate_month&allenddate_day=$allenddate_day&allenddate_year=$allenddate_year&allpermittype=$allpermittype&go13=+GO+&requestid=0&navflag=T&requestid=$requestid" } process{ do { #   .   $a = Invoke-WebRequest -Uri $uri -SessionVariable sv $s = $a.ParsedHtml.childNodes| % data $s2 = ($s[3] -split "\[\d+\]") $obj = @{} $s2 | % { $item = $_ if ($item) { $fields | % { $res = $item -match $_.regex if ($res) { $obj[$_.Column] = $matches[$_.Column] } else { $obj[$_.Column]= $null } } if (($obj.PtPermitType -ne $null) -and ($obj.PtPermitType -ne " ")) { new-object psobject -Property $obj } } } # ,    .     $form = $a.Forms | where id -EQ "frmnext" if ($form) { $allstartdate_month=$form.Fields["allstartdate_month"] $allstartdate_day=$form.Fields["allstartdate_day"] $allstartdate_year=$form.Fields["allstartdate_year"] $allenddate_month = $form.Fields["allenddate_month"] $allenddate_day = $form.Fields["allenddate_day"] $allenddate_year = $form.Fields["allenddate_year"] $allpermittype = $form.Fields["allpermittype"] $allcount = $form.Fields["allcount"] $requestid = $form.Fields["requestid"] $uri = "http://[skip]/skip?allcount=$allcount&allstartdate_month=$allstartdate_month&allstartdate_day=$allstartdate_day&allstartdate_year=$allstartdate_year&allenddate_month=$allenddate_month&allenddate_day=$allenddate_day&allenddate_year=$allenddate_year&allpermittype=$allpermittype&go13=+GO+&requestid=0&navflag=T&requestid=$requestid" } } while ($form) } }

दूसरे हाफ को पारस करना

दूसरे भाग में, एक और समस्या उत्पन्न हुई। अनुरोध किए जाने वाले पृष्ठों की संख्या थोड़ी अधिक हो गई। यह लगभग 30 गुना है। इसलिए, पहले चरण के परिणामों के माध्यम से छंटनी और एक समय में पृष्ठों को चुनने में लंबा समय लगता है। इसलिए, मैंने एक और पॉवरशेल v3 फीचर - पॉवरशेल वर्कफ़्लो का उपयोग करने का निर्णय लिया। अच्छी तरह से, या बल्कि, फारसी-समानांतर ऑपरेटर। वास्तव में, वर्कफ़्लो को पूरी तरह से अलग करने के लिए डिज़ाइन किया गया है, लेकिन इस मामले में यह उस पर आ गया है। मुझे तुरंत कहना होगा कि यह उत्पादकता बढ़ाने के लिए कार्यों को समानांतर करने के लिए एक उपकरण नहीं है, इसलिए आपको उनसे यह उम्मीद नहीं करनी चाहिए। इसलिए, इस मामले में, इस अवसर का उपयोग "समानांतर में" निर्देशिका की प्रत्येक पंक्ति के लिए प्रश्नों को लॉन्च करने के लिए किया गया था। वास्तव में, यह कमांड एक अलग प्रक्रिया शुरू करता है, और उनकी संख्या सीमित है। मुझे आश्चर्य नहीं हुआ कि क्या उनकी अधिकतम संख्या को बदलना संभव है। यह तंत्र आपको "समानतावाद" प्राप्त करने के लिए कोड को सरल बनाने की अनुमति देता है। उद्धरण चिह्नों में, इसलिए नहीं कि वे समानांतर नहीं हैं। वे समानांतर हैं, वे बस हल्के धागे में नहीं, बल्कि .NET वर्कफ़्लो के ढांचे के भीतर भारी प्रक्रियाओं में चलते हैं, और परिणाम को प्रक्रिया सीमाओं के पार प्रेषित करना पड़ता है। इसलिए, यह बहुत उत्पादक नहीं है, लेकिन, "जैसा कि हमारे पसंदीदा शेफ कहते हैं, यह सस्ते में सुविधाजनक और व्यावहारिक है," और सबसे महत्वपूर्ण बात यह है कि व्यवस्थापक के पास कोड की केवल 2 लाइनें हैं। एक अलग कार्य में कुछ सेकंड का नुकसान पूरे के रूप में कार्य के बारे में एक भूमिका नहीं निभाता है। सामान्य तौर पर, एक अच्छी बात।
कोड इस तरह से निकला।

 workflow Get-AppDetails2 ($list) { $webList = @() foreach -parallel ($i in $list){ $PermitIsn = $i.PermitIsn $queryUri = "http://[skip]/bisweb/[skip]?allisn=$PermitIsn&allbin=&requestid=1" Invoke-WebRequest -Uri $queryUri } }

निष्कर्ष

सामान्य तौर पर, यह सब साबित करता है कि शक्तियां एक शक्तिशाली और उपयोगी चीज है, जो सभी प्रकार की महत्वपूर्ण और उपयोगी चीजों के लिए उपयुक्त है।