🖥️ 🗜️ ✡️ टूटी कड़ियों की जाँच के लिए खुद की कंसोल बाइक

मुझे अपनी साइटों को टूटे हुए और बिना किसी लिंक के एक साप्ताहिक चेक चलाने की आवश्यकता थी। इंटरनेट पर सर्फिंग में आधे घंटे बिताने के बाद, मुझे कई अच्छे कंसोल एप्लिकेशन मिले (क्योंकि मेरे पास विंडोज पर एक सर्वर है, मैं इस कार्य के लिए टास्कशेडर्यूलर का उपयोग करना चाहता था)। वे सभी भुगतान करने के लिए निकले। और चूंकि मैं खुद को कुछ खाली समय दे सकता था, और पहली नज़र में यह काम मुश्किल नहीं लग रहा था, इसलिए मैंने खुद लिखने का फैसला किया।

मैंने इस कार्यान्वयन पर निर्माण करने का फैसला किया: वेबस्पाइडर , लेकिन, जैसा कि आमतौर पर अंत में होता है, मैं लगभग हर चीज को पसंद करता हूं जैसा कि मुझे पसंद है।

मैंने अपने आप को इस बात की एक छोटी सूची बना ली कि मुझे क्या चाहिए और थोड़ा-थोड़ा करके मैं इसे से कार्य को पार करता हूं:

कार्य	विवरण	स्थिति
सभी लिंक को पुन: एकत्रित करें	एक साइट के भीतर सभी पृष्ठों पर जाएं और सभी लिंक एकत्र करें	द्वारा बनाया गया
एन लिंक की जाँच करें	मुख्य रूप से डिबगिंग उद्देश्यों के लिए, एन लिंक की जाँच के बाद रुकें	द्वारा बनाया गया
फ़ाइल करने के लिए परिणाम सहेजें	TXT के लिए सहेजें	द्वारा बनाया गया
HTML टेम्पलेट का उपयोग करके परिणाम सहेजें	छानने और छँटाई के लिए पठनीयता + पेंच jquery डेटा टेबल प्लगइन	द्वारा बनाया गया
केवल त्रुटियां दिखाएं	फ़ाइल रिपोर्ट में टूटे लिंक दिखाएं	द्वारा बनाया गया
पुरालेख रिपोर्ट फ़ाइल विकल्प	7zip समर्थन जोड़ें	नहीं किया गया
परिणाम ईमेल करें	कंसोल मेलर समर्थन जोड़ें	नहीं किया गया
रिपोर्ट में पुनर्निर्देश दिखाएँ	रिपोर्ट में सभी रीडायरेक्ट को सही ढंग से संसाधित करें और उनके बारे में जानकारी प्रदर्शित करें	नहीं किया गया
लॉगिंग जोड़ें	Log4Net लाइब्रेरीज़ जोड़ें	नहीं किया गया
HTML टेम्पलेट में सामान्य प्रक्रिया की जानकारी	दिखाएं कि प्रोसेसिंग कब शुरू हुई, कब समाप्त हुई, और HTML टेम्पलेट में अन्य सामान्य जानकारी	नहीं किया गया
सही रीडायरेक्ट हैंडलिंग को जांचें और कॉन्फ़िगर करें		नहीं किया गया
app.config डिफ़ॉल्ट कॉन्फ़िगरेशन	चूंकि उपयोगिता के लिए बहुत सारे पैरामीटर थे, इसलिए मैंने फैसला किया कि मुझे app.config से डिफ़ॉल्ट कॉन्फ़िगरेशन करना होगा	नहीं किया गया

यह कार्यक्रम अपमान करने के लिए सरल है:
1. इनपुट एक यूआरआई है जिसके लिए सामग्री डाउनलोड की जाती है और नियमित अभिव्यक्ति का उपयोग करके सामग्री में लिंक खोजे जाते हैं:

public const string UrlExtractor = @"(?: href\s*=)(?:[\s""']*)(?!#|mailto|location.|javascript|.*css|.*this\.)(?<url>.*?)(?:[\s>""'])";

2. सभी लिंक पाए गए, यदि वे इस साइट से संबंधित हैं, तो उन्हें एक हैशटेबल में रखा गया है, जहां कुंजी निरपेक्ष यूआरआई है ताकि कोई दोहराव न हो।
3. हैश टेबल से प्रत्येक लिंक के लिए, हम एक अनुरोध बनाते हैं और रिस्पांस प्राप्त करने का प्रयास करते हैं, और रिटर्न स्टेटस पढ़ते हैं:

 public bool Process(WebPageState state) { state.ProcessSuccessfull = false; HttpWebRequest request = (HttpWebRequest) WebRequest.Create(state.Uri); request.Method = "GET"; WebResponse response = null; try { response = request.GetResponse(); if (response is HttpWebResponse) state.StatusCode = ((HttpWebResponse) response).StatusCode; else if (response is FileWebResponse) state.StatusCode = HttpStatusCode.OK; if (state.StatusCode.Equals(HttpStatusCode.OK)) { var sr = new StreamReader(response.GetResponseStream()); state.Content = sr.ReadToEnd(); if (ContentHandler != null) ContentHandler(state); state.ProcessSuccessfull = true; } } catch (Exception ex) { //   todo:   catch  } finally { if (response != null) { response.Close(); } } return state.ProcessSuccessfull; }

बाकी सब कुछ प्रीटीनेस और एन्ट्रापी है।

दिलचस्प से: मैंने कंसोल पैरामीटर के सुविधाजनक पार्सिंग के लिए इस पैकेज का उपयोग किया https://nuget.org/packages/ManyConsole ।

परिणामस्वरूप, पैरामीटर को संसाधित करने के लिए, मेरे लिए आवश्यक सभी को इस तरह के एक वर्ग को यहां बनाना है:

 public class GetTime : ConsoleCommand { public GetTime() { Command = "get-text"; OneLineDescription = "Returns the current system time."; } public override int Run() { Console.WriteLine(DateTime.UtcNow); return 0; } }

PS और निष्कर्ष में, चूंकि मैं अपने लिए एक परियोजना लिख रहा हूं और अभी भी इस प्रक्रिया में, मैंने इसे github https://github.com/alexsuslin/LinkInspector में जोड़ा है

अरे हां ... जो अभी भी नेत्रहीन देखते हैं कि अंत में क्या होता है, यहां यह सांत्वना में है:

D:\WORK\Projects\Own\LinkInspector\LinkInspector\bin\Debug>LinkInspector.exe -u www.google.com -n=10 -ff=html -e

Executing -u (Specify the Url to inspect for broken links.):

======================================================================================================
Proccess URI: www.google.com
Start At : 2011-12-21 04:56:09
------------------------------------------------------------------------------------------------------

0/1 : [ 2.98s] [200] : www.google.com
1/7 : [ 0.47s] [200] : accounts.google.com/ServiceLogin?hl=be&continue=http://www.google.by/
2/6 : [ 0.22s] [200] : www.google.com/preferences?hl=be
3/5 : [ 0.27s] [200] : www.google.com/advanced_search?hl=be
4/7 : [ 0.55s] [200] : www.google.com/language_tools?hl=be
5/341 : [ 0.21s] [200] : www.google.by/setprefs?sig=0_OmYw86q6Bd9tjRx1su-C4ZbrJUU=&hl=ru
6/340 : [ 0.09s] [200] : www.google.com/intl/be/about.html
7/361 : [ 0.30s] [200] : www.google.com/ncr
8/361 : [ 0.21s] [200] : accounts.google.com/ServiceLogin?hl=be&continue=http://www.google.com/advanced_search?hl=be
9/360 : [ 0.13s] [200] : www.google.com/webhp?hl=be
------------------------------------------------------------------------------------------------------
Pages Processed: 10
Pages Pending : 0
End At : 2011-12-21 04:56:14
Elasped Time : 0h 0m 5s 456ms
======================================================================================================

या यहाँ HTML टेम्पलेट में रिपोर्ट का एक स्क्रीनशॉट है

PPS ने संकलित बायनेरिज़ के लिए कहा, आप यहाँ हैं: लिंक इंस्पेक्टर 0.1 अल्फा डाउनलोड करें

टूटी कड़ियों की जाँच के लिए खुद की कंसोल बाइक - LinkInspector

More articles: