🥨 😒 🤸🏾 मिनी वेब क्रॉलर। इंटरनेट से एक पुस्तक डाउनलोड करें 🎅🏼 👼🏿 👨🏿‍🌾

चूंकि ज्यादातर किताबें मैंने हाथ से पढ़ी हैं, इसलिए पढ़ने के लिए किताबों को कहीं ले जाने की जरूरत है। एक नियम के रूप में, मुझे पाठ प्रारूप (txt, html, fb2) में नेटवर्क पुस्तकालयों में मेरे लिए रुचि की किताबें मिलती हैं। उसी समय, ऐसे समय होते हैं जब आप एक ऐसी पुस्तक पढ़ना चाहते हैं जो एक ऐसी साइट पर पोस्ट की जाती है जहां डाउनलोड करना सिद्धांत रूप में प्रदान नहीं किया जाता है, और यहां तक कि कई HTML-पृष्ठों (जैसे यह एक , उदाहरण के लिए) में विभाजित है। इस स्थिति में, आप प्रत्येक HTML पृष्ठ को मैन्युअल रूप से सहेज सकते हैं, लेकिन इस पद्धति में दो महत्वपूर्ण कमियां हैं। सबसे पहले, यदि पुस्तक को 15-20 पृष्ठों में विभाजित किया जाता है, तो मैनुअल बचत में बहुत समय लगेगा और कष्टप्रद होगा। दूसरे, पुस्तक के पाठ के साथ-साथ हमें कचरे का एक गुच्छा मिलता है - पाठ जो पुस्तक, टेबल, स्क्रिप्ट, अन्य साइटों और अन्य हिस्सों के लिंक से संबंधित नहीं है।

अपने जीवन को सरल बनाने के लिए, हम एक कार्यक्रम लिखेंगे जो हमारे लिए एक पुस्तक डाउनलोड करे। ऊपर से यह इस प्रकार है कि हमें एक कार्यक्रम की आवश्यकता है: ए) आवश्यक क्रम में डाउनलोड करता है, जिस पर पुस्तक बिखरी हुई है; ख) प्रत्येक पृष्ठ से यह केवल एक परीक्षा लेगा और इससे अधिक कुछ नहीं; और ग) पुस्तक के संपूर्ण पाठ को एक html-फ़ाइल में सहेजे।

एक उदाहरण के रूप में, हम व्लादिमीर प्लुंग्यान की पुस्तक लेते हैं “भाषाएं इतनी अलग क्यों हैं। लोकप्रिय भाषाविज्ञान । " मुझे केवल एक नेटवर्क लाइब्रेरी मिली जहां इसे पाठ प्रारूप में डाउनलोड किया जा सकता है, और पंजीकरण की आवश्यकता है, इसलिए हम इसे प्रोग्राम का उपयोग करके निर्दिष्ट लिंक से डाउनलोड करेंगे, जिस पर बाद में चर्चा की जाएगी। प्रोग्राम लिखने के लिए, हम पायथन प्रोग्रामिंग भाषा का उपयोग करते हैं। मैंने पायथन संस्करण 2.6 का उपयोग किया। इस या नए संस्करण को आधिकारिक वेबसाइट पर मुफ्त में डाउनलोड किया जा सकता है।

डाउनलोड पृष्ठ

पृष्ठों को डाउनलोड करने के लिए, हमें उनके पते चाहिए। जैसा कि हम देखते हैं, पहले को छोड़कर सभी पृष्ठों के पते समान हैं और केवल संख्या में भिन्न हैं:

http://profismart.ru/web/bookreader-115980- page_number .php

इसके लिए धन्यवाद, हम उन्हें मैन्युअल रूप से नहीं लिख सकते हैं, लेकिन निम्नलिखित कोड का उपयोग करके उन्हें उत्पन्न करते हैं:

for i in range(2,29): url = "http://profismart.ru/web/bookreader-115980-%i.php" % i

यह हमें सभी पृष्ठों के पते अट्ठाईस के माध्यम से देगा। पहले पृष्ठ का पता बाकी (http://profismart.ru/web/bookreader-115980.php) से अलग है, इसलिए हम इसे मैन्युअल रूप से प्रोग्राम में सम्मिलित करेंगे।

इसके बाद, हम इनमें से प्रत्येक पृष्ठ को डाउनलोड करते हैं, और HTML कोड में ही html कोड लिखते हैं:

 for i in range(2,29): #   url = "http://profismart.ru/web/bookreader-115980-%i.php" % i #   html = "" sock = urllib.urlopen(url) html = sock.read() sock.close()

हम पृष्ठ से वांछित पाठ निकालते हैं

HTML कोड जिसमें पुस्तक का पाठ है, हम नियमित अभिव्यक्ति (रेगुलर एक्सप्रेशन) का उपयोग करते हुए पेज कोड से निकालेंगे। हमारे मामले में, पाठ <td style="padding:7px" class="ps24 ps37"> और </td> बीच पृष्ठ के अंदर है। पाठ का प्रत्येक पैराग्राफ <div> और </div> टैग्स के बीच स्थित है, और <div> टैग्स, अतिरिक्त मापदंडों के बिना, केवल पुस्तक के पाठ में उपयोग किए जाते हैं। इस प्रकार, पाठ को निकालने के लिए, हमें केवल पहले <div> को खोजने की जरूरत है और इससे सभी पाठ को पहले टैग </td> । नियमित अभिव्यक्ति इस तरह दिखाई देगी:

 (<div>.+?</div>)</td>

एक बिंदु किसी भी चरित्र को इंगित करता है, और एक प्लस संकेत कहता है कि चरित्र को कम से कम एक होना चाहिए। संयोजन के बाद प्रश्न चिह्न .+ कहते हैं कि हम न्यूनतम संख्या में वर्ण लेना चाहते हैं जो हमारे अनुरोध को पूरा करें। इस प्रकार, हम HTML कोड में पाए गए पहले <div> टैग से सभी पाठ <div> (प्रश्न चिह्न के लिए धन्यवाद) संयोजन </div></td> । कोष्ठक पाए गए पाठ के उस हिस्से को इंगित करता है जिसे हम लेंगे। इस मामले में, हम </td> बिना पाए गए सभी पाठ लेते हैं, जिनकी हमें आवश्यकता नहीं है। हमारे कार्यक्रम में नियमित अभिव्यक्ति का उपयोग करने के लिए, इसकी शुरुआत में निम्न पंक्ति जोड़ें:

 text_regex = re.compile(u"(<div>.+?</div>)</td>", re.IGNORECASE | re.DOTALL | re.UNICODE)

हम text_regex नाम से अभिव्यक्ति का उल्लेख करेंगे। हम पुस्तक के पाठ को परिवर्तनशील book में सहेजेंगे। एक नियमित अभिव्यक्ति को जोड़ने के साथ, पेज 2-28 को संसाधित करने वाला कोड इस तरह दिखेगा:

 for i in range(2,29): #   url = "http://profismart.ru/web/bookreader-115980-%i.php" % i #   html = "" sock = urllib.urlopen(url) html = sock.read() sock.close() #            book = book + text_regex.search(html).group(1)

हम पहले पेज को अलग से प्रोसेस करेंगे। इससे हम पुस्तक के पाठ और नई एचटीएमएल-फ़ाइल के लिए शीर्षक लेंगे जो हमारा कार्यक्रम बनाएगा। हम निम्नलिखित नियमित अभिव्यक्ति का उपयोग करके शीर्ष लेख पुनः प्राप्त करेंगे:

 (<html.+?<body>)

यही है, हम सभी कोड <html> टैग से <body> सम्मिलित करते हैं। हमारे द्वारा प्राप्त कोड में थोड़ा कचरा होगा, लेकिन चूंकि यह ब्राउज़र में पृष्ठ के प्रदर्शन को प्रभावित नहीं करेगा या हैंडहेल्ड स्क्रीन पर, हम इसे वैसे ही छोड़ देंगे। यदि हम वास्तव में चाहते हैं, तो हम इसे बाद में कुछ संपादक में मैन्युअल रूप से हटा देंगे। पिछली अभिव्यक्ति के लिए, कार्यक्रम की शुरुआत में लाइन जोड़ें:

 head_regex = re.compile(u"(<html.+?<body>)", re.IGNORECASE | re.DOTALL | re.UNICODE)

प्रथम पृष्ठ को संसाधित करने वाला कोड इस तरह दिखेगा:

 #    url = "http://profismart.ru/web/bookreader-115980.php" html = "" sock = urllib.urlopen(url) html = sock.read() sock.close() #   head = head_regex.search(html).group(1) book = book + head #      book = book + text_regex.search(html).group(1)

पुस्तक के पाठ को फ़ाइल में सहेजें

यहां सब कुछ सरल है। पुस्तक चर की सामग्री के लिए, <html> और <body> लिए समापन टैग जोड़ें और इसे एक फ़ाइल में लिखें। यह निम्नलिखित कोड करता है:

 #     file_out = open('book.html', 'w') #    file_out.write(book) #    file_out.write("\n</body></html>") #   file_out.close()

पूरे कार्यक्रम को एक साथ रखा

कार्यक्रम के अंतिम संस्करण में, मैंने <div>...</div> टैग के साथ <p align=justify>...</p> टैग जोड़ा और वर्तमान में संसाधित किए जा रहे पृष्ठ के बारे में जानकारी प्रदर्शित की। पहला कारण यह है कि जब पाठ पृष्ठ की चौड़ाई से जुड़ा होता है तो मुझे यह पसंद आता है। दूसरा यह है कि ऑपरेशन के दौरान कार्यक्रम जीवन के कम से कम कुछ संकेत देता है।

प्रोग्राम का पूरा टेक्स्ट एक्सटेंशन .py और रन के साथ फाइल में सेव किया जा सकता है। यहाँ यह है:

 import urllib import re text_regex = re.compile(u"(<div>.+?</div>)</td>", re.IGNORECASE | re.DOTALL | re.UNICODE) head_regex = re.compile(u"(<html.+?<body>)", re.IGNORECASE | re.DOTALL | re.UNICODE) book = "" # Download first page url = "http://profismart.ru/web/bookreader-115980.php" print "Page 1" print url html = "" sock = urllib.urlopen(url) html = sock.read() sock.close() print "Page downloaded." # Extract page head and book text book = book + head_regex.search(html).group(1) book = book + text_regex.search(html).group(1) for i in range(2,29): # Generate page url url = "http://profismart.ru/web/bookreader-115980-%i.php" % i print "Page %i" % i print url # Download the page sock = urllib.urlopen(url) html = sock.read() sock.close() print "Page downloaded." # Extract required text book = book + text_regex.search(html).group(1) # Replace <div> with <p align=justify> book = book.replace("<div>", "\n<p align=justify>") book = book.replace("</div>", "</p>") # Write to file file_out = open('book.html', 'w') file_out.write(book) file_out.write("\n</body></html>") file_out.close()

मिनी वेब क्रॉलर। इंटरनेट से एक पुस्तक डाउनलोड करें

More articles: