पायथन का उपयोग कर प्रॉक्सी आरएसएस फ़ीड

समाचार, लेख आदि प्राप्त करने के सबसे सुविधाजनक तरीकों में से एक। विभिन्न साइटों से - आरएसएस है। हालांकि, हर साल टेपों की संख्या में लगातार वृद्धि हो रही है, फीड की संख्या बढ़ रही है और इस पूरी अर्थव्यवस्था के चरमराने का समय कम होता जा रहा है। जाहिर है - आपको किसी तरह लेखों को फ़िल्टर करने की आवश्यकता है। आज हम यही करेंगे।

मौजूदा समाधान

उन्होंने सेवाओं और ऑफ़लाइन पाठकों का एक समूह बनाने की कोशिश की, लेकिन आदर्श नहीं पा सके। सभी डेस्कटॉप अनुप्रयोगों में फ़िल्टरिंग के संदर्भ में आश्चर्यजनक रूप से डरावना कार्यक्षमता थी। मैंने एक के बाद एक दर्जन से अधिक विभिन्न कार्यक्रमों को स्थापित किया और ऐसा कोई भी नहीं मिला जो एक सरल कार्य के लिए एक इंटरफ़ेस प्रदान कर सके - पूर्ण लेख के लिंक का उपयोग करके फ़िल्टर फ़ीड। इस तथ्य का उल्लेख नहीं करने के लिए कि मैं नियमित अभिव्यक्तियों के माध्यम से ऐसा करना चाहता था। और इस तथ्य के बारे में कि समाचार को संपादित करने में सक्षम होने के लिए - और कोई सवाल नहीं है। मैं ओपेरा में निर्मित पाठक पर रुक गया। वहां आप आने वाले फ़ीड को फ़िल्टर करने के लिए विशिष्ट नियम निर्दिष्ट कर सकते हैं। सब कुछ खराब तरीके से खराब काम किया, लेकिन कुछ बिल्ड में ओपेरा ने मुझे पढ़ने के लिए अनावश्यक लेखों को चिह्नित करना शुरू कर दिया। मैं स्वेच्छा से यह मानता हूं कि सब कुछ बहुत पहले ही मरम्मत कर दिया गया था, लेकिन विश्वास कम था।

और मैंने मदद के लिए ऑनलाइन सेवाओं की ओर रुख किया। फीडरनसे डॉट कॉम जैसे कई औसत दर्जे के प्रकार हैं, जो वास्तव में कुछ भी नहीं कर सकते हैं, और जो बहुत बुरा है - यह बहुत संभावना है कि एक या दो महीने में वे अचानक मौजूद नहीं रहेंगे। हालांकि, एक सेवा सामान्य श्रृंखला से बहुत बाहर खड़ी थी - याहू पाइप। ऐसा लगता है कि सभी की जरूरत थी, यह लचीले ढंग से फिल्टर, मर्ज टेप और बहुत अधिक करने के लिए अनुमति दी गई है, हालांकि, आवधिक glitches और ब्रेक सेवा के सभी प्रसन्नता को नकारते हैं। हां, और दृश्य प्रोग्रामिंग, जैसा कि मैं इसे समझता हूं, पाइप के साथ चुनना, मेरे लिए नहीं है।

विचारों

करने के लिए कुछ भी नहीं था लेकिन अपनी खुद की बाइक के लेखन पर बैठ जाओ।

सबसे पहले मैंने अपने ऑफ़लाइन आरएसएस रीडर को सुविधाजनक और व्यापक फ़िल्टरिंग और अन्य उपहारों के साथ बनाने का सोचा। मैंने कार्यक्रम के लिए आवश्यकताओं की एक सूची, एक प्रकार का टीके और एप्लिकेशन फ्रेमवर्क भी लिखा था ... हालांकि, मुझे जल्दी से पता चला कि शाम को काम करने में कुछ महीनों का सबसे अच्छा समय लगेगा और इसके परिणामस्वरूप मौजूदा एनालॉग्स की तुलना में यह शायद ही कुछ अधिक लचीला और सुविधाजनक होगा। । और यह विचार अनुपयुक्त के रूप में खारिज कर दिया गया था।

तब मैंने अपनी आवश्यकताओं की समीक्षा करने और मुख्य लोगों को उजागर करने का निर्णय लिया:

• सबसे लचीला फ़ीड छानने
• आरएसएस फ़ीड सामग्री को बदलने की क्षमता
• मौजूदा उत्पादों के इंटरफेस का उपयोग करने की क्षमता

नतीजतन, यह एक प्रकार का प्रॉक्सी लिखने का निर्णय लिया गया था जो आने वाले आरएसएस फ़ीड को पार्स करता है, अपने प्रत्येक तत्व को सभी फ़ीड विशेषताओं को संग्रहीत करने वाले ऑब्जेक्ट के रूप में प्रस्तुत करता है, फिर इस ऑब्जेक्ट को एक स्क्रिप्टिंग भाषा में लिखे उपयोगकर्ता-निर्धारित फ़ंक्शन में स्थानांतरित किया जाता है। और फ़ंक्शन में, अंतिम उपयोगकर्ता पहले से ही प्राप्त वस्तु के साथ कुछ भी कर सकता है - किसी भी फ़ीड संपत्ति द्वारा फ़िल्टर करें, आंतरिक सामग्री को बदलें, अपने स्वयं के कुछ जोड़ें। यानी कोई प्रतिबंधात्मक दृश्य इंटरफ़ेस, केवल शुद्ध प्रोग्रामिंग, संभावित असीम संभावनाओं के साथ। प्रॉक्सी का परिणाम एक rss टेप होगा, अर्थात वास्तव में xml दस्तावेज़ जिस पर हम अपने पाठक को लक्ष्य करेंगे। कुछ विचार-विमर्श के बाद, पायथन को सरल और अभिव्यंजक भाषा के रूप में चुना गया था।

कार्यान्वयन

सबसे पहले, यह आरएसएस सदस्यता के सभी सदस्यता को Google रीडर में स्थानांतरित करने का निर्णय लिया गया था, जिससे एक निश्चित एकीकृत इंटरफ़ेस और कई उपहार प्राप्त हुए, जैसे: एक अंतहीन इतिहास, संदेश और फ़ीड को टैग करने की क्षमता।

अगला - यह अजगर में स्क्रिप्ट को निष्पादित करने की क्षमता के साथ एक वेब सर्वर लिया। मैंने कम से कम प्रतिरोध का रास्ता अपनाया - मैंने अपनी मशीन पर IIS7 को उठा लिया और उस पर अजगर को कॉन्फ़िगर किया (कॉन्फ़िगरेशन यहां के लिए चित्रित है )। जो वैचारिक रूप से IIS को स्वीकार नहीं करता है वह निश्चित रूप से अपाचे या कुछ और ले सकता है।

फिर प्रत्येक फ़ीड के लिए हम फीडिंग फ़िल्टर करने के लिए एक स्क्रिप्ट लिखते हैं, मैं एक हब के उदाहरण का उपयोग करके सब कुछ दिखाऊंगा, इसलिए मैंने फ़ाइल को habrahabr.py कहा, और इसे निर्देशिका में वेब सर्वर पर डाल दिया, वहां आपको एक छोटी सी लाइब्रेरी रखनी चाहिए, जो Google रीडर एपीआई के लिए एक आवरण है । एक उदाहरण के साथ आपको जो कुछ भी चाहिए, वह यहाँ से डाउनलोड किया जा सकता है ।

तो, habrahabr.py स्क्रिप्ट पर वापस, यह इस तरह से कुछ होना चाहिए:

import re import lib import const import functools def hook_channel(channel): pass def hook_entry(reg_exclude, entry): result = reg_exclude.match(entry._link) if result == None: return entry else: return None def run(): gr = lib.GReader() if not gr.login(const.EMAIL, const.PASSWORD): print "login failed" return pattern = 'http://habrahabr.ru/blogs/(%s)/.*' w = 'javascript|php|Flash_Platform' reg_exclude = re.compile(pattern % w, re.IGNORECASE) fhook_entry = functools.partial(hook_entry, reg_exclude) xml = gr.read_tag("habrahabr.ru", 300, hook_channel, fhook_entry) print "Content-Type: text/xml" print print xml if __name__=='__main__' : run() 

यहाँ सब कुछ बहुत सरल है:

सबसे पहले, गॉगल रीडर (एप्लिकेशन के लिए Google सेवाओं में प्रमाणीकरण के बारे में अधिक जानकारी के लिए, यहां देखें) से कनेक्ट करें , सुविधा के लिए, प्राधिकरण अनुरोध को एक फ़ंक्शन में लपेटा जाता है और इसे इस तरह कहा जाता है: gr.login (const.EMAIL, const.P.WORD)

अगला, मैं एक नियमित अभिव्यक्ति संकलित करता हूं, जिसके साथ, लेख के पूर्ण संस्करण के लिंक के माध्यम से, मैं उन फीड को फ़िल्टर कर दूंगा जो मेरे लिए दिलचस्प नहीं हैं।

फिर फ़ंक्शन gr.read_tag ​​("habrahabr.ru", 300, hook_channel, fhook_entry)
हम पिछले 300 लेखों से प्राप्त करते हैं gReader वहां "habrahabr.ru" फ़ोल्डर में पड़ा है (यह फ़ोल्डर नाम का उपयोग करने के लिए आवश्यक नहीं है, यह एक मनमाना टैग हो सकता है), फिर हम दो हुक पास करते हैं:

Hook_channel - विशेष रूप से दिलचस्प नहीं है, यह केवल आपको चैनल के मापदंडों को बदलने की अनुमति देता है (अब तक केवल इसका शीर्षक)

fhook_entry - आपको फ़ीड फ़िल्टर और संशोधित करने की अनुमति देता है। इनपुट पैरामीटर के रूप में, एंट्री क्लास (फ़ाइल lib.py) से एक उदाहरण दिया जाता है, जो वास्तव में एक पार्स्ड फ़ीड है, इसकी विशेषताएँ फ़ीड की विशेषताओं के अनुरूप हैं। मैं ध्यान देता हूं कि इनमें से किसी भी विशेषता को मनमाने ढंग से बदला जा सकता है और पहले से ही बदल गया मूल्य टेप में आ जाएगा। हुक को एंट्री क्लास का एक संशोधित ऑब्जेक्ट वापस करना चाहिए, या कोई भी अगर हम टेप से इस रिकॉर्ड को "कट" करना चाहते हैं।

Read_tag ​​फ़ंक्शन - rss v 2.0 प्रारूप में एक xml स्ट्रिंग लौटाता है। मैं इस तरह से परिणामी स्ट्रिंग को प्रिंट करता हूं, वेब सर्वर के लिए मेटा जानकारी जोड़ रहा हूं।

खैर, यह सब, यह केवल आरएसएस रीडर में नए पते की सदस्यता के लिए बना हुआ है, मुझे यह इस तरह मिला: 127.0.0.1.18080/python/habrahabr.py।

आप यहाँ gReader API के बारे में अधिक पढ़ सकते हैं। और यहां आप आरएसएस के विनिर्देशन पा सकते हैं।

संक्षेप में कहना

स्क्रिप्ट अब स्पष्ट रूप से Google खाते के लिए लॉगिन और पासवर्ड संग्रहीत करती है, सामान्य तौर पर, यह मेरे लिए महत्वपूर्ण नहीं है, क्योंकि मुझे उन सभी पर भरोसा है जिनके पास कंप्यूटर की भौतिक पहुंच है, लेकिन मुझे विश्वास नहीं है कि कुछ वायरस इस स्क्रिप्ट को प्राप्त कर सकते हैं और इससे पासवर्ड प्राप्त कर सकते हैं। लेकिन किसी भी स्थिति में, गर्डर के लिए एक अलग खाता बनाना संभव है, तब सभी समस्याओं का समाधान हो जाएगा।
सामान्य तौर पर, अब तक की स्क्रिप्ट नम हो गई है और बहुत कार्यात्मक नहीं है, लेकिन यह पूरी तरह से मेरे द्वारा की गई आवश्यकताओं को पूरा करती है।
योजनाओं में ऑटो-जनरेशन बटन को जोड़ने के लिए इसमें रीडिटलाटर या एवरनोट के साथ-साथ पॉडकास्ट के साथ फ़ीड जोड़ने के लिए, स्वचालित रूप से एक विशिष्ट फ़ोल्डर में पॉडकास्ट डाउनलोड करने के लिए शामिल हैं।
मैं हैबरोसिटी से कुछ प्रतिक्रिया की भी उम्मीद करता हूं, जो स्क्रिप्ट को बेहतर बनाने में मदद करेगी।