फ्रंट एंड कैशिंग: फ्लास्क, नग्नेक्स + मेम्केच्ड + एसएसआई

लंबे समय से मैं इस विषय पर निम्नलिखित लेखों में आया:

• nginx, memcached और SSI
• Nginx + Memcached + SSI - कैशिंग पेज और ब्लॉक (भाग)
• पृष्ठ कैशिंग - किसी साइट को 100 बार गति देना (वार्निश + ईएसआई)

मैं PHP के साथ दोस्त हूं, इसलिए मैंने उदाहरणों की कोशिश की और यह सुनिश्चित किया कि यह काम करे। लेकिन यह सब "घातक दोष" था :) - PHP, और मैं एक अजगर प्रशंसक हूँ और मुख्य रूप से बैकएंड में काम करता हूं। गंभीरता से बोलना, इसे व्यवहार में लाना संभव नहीं था।

हालांकि, वर्ष की शुरुआत में, एक महत्वाकांक्षी परियोजना में भाग लेने के लिए एक प्रस्ताव प्राप्त हुआ था, शुरू में इस ओपेरा से हियालाड और अन्य बन्स को लगाया गया था। जब व्यावसायिक योजनाएं तैयार की जा रही थीं, निवेशक इस तरह की चीजों की तलाश कर रहे थे, मैंने उन मुद्दों का अध्ययन करने का फैसला किया, जो मेरी राय में, कैशिंग मुद्दों सहित इस काम में उपयोगी होंगे।

सबसे पहले, कैशिंग के लिए वार्निश + ईएसआई स्टैक का उपयोग करके मेरे पसंदीदा फ्लास्क ढांचे के लिए एक मसौदा समाधान लागू किया गया था। इसने काम किया और अच्छे परिणाम भी दिखाए। बाद में यह समझ में आया कि शायद वार्निश एक "अतिरिक्त खिलाड़ी" है और सभी समान और इससे भी अधिक लचीले नगीनेक्स + मेम्केच्ड + एसएसआई बंडल का उपयोग करके प्राप्त किया जा सकता है। यह विकल्प भी बनाया गया था, प्रदर्शन में कोई विशेष अंतर नहीं थे, लेकिन बाद वाला अधिक लचीला और प्रबंधनीय लग रहा था।

उस परियोजना ने रनवे के लिए टैक्सी नहीं की, या कर दिया लेकिन मेरे बिना। सोचने के बाद, मैंने "कोड को कंघी" करने का फैसला किया और इसे ओपनसोर्स में और जनता के लिए न्याय करने के लिए डाल दिया।

मैं पृष्ठ टुकड़े के कैशिंग के सिद्धांत का विस्तार से वर्णन नहीं करूंगा। उपरोक्त लेखों में, यह अच्छी तरह से वर्णित है, और Google और यैंडेक्स और भी अधिक जानकारी खोजने में मदद करेंगे। मैं एक विशिष्ट कार्यान्वयन पर अधिक ध्यान केंद्रित करने की कोशिश करूंगा। मेरे मामले में, ये मेरे द्वारा लिखे गए एक्सटेंशन का उपयोग करके नग्नेक्स + मेम्केच्ड + एसएसआई और फ्लास्क हैं ।

संक्षेप में, सिद्धांत को कई वाक्यों में वर्णित किया गया है। फ़ंक्शन का परिणाम जो वेब पेजों के टुकड़े को उत्पन्न करता है, उसे आमतौर पर यूआरआई के रूप में प्रतिनिधित्व की जाने वाली कुंजी के साथ मेमेकैच्ड में रखा जाता है, जो विशिष्ट रूप से इस टुकड़े से मेल खाती है, और फॉर्म की एक पंक्ति <! - # वर्चुअल शामिल करें = <URI> "-> पृष्ठ पर ही प्रदर्शित होता है, जहां! <URI> - मुख्य मूल्य जिसके द्वारा वास्तविक सामग्री को कैश में डाला जाता है। इसके अलावा, "विशेष रूप से प्रशिक्षित" नग्नेक्स ने इस निर्देश का सामना करने के दौरान प्रोक्सिंग के माध्यम से इसे वास्तविक रूप से प्राप्त किए गए सर्वर से सीधे हटा दिया।

एक विशिष्ट साइट के उदाहरण पर विचार करें, जहां प्रत्येक पृष्ठ में एक ब्लॉक होता है जिसमें उपयोगकर्ता को एक ग्रीटिंग और उसके द्वारा की गई पोस्ट और टिप्पणियों की संख्या प्रदर्शित की जाती है। उपयोगकर्ता संदेशों की संख्या की गणना एक महंगा ऑपरेशन है, और अगर हम वहां दोस्तों के ग्राफ को भी प्रदर्शित करते हैं, तो केवल एक टुकड़ा डेटाबेस को काफी सूखा देगा, और इसलिए समग्र पृष्ठ लोडिंग गति। लेकिन एक रास्ता है! आप ऊपर बताए अनुसार इस ब्लॉक की सामग्री को कैश कर सकते हैं और जब भी उपयोगकर्ता एल्बम में एक नया फोटो खोलता है, डेटाबेस से क्वेरी नहीं की जाएगी। Nginx इस ब्लॉक को "बिना तनाव के" बैकएंड देगा। यह एप्लिकेशन के लिए कैश में सामग्री को अपडेट करने के लिए रहता है यदि उपयोगकर्ता ने एक नया पोस्ट बनाया है या एक टिप्पणी लिखी है।

यह दृष्टिकोण विशिष्ट से भिन्न होता है जब एप्लिकेशन स्वयं कैश से डेटा का चयन करता है और इसे पेज पर प्रदर्शित करता है कि अब Nginx इसके लिए जिम्मेदार है, और Nginx एक चीज है! मुझे पता है कि किसी भी चौखटे के लिए सामग्री लौटने की गति में अतुलनीय है।

व्यावहारिक हिस्सा

विस्तार कोड वास्तव में दार्शनिक नहीं है, मुझे फ्लास्क-फ्रैगमेंट कहा गया था और एमआईटी लाइसेंस के तहत जीथब पर प्रकाशित किया गया था । कोई परीक्षण नहीं है, कोई दस्तावेज नहीं है, लेकिन ब्लॉग के "लाइट" संस्करण का प्रतिनिधित्व करने वाला एक कार्यात्मक कार्यात्मक अनुप्रयोग है। अगर यह मेरे अलावा किसी और के लिए भी दिलचस्पी का विषय होगा, तो मैं एपीआई के कुछ विस्तार, वार्निश + ईएसआई विकल्प के लिए समर्थन और निश्चित रूप से परीक्षण और प्रलेखन करने की योजना बनाता हूं।

कैशिंग को सक्षम करना

एक टुकड़ा और उसके बाद के कैशिंग का चयन करने के लिए, आपको एक फ़ंक्शन बनाने की ज़रूरत है जो पृष्ठ के केवल आवश्यक हिस्से को उत्पन्न करता है। हम इसे टुकड़े टुकड़े करने वाले डेकोरेटर द्वारा टुकड़े टुकड़े करने के लिए जिम्मेदार के रूप में चिह्नित करते हैं। फ्लास्क-फ्रैगमेंट एक्सटेंशन इसकी कार्यक्षमता के लिए जिम्मेदार है, एक को जुड़ा होना चाहिए। इस तरह के फ़ंक्शन, मैं उन्हें नीचे दिए गए खंड दृश्य कहूंगा, वे उन मापदंडों को ले सकते हैं जिनकी उन्हें आवश्यकता है, और आउटपुट पर उन्हें सामग्री को वेब पेज में प्रविष्टि के लिए उपयुक्त देना होगा।

 from flask import Flask from flask.ext.fragment import Fragment app = Flask(__name__) fragment = Fragment(app) @fragment(app, cache=300) def posts_list(page): page = int(page) page_size = POSTS_ON_PAGE pagination = Post.query.filter_by().paginate(page, page_size) posts = Post.query.filter_by().offset((page-1)*page_size).limit(page_size).all() return render_template('fragments/posts_list.html', pagination=pagination, posts=posts) 

मुख्य पृष्ठ के टेम्प्लेट में, निम्न रूप में टुकड़ा कॉल जारी किया जाता है:

 <div class="content"> {% block content %} {{ fragment('posts_list', page) }} {% endblock %} </div> 

अब, पहली बार page=2 साथ टुकड़ा कहा जाता है, posts_list फ़ंक्शन के परिणाम को fragment:/_inc/posts_list/2 साथ posts_list कैश में डाल दिया जाएगा fragment:/_inc/posts_list/2 , और पेज पर Nginx के लिए निर्देश डाला जाएगा। यह इस तरह दिखेगा:

 <div class="content"> <!--# include virtual="/_inc/posts_list/2" --> </div> 

इसके अलावा, fragment:fresh:/_inc/posts_list/2 कुंजी fragment:fresh:/_inc/posts_list/2 मान 1 के साथ भी fragment:fresh:/_inc/posts_list/2 में रखा जाएगा। कॉल को posts_list फ़ंक्शन में इंटरसेप्ट करने से यह सामग्री उत्पन्न करने के लिए शुरू नहीं होगी, जबकि यह कुंजी कैश में है और इसका मान> 0 है।

मुख्य fragment:/_inc/posts_list/2 लिए TTL fragment:/_inc/posts_list/2 को 300 पर सेट किया जाएगा (हमने इसे fragment सज्जाकार के cache पैरामीटर में परिभाषित किया है) + मान FRAGMENT_LOCK_TIMEOUT कॉन्फ़िगरेशन में, डिफ़ॉल्ट रूप से 180 के लिए निर्दिष्ट किया गया है। और कुंजी fragment:fresh:/_inc/posts_list/2 का TTL fragment:fresh:/_inc/posts_list/2 केवल पर। सेट वैल्यू 300 है। उसके बाद, Nginx, निर्देश को पूरा कर रहा है <!--# include virtual="/_inc/posts_list/2" –> कोड में 480 सेकंड के लिए आवेदन किए बिना इस टुकड़े की सामग्री को कैश किए गए कैश से ले जाएगा। सिद्धांत रूप में, नग्नेक्स टीटीएल समाप्ति की स्थिति के लिए इंतजार नहीं करेगा, आवेदन 300 सेकंड के बाद सामग्री को अपडेट करेगा, जब fragment:fresh:/_inc/posts_list/2 प्रमुख मौजूद हैं।

फ्लश कैश

तो खंडित है कैश। वैसे, ऊपर दिए गए उदाहरण को डेमो एप्लिकेशन से लिया गया है जो फ्लास्क-फ्रैगमेंट पैकेज के साथ आता है, यह उनमें से प्रत्येक के लिए टिप्पणियों की संख्या के साथ पदों की एक सूची बनाता है। तदनुसार, जब उपयोगकर्ता ने एक पोस्ट या टिप्पणी जोड़ी, तो कैश में सूची की सामग्री प्रासंगिक नहीं होगी। इसे अद्यतन करने की आवश्यकता है। नीचे एक फ्लास्क दृश्य का एक उदाहरण है जिसे पोस्ट जोड़ा जाने पर कहा जाता है।

 @app.route('/new/post', methods=['GET', 'POST']) @login_required def new_post(): form = PostForm() if form.validate_on_submit(): form.post.author_id = current_user.id db.session.add(form.post) db.session.commit() fragment.reset(posts_list) fragment.reset(user_info, current_user.id) flash('Your post has saved successfully.', 'info') return redirect(url_for('index')) return render_template('newpost.html', form=form) 

यहाँ दो fragment.reset करने की विधि के लिए कहा जाता है। पहला fragment.reset(posts_list) खंड दृश्य posts_list लिए कैश फ्लश करता है, दूसरा fragment.reset(user_info, current_user.id) एक यूजर ग्रीटिंग के साथ उस बहुत ब्लॉक के लिए कैश फ्लश करता है, जिसे मैंने लेख की शुरुआत में एक उदाहरण के रूप में दिया था, क्योंकि यह सामान्य प्रदर्शित करता है। पोस्ट और उपयोगकर्ता टिप्पणियों की संख्या। यह टुकड़ा यूआरआई / _inc / user_info / 21 द्वारा विशिष्ट रूप से संबोधित किया जाता है, जहां अंतिम अंक userid उपयोगकर्ता नाम है। विस्तार अपने आप ही कुंजी रीसेट को व्यवस्थित करता है, जो इसे fragment.reset दिए गए मापदंडों के आधार पर बनाता है।

पहले मामले में हालात बदतर हैं, वहां पेगिनेशन का उपयोग किया जाता है और इसमें कई लचीली चाबियां होंगी क्योंकि वर्तमान में पदों की सूची के लिए पेज बनाए गए हैं। उदाहरण के लिए fragment:fresh:/_inc/posts_list/2 , यह केवल दूसरे पृष्ठ को रीसेट करने की कुंजी है। यहां आप उच्च मन के हस्तक्षेप के बिना नहीं कर सकते। नीचे फ़ंक्शन कोड है जो एक विशिष्ट कैश रीसेट टुकड़ा view posts_list ।

 @fragment.resethandler(posts_list) def reset_posts_list(): page_size = POSTS_ON_PAGE pagination = Post.query.filter_by().paginate(1, page_size) for N in range(pagination.pages): fragment.reset_url(url_for('posts_list', page=N+1)) 

यहाँ हम "कस्टम" हैंडलर को परिभाषित करने वाले fragment.resethandler .resethandler डेकोरेटर का उपयोग करते fragment.resethandler , जिसमें fragment.reset_url विधि का उपयोग करके पोस्ट सूची के प्रत्येक पृष्ठ के लिए कैश फ़्लश किया जाता है।

अंत में, मैं कोड का एक और ब्लॉक पेश करूंगा, ये फ्लास्क एक्सटेंशन के तरीके हैं, जो कि टुकड़े को कैश करने के लिए सामग्री के गठन और लेखन से संबंधित कार्यक्षमता का मुख्य भाग बताते हैं।

 def _render(self, url, timeout, deferred_view): if self.memcache and timeout: if not self._cache_valid(url): self._cache_prepare(url, timeout, deferred_view) return jinja2.Markup('<!--# include virtual="{0}" -->'.format(url)) else: return jinja2.Markup(deferred_view()) def _cache_valid(self, url): return bool(self.memcache.get(self.fresh_prefix+url) or False) def _cache_prepare(self, url, timeout, deferred_view): successed_lock = self.memcache.add(self.lock_prefix+url, 1, self.lock_timeout) if successed_lock: result = Compressor.unless_prefix+(deferred_view()).encode('utf-8') self.memcache.set(self.body_prefix+url, result, timeout+self.lock_timeout) self.memcache.set(self.fresh_prefix+url, 1, timeout) self.memcache.delete(self.lock_prefix+url) 

जैसा कि आप देख सकते हैं, एक लॉक कुंजी बनाने का प्रयास किया जाता है। यह दौड़ की स्थिति को रोकता है। केवल एक धागा जो एक लॉक सेट करने में कामयाब होता है वह कैश में जानकारी को अपडेट करने में शामिल होता है, बाकी एक मूक स्क्रिप्ट निष्पादित करता है और क्लाइंट को पुराना डेटा लौटाता है।

निष्कर्ष

हमें क्या मिला? और हमें फ्रंटएंड और डेटाबेस का एक गंभीर उतराई मिल गया, यह स्पष्ट रूप से दिखाई देता है जब डेमो एप्लिकेशन डीबगोलबार में चल रहा है। बाद में, मैं इस अनुमान के आधार पर रिपॉजिटरी में एक लोड परीक्षण डालने की योजना बना रहा हूं कि ब्लॉग उपयोगकर्ता पोस्ट या टिप्पणियों को जोड़ने के लिए केवल 5% अनुरोध करता है, बाकी सब देख रहा है। हालांकि, यदि आप प्रत्येक में दो या तीन दर्जन पोस्ट दो या तीन दर्जन टिप्पणियों से भरते हैं, तो एक कमजोर वर्चुअल मशीन पर अंतर पहले से ही ध्यान देने योग्य है।

FRAGMENT_CACHING के विन्यास में FRAGMENT_CACHING पैरामीटर के मान को सेट करके कैशिंग को बंद किया जा सकता है। इस मामले में, आवेदन नंगेक्स के माध्यम से निकटता के बिना काम कर सकता है, विस्तार अपने आप टुकड़े के वास्तविक सामग्री को सम्मिलित करेगा।

आपका ध्यान देने के लिए धन्यवाद, मुझे आशा है कि यह लेख न केवल वेब प्रोग्रामरों के लिए दिलचस्प था, जो पाइथन को पसंद करते हैं, बल्कि उन सभी को भी जो वेब एप्लिकेशन के प्रदर्शन को बेहतर बनाने में रुचि रखते हैं। मुझे यह भी उम्मीद है कि मैंने अद्भुत फ्लास्क ढांचे को लोकप्रिय बनाने में योगदान दिया है।