🤚🏻 🐽 👿 संसाधन संस्करण के माध्यम से HTTP सर्वर का अनुकूलन। कार्यान्वयन सुविधाएँ 🌛 ◾️ 🐊

अनुकूलन का सार
पृष्ठ लोड बनाम मजबूर ताज़ा
स्वचालन की आवश्यकता है
सर्वर साइड कार्यान्वयन
सर्वर साइड अनुकूलन
सुविधाएँ google app इंजन
स्रोत कोड
सारांश

Google App Engine / Python के लिए एक उदाहरण कार्यान्वयन माना जाता है।

अनुकूलन का सार

याहू इंजीनियरों ने अपने प्रसिद्ध लेख में फ़ाइल संस्करण के माध्यम से HTTP प्रसंस्करण को अनुकूलित करने के लिए एक दिलचस्प तकनीक के बारे में लिखा है। इसका सार है ... आमतौर पर वे बस HTML में लिखते हैं:

 < img src="image.jpg" >

एक बार छवि प्राप्त करने के बाद। कैश में, ब्राउज़र द्वारा HTML को दोबारा पढ़ने के बाद फिर से उसी छवि का लिंक मिल जाता है। सामान्य तौर पर, ब्राउज़र स्वतंत्र रूप से यह नहीं समझ सकता है कि क्या यह सर्वर पर अपडेट किया गया था, इसलिए इसे सर्वर को अनुरोध भेजना होगा।

अनावश्यक अनुरोध से बचने के लिए, आप इसके पते में संसाधन के संस्करण को निर्दिष्ट कर सकते हैं, जिससे पता अद्वितीय हो जाता है:

 < img src="image.v250.jpg" >

इस प्रकार, ब्राउज़र यह सुनिश्चित कर सकता है कि फ़ाइल संस्करण संख्या 250 भविष्य में नहीं बदलेगी, और नंबर 251 भी; और यदि संख्या 250 कैश में है, तो आप इसे बिना किसी प्रश्न के सर्वर में उपयोग कर सकते हैं। दो HTTP हेडर ब्राउज़र को यह विश्वास दिलाने में मदद करेंगे:

 //  ,     Expires: Fri, 30 Oct 2050 14:19:41 GMT //       Cache-Control: max-age=12345678, public

इस प्रकार, umpteenth समय के लिए एक पृष्ठ देखने के लिए, आपको केवल HTML डाउनलोड करने की आवश्यकता है, और कई संसाधनों तक पहुंच की आवश्यकता नहीं है।

पृष्ठ लोड बनाम। मजबूरन ताज़ा करें

अपने वर्तमान स्वरूप में, यह अनुकूलन निम्न लिंक्स के लिए और Ctrl + L, Enter के लिए काम करता है। लेकिन अगर उपयोगकर्ता F5 के माध्यम से वर्तमान पृष्ठ को ताज़ा करता है, तो ब्राउज़र यह भूल जाता है कि संसाधनों ने संकेत दिया है कि "परेशान न करें", और "अतिरिक्त" अनुरोध सर्वर पर भेजे जाते हैं, प्रत्येक संसाधन के लिए। अब आप ब्राउज़रों के इस व्यवहार को बदल नहीं सकते हैं, लेकिन आप क्या कर सकते हैं और क्या नहीं करना चाहिए, हर बार फाइलों को पूरे कार्यक्रम में नहीं देना चाहिए, लेकिन अतिरिक्त तर्क प्रस्तुत करने के लिए, जितना संभव हो उतना जवाब देने की कोशिश करें "मैंने कुछ भी नहीं बदला है, इसे अपने कैश से लें।"

जब ब्राउज़र "image.v250.jpg" के लिए पूछता है, अगर इसकी कैश में प्रतिलिपि है, तो ब्राउज़र हेडर को "इफ़-संशोधित-चूंकि: शुक्र, 01 जनवरी 1990 00:00:00 GMT" भेजता है। जो ब्राउज़र पहली बार इस तस्वीर के लिए आया है, वह इस तरह के हेडर नहीं भेजता है। तदनुसार, उत्तर को पहले "कुछ भी नहीं बदला" के लिए कहना चाहिए, और ईमानदारी से दूसरे को चित्र दें। विशेष रूप से, हमारे मामले में, तारीख का विश्लेषण नहीं किया जा सकता है - कैश में एक तस्वीर की उपस्थिति का तथ्य महत्वपूर्ण है, और वहां तस्वीर सही है (फ़ाइलों और अद्वितीय URL के संस्करण के कारण)।

लेकिन ठीक उसी तरह, यदि सर्वर कैश में है तो भी "इफ़-मॉडिफाइड-चूंकि" हेडर नहीं आएगा। इस हेडर को भेजने के लिए ब्राउज़र को मजबूर करने के लिए, (कालानुक्रमिक रूप से) पिछले उत्तर में, आपको हेडर को "अंतिम-संशोधित: शुक्र, 01 जनवरी 1990 00:00:00 GMT" देना होगा। व्यवहार में, इसका मतलब केवल यह है कि सर्वर को हमेशा यह हेडर देना चाहिए। आप अंतिम फ़ाइल परिवर्तन की एक ईमानदार तारीख दे सकते हैं, या आप अतीत में किसी भी तारीख को निर्दिष्ट कर सकते हैं - उसी तारीख को फिर सर्वर पर वापस जाएगा, और वहां, जैसा कि यह निकला, यह विशेष रुचि का नहीं है।

वास्तव में, इस पैराग्राफ में वर्णित अनुकूलन का याहू के साथ सीधा संबंध नहीं है, लेकिन अनावश्यक वर्कलोड से बचने के लिए संयोजन में इसका उपयोग किया जाना चाहिए। अन्यथा, प्रभाव अधूरा होगा।

स्वचालन की आवश्यकता है

तकनीक खराब नहीं है, लेकिन व्यवहार में फ़ाइलों के संस्करणों को मैन्युअल रूप से व्यवस्थित करना संभव नहीं है। GAE / django में, समस्या को कस्टम टैग के माध्यम से हल किया जाता है। कोड टेम्पलेट में लिखा गया है:

 < img src="{% static 'image.jpg' %}" >

HTML में परिवर्तित हो रहा है:

 < img src="/never-expire/12345678/image.jpg" >

और यहाँ इस तरह के टैग का कार्यान्वयन है:

 def static(path): return StaticFilesInfo.get_versioned_resource_path(path) register.simple_tag(static)

सर्वर साइड कार्यान्वयन

मूल रूप से, यह अनुकूलन स्थिर फ़ाइलों - चित्र, सीएसएस, जावास्क्रिप्ट को संसाधित करने के लिए सुविधाजनक है। लेकिन ऐप इंजन स्वयं स्थिर के रूप में निर्दिष्ट फ़ाइलों को संसाधित करता है ~~(बहुत कुशलता~~ से नहीं ) और HTTP हेडर को बदलने की अनुमति नहीं देगा। इसलिए, मानक "स्थिर" निर्देशिका के अलावा, एक और एक प्रकट होता है - "कभी-समाप्त नहीं"।

सबसे पहले, GET अनुरोध हैंडलर जाँचता है कि फ़ाइल का अनुरोध किया गया संस्करण नवीनतम से मेल खाता है। यदि यह मेल नहीं खाता है, तो यह नए पते पर पुनर्निर्देशित करता है, आदेश के लिए:

 # Some previous version of resource requested - redirect to the right version correct_path = StaticFilesInfo.get_resource_path(resource) if self.request.path != correct_path: self.redirect(correct_path) return

फिर वह प्रतिक्रिया हेडर सेट करता है:
- फाइल एक्सटेंशन के अनुसार कंटेंट-टाइप
- एक्सपायर, कैश-कंट्रोल, जैसा कि पहले ही बताया गया है।

यदि अनुरोध में यदि संशोधित-चूंकि हेडर दिखाई देता है, तो हम कुछ भी नहीं करते हैं और कोड को 304 में सेट करते हैं - संसाधन नहीं बदला है। अन्यथा, फ़ाइल की सामग्री को प्रतिक्रिया निकाय में कॉपी किया जाता है:

 if 'If-Modified-Since' in self.request.headers: # This flag means the client has its own copy of the resource # and we may not return it. We won't. # Just set the response code to Not Changed. self.response.set_status(304) else: time.sleep(1) # todo: just making resource loading process noticeable abs_file = os.path.join(os.path.split(__file__)[0], WHERE_STATIC_FILES_ARE_STORED, resource) transmit_file(abs_file, self.response.out)

शायद अगर जीएई में डेटाबेस फाइल सिस्टम से तेज है, तो यह पहली बार है जब आप फाइल को डेटाबेस में फाइल की सामग्री को कॉपी करने के लिए अनुरोध करते हैं और उसके बाद ही वहां जाते हैं। मेरे लिए सवाल खुला है।

सर्वर साइड अनुकूलन

फ़ाइल के संस्करण के रूप में, आप VCS से दोनों संस्करण और फ़ाइल के अंतिम अद्यतन के समय का उपयोग कर सकते हैं - कोई बुनियादी अंतर नहीं है। मैंने दूसरा चुना, और इसके साथ सरल:

 os.path.getmtime(file)

हालांकि, प्रत्येक अनुरोध के लिए फ़ाइल सिस्टम को मतदान करना बहुत अच्छा नहीं लगता है - I / O हमेशा धीमा होता है। इसलिए, आप पहले अनुरोध पर (सभी) स्थिर फ़ाइलों के वर्तमान संस्करणों के बारे में जानकारी एकत्र कर सकते हैं और जानकारी को मेम्चे में डाल सकते हैं। आउटपुट ऐसा हैश है:

 { 'cover.jpg': 123456, 'style.css': 234567 }

जिसे नवीनतम संस्करण को खोजने के लिए कस्टम टैग में उपयोग किया जाएगा। स्वाभाविक रूप से, आपको कुछ चीज़ों की ज़रूरत है जैसे कि मेमकेचे खराब होने पर सिंगलटन:

 class StaticFilesInfo(): @classmethod def __get_static_files_info(cls): info = memcache.get(cls.__name__) if info is None: info = cls.__grab_info() time = MEMCACHE_TIME_PRODUCTION if is_production() else MEMCACHE_TIME_DEV_SERVER memcache.set(cls.__name__, info, time) return info @classmethod def __grab_info(cls): """ Obtain info about all files in managed 'static' directory. This is done rarely. """ dir = os.path.join(os.path.split(__file__)[0], WHERE_STATIC_FILES_ARE_STORED) hash = {} for file in os.listdir(dir): abs_file = os.path.join(dir, file) hash[file] = int(os.path.getmtime(abs_file)) return hash

Google ऐप इंजन की विशेषताएं

आप सभी स्थिर फ़ाइलों के बारे में जानकारी एकत्र कर सकते हैं, लेकिन क्या होगा अगर डिजाइनर तस्वीर बदलता है? सर्वर को कैसे पता चलेगा कि फाइलों के कैश्ड वर्जन को अपडेट करने का समय आ गया है। सामान्य स्थिति में, मैं वास्तव में कल्पना नहीं करता - आपको या तो फाइल सिस्टम में बदलाव के लिए एक डेमॉन शुरू करने की आवश्यकता है, या तैनाती के बाद स्क्रिप्ट चलाने के लिए याद रखें।

लेकिन ऐप इंजन एक विशेष मामला है। इस प्रणाली में, स्थानीय मशीन पर विकास किया जाता है, जिसके बाद सर्वर पर समाप्त कोड (और स्थिर फाइलें) तैनात (तैनात) होती हैं। और, महत्वपूर्ण रूप से, सर्वर पर फ़ाइलों को अब (अगली तैनाती तक) नहीं बदला जा सकता है। यही है, यह केवल एक बार संस्करणों को पढ़ने के लिए पर्याप्त है और अब कोई परवाह नहीं है कि वे बदल सकते हैं।

केवल एक चीज यह है कि स्थानीय विकास के साथ, फ़ाइलें भी बहुत बदल सकती हैं, और यदि इस मामले में आप वैकल्पिक रूप से कार्य नहीं करते हैं, तो उदाहरण के लिए, ब्राउज़र डेवलपर को छवि का एक पुराना संस्करण दिखाएगा, जो असुविधाजनक है। लेकिन इस मामले में, प्रदर्शन बहुत महत्वपूर्ण नहीं है, इसलिए आप कुछ सेकंड के लिए मेमेकैच में डेटा डाल सकते हैं या बिल्कुल नहीं।

समाप्त उदाहरण का स्रोत कोड

code.google.com/p/investigations/source/browse/#svn%2Ftrunk%2Fnever-expire-http-resources

svn चेकआउट जांच .googlecode.com/svn/trunk/never-expire-http-resource जाँच

सारांश

मैंने इसे अभी तक appspot पर अपलोड नहीं किया है, लेकिन स्थानीय रूप से सब कुछ काम करता है और उड़ जाता है। लोग, ग्राहक-सर्वर अनुकूलन का लाभ उठाएं, मूर्खतापूर्ण 200 ठीक जवाब न दें :)

युपीडी। टिप्पणियों में वे लिखते हैं (और मैं पुष्टि करता हूं) कि स्थिर फ़ाइलों के लिए समान प्रभाव मानक स्थैतिक के माध्यम से प्राप्त किया जा सकता है। यही है, इस तरह के "मैनुअल" कोड स्टेटिक्स प्रसंस्करण के लिए शायद ही उपयुक्त है - जीएई इसे बेहतर तरीके से संभाल सकता है। हालांकि, गतिशील रूप से निर्मित संसाधनों के प्रसंस्करण के लिए दृष्टिकोण उपयोगी हो सकता है । इस संदर्भ में, ETag कार्यान्वयन के लिए अंतिम-संशोधित की तुलना में अधिक सुविधाजनक हो सकता है।

संसाधन संस्करण के माध्यम से HTTP सर्वर का अनुकूलन। कार्यान्वयन सुविधाएँ