कैश स्टैटिक्स

एक राय है कि नगीनिक्स स्टैटिक्स लौटाने के लिए एक उत्कृष्ट उपकरण है।
रिटर्न को "सुधारने" के लिए सेंडफाइल या आयो सेटिंग्स का वर्णन करने वाले लेख हैं।
Habré पर साइट के दिमाग से समस्याओं को कम करने के लिए प्रॉक्सी_cache के साथ प्रॉक्सी_स्टोर स्थापित करने के बारे में कुछ पढ़ना है।
क्यूए में वापस, कभी-कभी छवि कैशिंग के बारे में सवाल उठते हैं, उदाहरण के लिए।

यह बकवास क्यों करते हैं! - अनुभवी उपयोगकर्ता कहते हैं - ओएस फ़ाइलों को कैश करने के तरीके से बेहतर जानता है! एक कैश और आधुनिक ओएस में एक प्रीफैच के साथ, अधिक सटीक एफएस, कोई समस्या नहीं है! क्यों अपने caches और लोकप्रिय सामग्री और सभी की सूची का उत्पादन?

केवल एक हानिकारक "लेकिन" है - नग्नेक्स रनटाइम (आमतौर पर लिनक्स) में " फाइल " की अवधारणा और आम तौर पर "फाइल सिस्टम" सिर्फ एक अवधारणा है ।
और एक बार, जब मैंने, sshfs के माध्यम से सर्वर को माउंट किया, एक स्क्रिप्ट को अपडेट किया, तो जादू हुआ:
1. प्रत्येक पृष्ठ में 4 और चित्र हैं।
2. सर्वर मृत हैं।
क्या करें - चित्रों को glusterFS पर संग्रहीत किया गया था। पूरा FUSE आया।

GlustFS, FUSE इंटरफ़ेस की तरह, प्रदर्शन को खा जाता है, लेकिन यह इसके लायक है ।
प्रारंभ में, हमारे पास एक सर्वर था। फिर दो, जिनमें से दूसरे ने पहली से nfs तक www को माउंट किया। फिर तीन, चार।
बहुत विश्वसनीय नहीं है, लेकिन ऐतिहासिक रूप से । स्थिति को बचाने के लिए, हमें कुछ पूरी तरह से पारदर्शी प्रणाली, एनएफएस के इन-प्लेस प्रतिस्थापन की आवश्यकता थी। क्लस्टर एफएस।
अब सभी सर्वरों पर 10 छापे पड़े हैं, और ऑपरेशन के डेढ़ साल बाद, यह कुछ बार दुर्घटनाग्रस्त हो गया। जिसमें सभी शामिल हैं। चमक ने चुपचाप हार्डवेयर के एक नए टुकड़े पर एफएस की एक प्रति उठाई और सब कुछ काम करना जारी रखा। ग्लेस्टर को अपनी नौकरी पता है।

लेकिन वास्तव में कहानी थोड़ी गलत शुरू हुई।

कारण अलग था, लेकिन समस्याओं का समाधान एक ही होगा।
इस तथ्य से बदतर कुछ भी नहीं है कि " ऐतिहासिक रूप से "।
और मेरी एक परियोजना में, "ऐतिहासिक रूप से विकसित" स्थिति, जब php चित्र देता है।
एक समय में, विभिन्न ACL, आकार और वॉटरमार्क के साथ फ़ाइल लोडर बनाना आवश्यक था। यह लगभग 10 साल पहले था। तंत्र ने जड़ पकड़ ली है और तब से नहीं बदला है।
अब ऐसी समस्याओं को हल करने के लिए कई विशिष्ट समाधान हैं ( दीर्घवृत्त , बैकपैक और अन्य; और इससे भी बेहतर, सीडीएन)। लेकिन मैं संक्रमण पर महीनों नहीं बिताना चाहता। मैं सोना चाहता हूं, काम नहीं।
हाँ, और php पढ़ना, सिद्धांत रूप में, बुरा नहीं है। लेकिन इसकी अपनी सीमाएं हैं।

लेकिन ब्रेक बैकेंड की समस्या हल हो गई है

Habr, ने एक बार फिर एक समाधान विकल्प दिया - प्रॉक्सी_स्टोर और प्रॉक्सी_चे ।
लेकिन मैं प्रॉक्सी_स्टोर का उपयोग नहीं कर सकता - बचाने के लिए कहीं नहीं है, और प्रॉक्सी_केच के साथ भी समस्याएं हैं।
एक बड़ी बात है, "लेकिन" - कई साल पहले मैं फ़ाइल अपलोड प्रदर्शन के साथ पहले से ही सामना कर रहा था और "बेहतर चलो nginx मेरे लिए अंतिम फाइलें दे" का फैसला किया।
एक्स-एक्सेल-पुनर्निर्देशन।
समस्या - nginx प्रॉक्सी से प्रतिक्रिया को कैश नहीं कर सकता है यदि यह एक प्रतिक्रिया नहीं है, लेकिन एक कमांड है। एक्स-एक्सेल-रीडायरेक्ट - कैश नहीं किया गया ।
क्या कोई रास्ता नहीं है?

मूल समस्या तय हो गई थी

अब विषय की शुरुआत पर वापस।
हमें "स्मार्ट" बैकएंड के हस्तक्षेप के बिना, इस बार स्थिर देने की आवश्यकता है। बस स्थिर है, लेकिन glusterfs के साथ।
स्टैटिक्स कैशिंग के लिए बस कोई निर्देश नहीं हैं - उन्हें प्रदान नहीं किया गया है। यह माना जाता है कि ओएस स्वयं एक मूर्ख नहीं है। स्टैटिक्स के लिए, केवल Open_file_cache है और फ़ाइल ट्रांसफ़र का कॉन्फ़िगरेशन स्वयं (Sendfile / aio and company) है।
क्या करें?
हम कार्य को जटिल करते हैं और अन्य कोडों में कोई बदलाव किए बिना, विशेष रूप से nginx का उपयोग करके समस्या को हल करने का प्रयास करते हैं।

नियमित रूप से विन्यास

# Static files location location ~* ^.+\.(jpg|jpeg|gif|png|ico|css|js|swf|txt|ico)$ { root /var/www/kashey; } 

पैच कॉन्फ़िगर किया गया

परिणाम को कैशिंग करते हुए, Nginx अपने आप पर प्रॉक्सी_पास करता है। शायद आप यहाँ fcgi का उपयोग कर सकते हैं, लेकिन यह अधिक दृश्य है।

 # Static files location location ~* ^.+\.(jpg|jpeg|gif|png|ico|css|js|swf|txt|ico)$ { set $dopass 1; proxy_set_header Host $host; #    "" -      if ($http_fiberpass) { root /var/www/kashey; # proxy_pass   set $dopass 0; break; #  break   } # ,    proxy_cache_valid proxy_cache static_cache; #  "" proxy_set_header fiberpass "nginx"; if ($dopass) { #    . proxy_pass http://127.0.0.1:80; } } 

और कोई जादू नहीं।
एक्स-एक्सेल-रीडायरेक्ट के मामले में, योजना इस प्रकार है:

1. nginx अनुरोध प्राप्त होता है
2. खुद के लिए आगे, दुर्भाग्य से अनुरोध पूर्ण और वास्तविक है।
3. प्रॉक्सी के लिए आगे
4. एक प्रतिक्रिया प्राप्त करता है और फ़ाइल देता है
5. उत्तर कैश्ड है
6. ???
7. लाभ

नियमित स्टैटिक्स के मामले में, यह अधिक कठिन है - जड़ निष्पादन को पूरा नहीं करता है, ब्रेक और रिटर्न भी काम नहीं करता है। प्रॉक्सी सेटिंग्स एक सशर्त ब्लॉक के अंदर नहीं हो सकती हैं।

यह क्या देता है?

एक्स-एक्सेल-रीडायरेक्ट के साथ अपाचे के साथ अनुरोध शाफ्ट को हटा दिया जाता है। एक व्यस्त प्रणाली पर, अंतर 50 गुना हो सकता है।
लेकिन यह समझ में आता है - स्वयं php, और इससे भी अधिक अपाचे के माध्यम से, सबसे प्रतिक्रियाशील समाधान नहीं है।
40 सेंटीमीटर से कम लेटेंसी अनुरोध, मैं व्यक्तिगत रूप से सफल नहीं हुआ (कुल समय php + gluster)।
प्रॉक्सी_केच के साथ विकल्प का उपयोग करने के मामले में, वापसी की गति स्थिर की वापसी की गति के बराबर है।

स्टैटिक्स के बारे में क्या?

चमक के साथ याद रखें - 13ms - यह कैश के बिना सिस्टम के लिए सामान्य समय है।


कैश से वापसी - 1ms - यह अद्भुत है।


यह विचार करना महत्वपूर्ण है - सर्वर जर्मनी में हैं, और ग्राहक रूस में हैं।
साइट के लिए सामान्य पिंग्स 60-100ms।
तो ग्राहक के लिए, त्वरण लगभग ध्यान देने योग्य है।

लेकिन यह सर्वर के लिए ध्यान देने योग्य है।
1. सर्वर पर लोड कम हो गया है, जिसमें तोता लोड औसत और नरम-इरक शामिल है।
2. सर्वर के बीच ट्रैफ़िक कम हो गया है (आप WORM (राइट वन्स रीड कई वॉल्यूम) को सक्षम करने का निर्णय ले सकते हैं, लेकिन यह अब "पारदर्शी" नहीं है)।

3. सब कुछ तेजी से काम करने लगा।

नतीजतन, काम, जिसने क्लाइंट पर प्रतिक्रिया की दर को 10% तक कम कर दिया, स्थिर प्रतिक्रिया के 10 गुना त्वरण का परिणाम था। इसने सर्वर पर कुल भार को लगभग हर 20 बार एक बार कम किया।
दुर्भाग्यवश, यह कथन भी सत्य होगा - चाहे आप कितनी भी कोशिश कर लें, ग्राहक ध्यान नहीं दे सकता।

पुनश्च: कई परिचित प्रणाली प्रशासकों ने ऐसी योजना की संभावना के बारे में सोचा भी नहीं था। कैशिंग / प्रॉक्सी की अनुमति नहीं देता - जिसका अर्थ है कि यह असंभव है।

अच्छे प्रोग्रामर हमेशा अच्छे सिस्टम एडमिनिस्ट्रेटर नहीं होते हैं, और सिस्टम एडमिनिस्ट्रेटर आमतौर पर प्रोग्रामर बिल्कुल नहीं होते हैं।
असली हीरो हमेशा साइकिल पर और पीछे घूमते हैं।

PPS: वैसे, मैं एक sysadmin नहीं हूँ। और, शायद, उसने सब कुछ गलत किया।