🚣🏻 ♍️ 🈂️ AWS S3 उच्च उपलब्धता एफ़टीपी सर्वर 🥀 👨🏾‍🎨 🏦

शुभ दोपहर, प्रिय पाठकों।
फिर से मैं अपना अनुभव आपके साथ साझा करना चाहता हूं। एक प्रोजेक्ट पर, लक्ष्य एक FTP सर्वर को व्यवस्थित करने के लिए बढ़ा विश्वसनीयता के साथ था। बढ़ी हुई विश्वसनीयता से निम्नलिखित का मतलब है:

डेटा AWS S3 में संग्रहीत है
एफ़टीपी सर्वर स्वयं (प्योर-फ़ुटपेड चुना गया था) जितना संभव हो उतना सुलभ होना चाहिए
लोड संतुलन व्यवस्थित करें (वैकल्पिक)

चरण एक : s3fs स्थापित करें और S3 बाल्टी को एक डिस्क विभाजन के रूप में माउंट करें।
कई विकल्प नहीं हैं, या बल्कि एक (अगर मुझसे गलती हुई है - सही) - s3fs । उनके पृष्ठ पर s3fs डेवलपर्स का दावा है कि "s3fs स्थिर है और इसका उपयोग उत्पादन वातावरण की संख्या में किया जा रहा है । " S3fs को स्थापित करने की प्रक्रिया का कोई मतलब नहीं है, यह यहां है। मैं केवल महत्वपूर्ण बिंदुओं पर ध्यान केंद्रित करूंगा। सबसे पहले, s3fs के नवीनतम संस्करण में डेटा सिंक्रनाइज़ेशन के साथ समस्याएं हैं। जब आप S3 पर एक नई फ़ाइल अपलोड करते हैं, तो यह तुरंत आपके सर्वर पर दिखाई देती है, लेकिन यदि बाद में आप S3 पर इस फ़ाइल में परिवर्तन करते हैं, तो पुराना संस्करण अभी भी सर्वर पर बना रहता है। कैशिंग के साथ एक समस्या है। कैशिंग को चालू और बंद करने के विभिन्न विकल्पों के साथ S3 बाल्टी को माउंट करने का प्रयास विफल रहा। विभिन्न s3fs रिलीज का परीक्षण करने के बाद, एक संस्करण पाया गया जहां इस बग ने खुद को प्रकट नहीं किया। पैकेज डाउनलोड करें, अनपैक करें और इसे मेकफाइल में लिखे अनुसार इंस्टॉल करें। S3fs को सही तरीके से काम करने के लिए, सुनिश्चित करें कि सिस्टम पर निम्नलिखित पैकेज पहले से ही स्थापित हैं:

फ्यूज
फ्यूज-devel
फ्यूज-libs

जांच करने के लिए, आप कमांड के साथ बाल्टी को बढ़ते हुए देख सकते हैं:

#/usr/bin/s3fs mybucket /mnt/mybucket/ -o accessKeyId=XXXXXXXXXXXXX -o secretAccessKey=YYYYYYYYYYYYYYYYY -o allow_other,rw -o readwrite_timeout=120;

चरण दो : शुद्ध-एफपीडी स्थापित करें।
यह कुछ भी दिलचस्प नहीं लगेगा। बस किसी भी पैकेज मैनेजर का उपयोग करके इंस्टॉल करें। हालाँकि, Pure-ftpd पैरानॉयड है, और किसी फ़ाइल को हटाने से पहले, इसे पहले एक नई अस्थायी फ़ाइल में कॉपी करता है। और जब फ़ाइल का आकार कई गीगाबाइट होता है, तो इस प्रक्रिया में अतिरिक्त समय लगता है। और हमारे मामले में, जब डेटा को स्थानीय रूप से संग्रहीत नहीं किया जाता है, लेकिन S3 पर, तो यह कम समय पर नहीं होता है।
हटाने से पहले अस्थायी फ़ाइलों के निर्माण को अक्षम करने के लिए, मैंने शुद्ध-ftpd को --without-sendfile विकल्प के साथ फिर से बनाया। बेशक, यह आपके पैकेज को इकट्ठा करने और सिस्टम में स्थापित करने के लिए अधिक सही होगा, लेकिन मैंने इसे जल्दी से किया और विचलित नहीं हुआ।

चरण तीन : उपयोगकर्ता अधिकार कॉन्फ़िगर करें।
सबसे दिलचस्प बारीकियों में से एक। ग्राहकों की आवश्यकताओं के अनुसार, प्रत्येक उपयोगकर्ता के होम फ़ोल्डर में ऐसी निर्देशिकाएं होनी चाहिए जो उपयोगकर्ता हटा नहीं सकता है या उन्हें लिख नहीं सकता है। यदि हम नियमित डिस्क विभाजन के साथ काम कर रहे थे, तो हम केवल फ़ोल्डर के मालिक को बदल सकते हैं। लेकिन हमारे मामले में, यह काम नहीं करेगा क्योंकि अधिकारों को उस विकल्प से विरासत में मिला होगा जिसके साथ विभाजन माउंट किया गया है (आरओ या आरडब्ल्यू)। यानी यूजर या तो सब कुछ पढ़ सकता है या सिर्फ पढ़ सकता है। लेकिन शुद्ध-एफपीडी में एक उपयोगी विशेषता है, यह लिंक का "अनुसरण" कर सकता है। ऐसा करने के लिए, असेंबली के दौरान, एक और विकल्प --with-virtualchroot जोड़ें। इस प्रकार, हम बाल्टी को दो बार, केवल -पढ़ने और पढ़ने-लिखने के मोड में माउंट कर सकते हैं और उपयोगकर्ताओं के घर निर्देशिकाओं में उनसे लिंक कर सकते हैं।

 #/usr/bin/s3fs mybucket /mnt/mybucketrw/ -o accessKeyId=XXXXXXXXXXXXX -o secretAccessKey=YYYYYYYYYYYYYYYYY -o allow_other,rw -o readwrite_timeout=120; #/usr/bin/s3fs mybucket /mnt/mybucketro/ -o accessKeyId=XXXXXXXXXXXXX -o secretAccessKey=YYYYYYYYYYYYYYYYY -o allow_other,ro -o readwrite_timeout=120; #mount | grep s3fs s3fs on /mnt/mybucketro type fuse.s3fs (ro,nosuid,nodev,allow_other) s3fs on /mnt/mybucketrw type fuse.s3fs (rw,nosuid,nodev,allow_other)

उपयोगकर्ता निर्देशिका इस तरह दिखाई देगी:

 ls -la /mnt/Users/User1/ . lrwxrwxrwx 1 root root 15 Mar 25 09:10 mybucketro/folder1 -> /mnt/mybucketro/folder1 lrwxrwxrwx 1 root root 15 Mar 25 09:10 mybucketrw/folder2 -> /mnt/mybucketrw/folder2

अब हमने उपयोगकर्ता को पढ़ने के लिए / mnt / mybucketro / folder 1 फ़ोल्डर दिया है और / mnt / mybucketrw / folder2 फ़ोल्डर तक पहुंच लिखी है । इस स्तर पर, हम मान सकते हैं कि पहला TK आइटम (AWS S3 में डेटा संग्रहीत है) पूरा हो गया है।

चरण चार : उच्च उपलब्धता कॉन्फ़िगर करें।
यहाँ अच्छे पुराने AWS LoadBalancer और उसके अद्भुत HealthCheck का उपयोग करने का निर्णय लिया गया।
AWS कंसोल खोलें और एक नया बैलेंसर बनाएं (मुझे यकीन है कि एक बैलेंसर बनाने की प्रक्रिया को दोहराने की कोई आवश्यकता नहीं है। यदि वह, यहाँ एक अनुस्मारक है )।
पिंग प्रोटोकॉल में, टीसीपी, पिंग पोर्ट - 21 का चयन करें।
यही है, अब सर्वर की व्यवहार्यता 21 पोर्ट की उपलब्धता की जाँच की जाएगी, अर्थात हमारा एफ़टीपी सर्वर।
हम अपने सर्वर से एएमआई बनाते हैं (जिस पर एफ़टीपी पहले से कॉन्फ़िगर किया गया है और विभाजन माउंट किए गए हैं)। इसके अलावा, हमेशा की तरह, हम निर्मित एएमआई के साथ लॉन्च-कॉन्फ़िगर करते हैं और ऑटो-स्केलिंग-समूह बनाते हैं।
एक ऑटो-स्केलिंग-समूह बनाते समय, हम अपने नए लोड बैलेंसर और --health-check-type ELB विकल्प को इंगित करते हैं। इस कॉन्फ़िगरेशन में, यदि हमारा एफ़टीपी सर्वर "क्रैश" होता है, तो लोड बैलेंसर इसे हटा देगा और एक नया सर्वर सर्वर बढ़ाएगा। चूंकि सभी डेटा हम S3 पर संग्रहीत करते हैं, तो यह प्रक्रिया हमें नुकसान नहीं पहुंचाएगी।

पांच चरण (वैकल्पिक) आपका सबसे अच्छा अभ्यास बहुत स्वागत है : लोड संतुलन और ऑटोस्कोलिंग की स्थापना।
Ftp पर भार को संतुलित करने का मुद्दा वेब पर लोड, कहना, आसानी से हल किया जा रहा है। मैंने पहली बार इसका सामना किया और, एक तैयार-मुक्त समाधान नहीं ढूंढा, मैंने सुझाव दिया कि ग्राहक सीएसएन का उपयोग करके लोड को संतुलित करता है।
एडब्ल्यूएस रूट 53 में ए-टाइप प्रविष्टियों के लिए एक विकल्प है - वजन। रिकॉर्ड का मूल्य जितना अधिक होगा, ग्राहक की प्रतिक्रिया के समय उसकी प्राथमिकता उतनी ही अधिक होगी।
यही है, सैद्धांतिक रूप से, हम एक ही वजन के साथ 5 रिकॉर्ड बना सकते हैं और इस प्रकार 5 सर्वरों पर ग्राहक अनुरोधों को समान रूप से वितरित कर सकते हैं। रिकॉर्ड को AWS Route53 में जोड़ने के लिए, मैंने दो स्क्रिप्ट बनाईं। एक प्रविष्टि जोड़ने के लिए:

instance_up.sh

 #!/bin/bash zone_id="Z3KU6XBKO52XV4" dns_record="example.com." instance_dns=$(/usr/bin/curl -s http://169.254.169.254/latest/meta-data/public-hostname) instance_ip=$(/usr/bin/curl -s http://169.254.169.254/latest/meta-data/public-ipv4) let number_nodes=$(route53 get $zone_id | grep $dns_record | wc -l)+1 weight="50" id=$(date "+%Y_%m_%d_%H:%M") route53 get $zone_id | grep $instance_ip > /dev/null if [ $? -ne 0 ]; then route53 get $zone_id | grep $dns_record | awk '{print $4" "$3" "$6" "$7}' | sed 's/id=//' | sed 's/\,//' | sed 's/w=//' | sed 's/)//' | while read i; do route53 del_record $zone_id $dns_record A $i route53 add_record $zone_id $dns_record A $(echo $i | awk '{print $1" "$2" "$3}') $weight done route53 add_record $zone_id $dns_record A $instance_ip 60 $id $weight fi

हटाने के लिए एक और:

instance_down.sh

 #!/bin/bash zone_id="Z3KU6XBKO52XV4" dns_record="example.com." instance_dns=$(/usr/bin/curl -s http://169.254.169.254/latest/meta-data/public-hostname) instance_ip=$(/usr/bin/curl -s http://169.254.169.254/latest/meta-data/public-ipv4) let number_nodes=$(route53 get $zone_id | grep $dns_record | wc -l)+1 weight="50" id=$(date "+%Y_%m_%d_%H:%M") route53 get $zone_id | grep $instance_ip > /dev/null if [ $? -eq 0 ]; then route53 del_record $zone_id $(route53 get $zone_id | grep $instance_ip | awk '{print $1" "$2" "$4" "$3" "$6" "$7}' | sed 's/id=//' | sed 's/\,//' | sed 's/w=//' | sed 's/)//') fi

स्क्रिप्ट मार्ग 53 उपयोगिता का उपयोग करती है, जो कि अजगर-बोटो पैकेज के साथ आती है।
हम दोनों स्क्रिप्ट को सर्वर पर रखते हैं जिससे हम एएमआई बनाते हैं और प्योर-फीटप स्टार्ट स्क्रिप्ट में अपना कॉल जोड़ते हैं
अब, शुरू करते समय, Pure-Ftpd अपने IP पते के साथ AWS Route53 में एक नया "A" रिकॉर्ड जोड़ेगा, और बंद होने पर यह इसे हटा देगा।
यह केवल हमारे ऑटो-स्केलिंग-समूह के लिए स्केलअप और स्केलडाउन के लिए नीतियां जोड़ने के लिए बनी हुई है।

वह पूरा सेटअप है। यह कॉन्फ़िगरेशन अब छह महीने के लिए प्रोजेक्ट पर सफलतापूर्वक काम कर रहा है।
यदि आपके कोई प्रश्न हैं - तो टिप्पणी लिखें, यदि संभव हो तो मैं उत्तर दूंगा। मुझे भी खुशी होगी कि अगर कोई इस तरह के सिस्टम के आयोजन में अपना अनुभव साझा करता है

AWS S3 उच्च उपलब्धता एफ़टीपी सर्वर

More articles: