15 मिनट में लोचदार निरर्थक S3- संगत भंडारण

S3 आज शायद किसी को आश्चर्यचकित नहीं करेगा। यह वेब सेवाओं के लिए बैकएंड रिपॉजिटरी के रूप में और मीडिया उद्योग में फाइल रिपॉजिटरी के रूप में और बैकअप के लिए एक संग्रह के रूप में दोनों का उपयोग किया जाता है।



सेफ़ ऑब्जेक्ट स्टोरेज पर आधारित S3- संगत स्टोरेज के एक छोटे तैनाती उदाहरण पर विचार करें

त्वरित संदर्भ

सेफ़ लचीली, आसानी से स्केलेबल पेटाबाइट भंडारण का एक खुला स्रोत विकास है। आधार वस्तु भंडारण में कई दर्जन सर्वरों के डिस्क स्थान का संघ है, जो लचीले एकाधिक छद्म आयामी डेटा पुनर्वितरण के लिए अनुमति देता है। सिफ डेवलपर्स तीन और परियोजनाओं के साथ इस ऑब्जेक्ट स्टोर को पूरक करते हैं:

• RADOS गेटवे - S3- और स्विफ्ट-संगत RESTful इंटरफ़ेस
• आरबीडी - पतली विकास और स्नैपशॉट के समर्थन के साथ एक ब्लॉक डिवाइस
• सीएफएस एफएस - वितरित पोसिक्स-अनुरूप फाइल सिस्टम

उदाहरण वर्णन

मेरे उदाहरण में, मैं प्रत्येक में 3 SATA डिस्क के साथ 3 सर्वर का उपयोग करना जारी रखता हूं: /dev/sda एक प्रणाली के रूप में और /dev/sdb और /dev/sdc वस्तु भंडारण डेटा के लिए। एस 3 संगत भंडारण के साथ काम करने के लिए विभिन्न कार्यक्रम, मॉड्यूल, और रूपरेखा एक ग्राहक के रूप में कार्य कर सकते हैं। मैंने सफलतापूर्वक DragonDisk , CrossFTP और S3Browser का परीक्षण किया है।
इस उदाहरण में भी, मैं केवल एक RADOS गेटवे नोड 01 नोड पर उपयोग करता हूं। S3 इंटरफ़ेस पर उपलब्ध होगा s3.ceph.labspace.studiogrizzly.com s3.ceph.labspace.studiogrizzly.com
यह ध्यान देने योग्य है कि फिलहाल सिफ ऐसे S3 ऑपरेशंस http://ceph.com/docs/master/radosgw/3/3 का समर्थन करता है।

चलिए शुरू करते हैं

चरण 0. तैयारी सेफ

जैसा कि मैंने पहले से ही तैनात सिफ क्लस्टर का उपयोग करना जारी रखा है, मुझे केवल /etc/ceph/ceph.conf कॉन्फ़िगरेशन को थोड़ा समायोजित करने की /etc/ceph/ceph.conf है - RADOS गेटवे के लिए एक परिभाषा जोड़ें

 [client.radosgw.gateway] host = node01 keyring = /etc/ceph/keyring.radosgw.gateway rgw socket path = /tmp/radosgw.sock log file = /var/log/ceph/radosgw.log rgw dns name = s3.ceph.labspace.studiogrizzly.com rgw print continue = false 

और इसे अन्य नोड्स पर अपडेट करें

 scp /etc/ceph/ceph.conf node02:/etc/ceph/ceph.conf scp /etc/ceph/ceph.conf node03:/etc/ceph/ceph.conf 

चरण 1. Apache2, FastCGI और RADOS गेटवे स्थापित करें

 aptitude install apache2 libapache2-mod-fastcgi radosgw 

चरण 2. अपाचे को कॉन्फ़िगर करना

हम आवश्यक मॉड्यूल शामिल करते हैं

 a2enmod rewrite a2enmod fastcgi 

RADOS गेटवे /etc/apache2/sites-available/rgw.conf लिए VirtualHost बनाएं

 FastCgiExternalServer /var/www/s3gw.fcgi -socket /tmp/radosgw.sock <VirtualHost *:80> ServerName s3.ceph.labspace.studiogrizzly.com ServerAdmin tweet@studiogrizzly.com DocumentRoot /var/www RewriteEngine On RewriteRule ^/([a-zA-Z0-9-_.]*)([/]?.*) /s3gw.fcgi?page=$1¶ms=$2&%{QUERY_STRING} [E=HTTP_AUTHORIZATION:%{HTTP:Authorization},L] <IfModule mod_fastcgi.c> <Directory /var/www> Options +ExecCGI AllowOverride All SetHandler fastcgi-script Order allow,deny Allow from all AuthBasicAuthoritative Off </Directory> </IfModule> AllowEncodedSlashes On ErrorLog /var/log/apache2/error.log CustomLog /var/log/apache2/access.log combined ServerSignature Off </VirtualHost> 

बनाए गए VirtualHost को चालू करें और डिफ़ॉल्ट को बंद करें

 a2ensite rgw.conf a2dissite default 

हम FastCGI स्क्रिप्ट /var/www/s3gw.fcgi बनाते हैं:

 #!/bin/sh exec /usr/bin/radosgw -c /etc/ceph/ceph.conf -n client.radosgw.gateway 

और इसे निष्पादन योग्य बनाएं

 chmod +x /var/www/s3gw.fcgi 

चरण 3. RADOS गेटवे तैयार करना

आवश्यक निर्देशिका बनाएं

 mkdir -p /var/lib/ceph/radosgw/ceph-radosgw.gateway 

नई RADOS गेटवे सेवा के लिए एक कुंजी बनाएं

 ceph-authtool --create-keyring /etc/ceph/keyring.radosgw.gateway chmod +r /etc/ceph/keyring.radosgw.gateway ceph-authtool /etc/ceph/keyring.radosgw.gateway -n client.radosgw.gateway --gen-key ceph-authtool -n client.radosgw.gateway --cap osd 'allow rwx' --cap mon 'allow r' /etc/ceph/keyring.radosgw.gateway 

और इसे क्लस्टर में जोड़ें

 ceph -k /etc/ceph/ceph.keyring auth add client.radosgw.gateway -i /etc/ceph/keyring.radosgw.gateway 

चरण 4. लॉन्च

Apache2 और RADOS गेटवे को पुनरारंभ करें

 service apache2 restart /etc/init.d/radosgw restart 

चरण 5. पहला उपयोगकर्ता बनाएं

S3 क्लाइंट का उपयोग करने के लिए, हमें नए उपयोगकर्ता के लिए access_key और secret_key को प्राप्त करने की आवश्यकता है

 radosgw-admin user create --uid=i --display-name="Igor" --email=tweet@studiogrizzly.com 

कमांड का आउटपुट देखें और अपने क्लाइंट की चाबियों को कॉपी करें

चरण 6. डीएनएस

काम करने के लिए बाल्टियों के लिए, हमें उस होस्ट सर्वर की आवश्यकता होती है जब s3.ceph.labspace.studiogrizzly.com किसी भी उपडोमेन को क्वेरी करते समय होस्ट के आईपी पते s3.ceph.labspace.studiogrizzly.com इंगित करने के लिए जहां RADOS गेटवे चल रहा है।
उदाहरण के लिए, mybackups नामक एक बाल्टी mybackups , डोमेन mybackups.s3.ceph.labspace.studiogrizzly.com. नोड 01 के आईपी पते को इंगित करना चाहिए, जो कि 192.168.2.31 है।
मेरे मामले में, मैं अभी एक CNAME रिकॉर्ड जोड़ता हूं

 * IN CNAME node01.ceph.labspace.studiogrizzly.com. 

अंतभाषण

15 मिनट में हम S3- संगत भंडारण को तैनात करने में कामयाब रहे। अब अपने पसंदीदा S3 क्लाइंट को जोड़ने का प्रयास करें।

---

बोनस हिस्सा

मैंने 2GIS पर उत्पादन में RADOS गेटवे का उपयोग करके अपने अनुभव के बारे में sn00p से पूछा। नीचे उनकी समीक्षा है:

सामान्य विवरण

हमारे पास एक वार्निश है, रेडियो फाटकों के 4 एपाचे बैकएंड द्वारा उठाए गए हैं। एप्लिकेशन पहले वार्निश में चढ़ता है, अगर कोई बमर है, तो राउंड्रोबिन सीधे अपाचे में टूट जाता है। यह बात एक महीने के लिए एक्सेस लॉग के साथ सिंथेटिक परीक्षणों के जेमीटर पर समस्याओं के बिना 20,000 आरपीएस दबाती है। डेढ़ लाख तस्वीरों के अंदर, दृश्यपटल पर कार्यभार लगभग 300 आरपीएस है।



5 मशीनों पर अब तक सेफ, ओस्द के लिए एक अलग डिस्क और पत्रिका के लिए एक अलग एसडीएस है। डिफ़ॉल्ट प्रतिकृति, ^ 2। प्रणाली एक ही समय में दो नोड्स के गिरने से बच जाती है और उसके बाद विविधताओं के साथ। छह महीने के लिए, क्लाइंट को अभी तक एक भी त्रुटि नहीं दिखाई गई है।

लचीलेपन के साथ कोई समस्या नहीं है - भंडारण का आकार, इनोड, कैटलॉग द्वारा लेआउट - यह सब अतीत में है।

समाधान सुविधाएँ

• पांच HP Proliant Gen8 DL360e सर्वर। प्रत्येक सर्वर पर सिफ कार्यों के लिए, एक 300 जीबी एसएएस 15krpm आवंटित किया जाता है। प्रदर्शन में उल्लेखनीय सुधार लाने के लिए, हिसाची अल्ट्रास्टार 400 एम एसएसडी ड्राइव पर ओस्ड डेमन लॉग प्रस्तुत किए गए हैं।
• Apache2 और radosgw के साथ दो kvm वर्चुअल मशीनें अंदर। कैसे nginx FastCGI मैं व्यक्तिगत रूप से पसंद नहीं था के साथ काम करता है। नगेंक्स बैकएंड पर सामग्री देने से पहले अपलोड के दौरान बफरिंग का उपयोग करता है। सैद्धांतिक रूप से, समस्याएं बड़ी फ़ाइलों या धाराओं के साथ हो सकती हैं। लेकिन, स्वाद और स्थिति की बात है, nginx भी काम करता है।
• Apache2 एक संशोधित एक का उपयोग करता है जो आपको 100-continue HTTP response को संभालने की अनुमति देता है। रेडीमेड पैकेज यहां लिए जा सकते हैं ।
• वार्निश के साथ एक एप्लिकेशन राडोसगव के साथ दोनों नोड्स को देखता है। कोई कैश या बैलेंसर हो सकता है। यदि यह क्रैश हो जाता है, तो एप्लिकेशन सीधे ही रेडोसग्व को पोल कर सकता है:
  
  पता चलता है

   backend radosgw1 { .host = "radosgw1"; .port = "8080"; .probe = { .url = "/"; .interval = 2s; .timeout = 1s; .window = 5; .threshold = 3; } } backend radosgw2 { .host = "radosgw2"; .port = "8080"; .probe = { .url = "/"; .interval = 2s; .timeout = 1s; .window = 5; .threshold = 3; } } director cephgw round-robin { { .backend = radosgw1; } { .backend = radosgw2; } } 

• प्रत्येक एप्लिकेशन की अपनी बाल्टी होती है। विभिन्न एसएल समर्थित हैं, आप लचीले ढंग से बाल्टी के लिए और इसमें प्रत्येक ऑब्जेक्ट के लिए उपयोग अधिकारों को समायोजित कर सकते हैं।
• सभी रसोई के साथ काम के लिए हम python-boto उपयोग करते python-boto । यहां एक उदाहरण पायथन स्क्रिप्ट (सावधानी, इंडेंटेशन) है जो फ़ाइल सिस्टम से बाल्टी में सब कुछ भर सकती है। यह विधि स्वचालित मोड में फ़ाइलों के एक समूह के बैच प्रसंस्करण के लिए सुविधाजनक है। यदि आप अजगर की तरह नहीं हैं - कोई समस्या नहीं है, तो आप अन्य लोकप्रिय भाषाओं का उपयोग कर सकते हैं।
  
  पता चलता है

   #!/usr/bin/env python import fnmatch import os, sys import boto import boto.s3.connection access_key = 'insert_access_key' secret_key = 'insert_secret_key' pidfile = "/tmp/copytoceph.pid" def check_pid(pid): try: os.kill(pid, 0) except OSError: return False else: return True if os.path.isfile(pidfile): pid = long(open(pidfile, 'r').read()) if check_pid(pid): print "%s already exists, doing natting" % pidfile sys.exit() pid = str(os.getpid()) file(pidfile, 'w').write(pid) conn = boto.connect_s3( aws_access_key_id = access_key, aws_secret_access_key = secret_key, host = 'cephgw1', port = 8080, is_secure=False, calling_format = boto.s3.connection.OrdinaryCallingFormat(), ) mybucket = conn.get_bucket('test') mylist = mybucket.list() i = 0 for root, dirnames, filenames in os.walk('/var/storage/photoes', followlinks=True): for filename in fnmatch.filter(filenames, '*'): myfile = os.path.join(root,filename) key = mybucket.get_key(filename) i += 1 if not key: key = mybucket.new_key(filename) key.set_contents_from_filename(myfile) key.set_canned_acl('public-read') print key print i os.unlink(pidfile) 

• बॉक्स से बाहर, राडोसगव बहुत बातूनी है और सामान्य लोड के तहत, बड़ी लॉग फाइलें उत्पन्न करता है। हमारे लोड के तहत, हमने जरूरी लॉगिंग के स्तर को कम कर दिया:
  
  पता चलता है

  [Client.radosgw.gateway]
  ...
  debug rgw = 2
  rgw सक्षम ops लॉग = गलत
  stderr = false पर लॉग इन करें
  rgw सक्षम उपयोग लॉग = गलत
  ...
• निगरानी के लिए, हम ज़ैबिक्स के लिए टेम्पलेट का उपयोग करते हैं, स्रोत यहां लिया जा सकता है ।

यह सब हमारे साथ छह महीने से काम कर रहा है और आमतौर पर इसके लिए प्रशासक के हस्तक्षेप की आवश्यकता नहीं होती है))

भविष्य की योजना

अब मैं ~ 4-200kb की 15 मिलियन फाइलों को स्टोर करने और अपलोड करने के लिए सेफ का उपयोग करने की कोशिश कर रहा हूं। S3 के साथ, यह बहुत सुविधाजनक नहीं है - कोई बल्क-कॉपी ऑपरेशन नहीं हैं, आप शुरू में भंडारण को भरने के लिए डेटा के साथ एक बाल्टी को हटा नहीं सकते हैं - यह धीरे-धीरे पीपीसी है। इसे कसने के लिए अन्वेषण करें।

लेकिन मुख्य कार्य जियोक्लेस्टर है, हम खुद साइबेरिया में हैं और ग्राहक को भौगोलिक रूप से नजदीकी बिंदु से डेटा भेजना चाहते हैं। मॉस्को के लिए, हमारी सामग्री पहले से ही देरी से उड़ती है - 100ms प्लस तक, यह अच्छा नहीं है। खैर, सिफ डेवलपर्स को अपनी योजनाओं में सब कुछ लगता है।