क्लाउड डेटा स्टोरेज

फेसबुक, इंस्टाग्राम, यूट्यूब और कई अन्य जैसे सामाजिक अनुप्रयोगों के उदय के साथ, उपयोगकर्ता-उत्पन्न सामग्री का प्रबंधन एक समस्या बन गई है, और समस्याओं को संबोधित करने की आवश्यकता है। अमेज़ॅन एडब्ल्यूएस एस 3, Google स्टोरेज, रैकस्पेस क्लाउड फाइल्स और इसी तरह की अन्य सेवाएं बारिश के बाद मशरूम की तरह दिखाई देने लगीं, ताकि एप्लिकेशन डेवलपर्स को स्केलेबल एसेट स्टोरेज को प्रबंधित करने की तत्काल समस्या का समाधान करने में मदद मिल सके। और निश्चित रूप से वे सभी "क्लाउड" का उपयोग करते हैं!

समस्या

लोकप्रिय सामाजिक अनुप्रयोग, वैज्ञानिक अनुप्रयोग और मीडिया सामग्री उत्पन्न करने वाले एप्लिकेशन कम समय में बड़ी मात्रा में जानकारी उत्पन्न करने में सक्षम हैं। यहाँ कुछ उदाहरण हैं:

• हर मिनट उपयोगकर्ताओं द्वारा 72 घंटे का वीडियो YouTube पर अपलोड किया जाता है। ( स्रोत )
• स्नैपचैट पर हर दिन 20 मिलियन तस्वीरें अपलोड की जाती हैं। ( स्रोत )
• 2009 में लॉन्च होने के बाद से Pinterest ने 8 बिलियन साइट और 410 टेराबाइट डेटा की बचत की है। ( स्रोत )
• ट्विटर प्रति दिन लगभग 12 टेराबाइट डेटा उत्पन्न करता है। ( स्रोत )

जब आपका एप्लिकेशन आपके उपयोगकर्ताओं द्वारा उत्पन्न की गई सामग्री की एक बड़ी मात्रा को संग्रहीत करना शुरू करता है, तो आपकी टीम को यह तय करना होगा कि इस समस्या को हल करने के लिए अपना समय कहाँ निवेश करना है। यदि आपका एप्लिकेशन इस तरह से बनाया गया है जैसे कि आपके हार्डवेयर / इन्फ्रास्ट्रक्चर पर परिसंपत्तियों को लगाने के लिए, आपकी टीम बहुत समय और पैसा खर्च करने और कुशलता से संपत्ति का प्रबंधन करने की कोशिश करेगी। वैकल्पिक रूप से, आप एक क्लाउड स्टोरेज प्रदाता के साथ संपत्ति स्टोर कर सकते हैं। इस पथ को चुनकर, आप आवेदन सामग्री को लगभग असीम पैमाने पर ले जाने की अनुमति दे सकते हैं, केवल इस सामग्री को प्रस्तुत करने के लिए उपयोग किए गए स्थान और संसाधनों के लिए भुगतान कर सकते हैं। नतीजतन, क्लाउड-आधारित डेटा स्टोरेज आपके इंजीनियरों के हाथों को खोल देगा और आपको अद्वितीय अनुप्रयोगों को बनाने पर ध्यान केंद्रित करने की अनुमति देगा, बजाय एक साइकिल का आविष्कार करने के जब स्केलेबिलिटी एक समस्या बन जाती है।

आप अपने एप्लिकेशन के लिए क्लाउड स्टोरेज का उपयोग करने के बारे में कब सोचेंगे?

• जब आपके उपयोगकर्ताओं द्वारा तैयार की गई सामग्री एप्लिकेशन का हिस्सा होती है। क्या आपका एप्लिकेशन उपयोगकर्ताओं को फ़ाइलें अपलोड करने की अनुमति देता है? क्या एप्लिकेशन सर्वर साइड पर फाइल जेनरेट करता है? यदि एप्लिकेशन फ़ाइलों को स्वीकार करेगा या उत्पन्न सामग्री फ़ाइल सिस्टम में संग्रहीत की जाएगी, तो जल्दी या बाद में आपको क्लाउड डेटा स्टोरेज के बारे में सोचना होगा।
• जब आपका एप्लिकेशन एक ही सर्वर पर क्रैम्प हो जाता है । यदि आपका एप्लिकेशन एकल सर्वर या वेब होस्ट पर चलने के लिए पर्याप्त कॉम्पैक्ट है और आप परिवर्तनों की अपेक्षा नहीं करते हैं, तो क्लाउड में संपत्ति संग्रहीत करने का कोई मतलब नहीं है। आप स्थानीय फ़ाइल सिस्टम में उनके भंडारण को कॉन्फ़िगर कर सकते हैं और इसके बारे में भूल सकते हैं। यदि आपको लगता है कि आपको दूसरे एप्लिकेशन सर्वर की आवश्यकता है, तो आप क्लाउड-आधारित परिसंपत्ति भंडारण के लाभों और प्रसन्नता को तुरंत प्राप्त कर सकते हैं। आप नए सर्वर पर अपनी संपत्ति फ़ाइल सिस्टम को दोहराने के बिना अपनी सेवा को क्षैतिज रूप से एक असीमित संख्या में एप्लिकेशन सर्वर पर स्केल कर सकते हैं। चूंकि आपकी संपत्ति केंद्रीय रूप से संग्रहीत की जाएगी, वे उन सर्वरों की संख्या की परवाह किए बिना कहीं से भी सुलभ होंगे, जिन पर आपका आवेदन चलेगा।
• जब आपकी टीम के लिए यह महत्वपूर्ण है कि आप एक स्केलेबल फाइल सिस्टम विकसित करने के बजाय अपने प्रोग्राम की विशेषताओं को विकसित करें, जो आपके व्यवसाय के लिए महत्वपूर्ण हैं। यदि आपके पास कम पैसा या समय है और आप अपने आवेदन की वृद्धि का अनुमान लगाते हैं, तो क्लाउड स्टोरेज एक जीत-जीत विकल्प होगा। यह आपको आवेदन को जल्दी से तैनात करने और आवश्यकतानुसार स्केल करने की क्षमता देगा।

एकीकरण और पहुंच

अधिकांश अग्रणी क्लाउड स्टोरेज सेवाएं अपने एपीआई के माध्यम से पहुंच प्रदान करती हैं, जिससे डेवलपर्स क्लाउड-आधारित परिसंपत्ति भंडारण को अपने आवेदन में एकीकृत कर सकते हैं। नीचे हम अमेज़ॅन एस 3 पर संपत्ति के भंडारण के लिए एसडीके या लाइब्रेरी का उपयोग करते हुए कुछ कोड उदाहरणों पर एक नज़र डालते हैं।

रूबी और कैरियरविवे

नमूना कोड कैरियरवे रिपॉजिटरी से अनुकूलित है।

• कैरियरवेयर स्थापित करें: रत्न स्थापित वाहक या अपने रत्न मणि 'वाहकवाहक' को स्थापित करें
• कोहरा स्थापित करें: मणि स्थापित कोहरा या अपने मणिभ मणि "कोहरे" में, "~> 1.3.1"
• प्रारंभिक फ़ाइल में निम्न जोड़ें:
  

  CarrierWave.configure do |config| config.fog_credentials = { :provider => 'AWS', # required :aws_access_key_id => 'xxx', # required :aws_secret_access_key => 'yyy', # required :region => 'eu-west-1' # optional, defaults to 'us-east-1' } config.fog_directory = '_' config.fog_public = false config.fog_attributes = {'Cache-Control'=>'max-age=315576000'} config.asset_host = 'https://assets.example.com' end 

• एक अपलोडर वर्ग बनाएँ:
  

   class AvatarUploader < CarrierWave::Uploader::Base storage :fog end 

• सीधे अपलोडर का उपयोग करना:
  

   uploader = AvatarUploader.new uploader.store!(my_file) uploader.retrieve_from_store!('my_file.png') 

• ActiveRecord के साथ अपने अपलोडर का उपयोग करना:
  अपनी डेटाबेस तालिका में एक फ़ील्ड जोड़ें और कैरियरवे की आवश्यकता है:
  

   add_column :users, :avatar, :string in a database migration file require 'carrierwave/orm/activerecord' in your model file. 

• अपने अपलोडर को मॉडल से कनेक्ट करें:
  

   class User < ActiveRecord::Base mount_uploader :avatar, AvatarUploader end 

• मॉडल और फाइलों के साथ काम करें:

   u = User.new u.avatar = params[:file] u.avatar = File.open('somewhere') u.save! u.avatar.url # => '/url/to/file.png' u.avatar.current_path # => 'path/to/file.png' u.avatar.identifier # => 'file.png' 

यहाँ Amazon S3, Rackspace Cloud Files और Google Storage पर अपलोड करने के लिए CarrierWave का उपयोग करने के उदाहरण हैं , साथ ही कुछ ORM जैम जैसे DataMapper , Mongoid, और Sequel ।

PHP और AWS SDK

अमेज़ॅन एडब्ल्यूएस एपीआई और सेवाओं के साथ काम करने के लिए एक PHP एसडीके प्रदान करता है। इस उदाहरण के लिए, हम README रिपॉजिटरी के SDK के निर्देशों का उपयोग करेंगे।

• Config-sample.inc.php की सामग्री की प्रतिलिपि बनाएँ और फ़ाइल में संकेत के अनुसार अपनी अनुमतियाँ जोड़ें।
• अपनी फ़ाइल को ~ / .aws / sdk / config.inc.php पर ले जाएं।
• याद रखें कि getenv ('HOME') आपके उपयोगकर्ता फ़ोल्डर को इंगित करना चाहिए। अन्यथा, आपको इस putenv ('Home = <your-user-folder>') को निर्दिष्ट करना होगा
  

   //  AmazonS3  $s3 = new AmazonS3(); //   s3 bucket   $bucket = '--BUCKET' . strtolower($s3->key); if (!$s3->if_bucket_exists($bucket)) { $response = $s3->create_bucket($bucket,AmazonS3::REGION_US_E1); if (!$response->isOK()) die('Could not create `' . $bucket . '`.'); } //   . $response = $s3->get_object('aws-sdk-for-php', 'some/path-to-file.ext',array( 'fileDownload' => './local/path-to-file.ext' )); //  . $response = $s3->create_object($bucket, 'some/path-to-file.ext', array( 'fileUpload' => './local/path-to-file.ext' )); 

नोड और नॉक्स

Node.js के लिए, मैंने गितूब पर नॉक्स अमेज़ॅन एस 3 क्लाइंट से नमूना कोड को अनुकूलित किया।

 //   var client = knox.createClient({ key: '<api-key-here>' , secret: '<secret-here>' , bucket: 'BUCKET-NAME' }); //    S3 client.putFile('some/path-to-file.ext', 'bucket/file-name.ext', function(err, res){ // Logic }); //    S3 client.get('/some/path-to-file.ext').on('response', function(res){ console.log(res.statusCode); console.log(res.headers); res.setEncoding('utf8'); res.on('data', function(chunk){ console.log(chunk); }); }).end(); //    S3 client.del('/some/path-to-file.ext').on('response', function(res){ console.log(res.statusCode); console.log(res.headers); }).end(); 

निष्कर्ष

जैसा कि आप देख सकते हैं, AWS S3 API के साथ काम करना बेहद सरल है और अधिकांश भाषाओं के लिए बहुत सारे पुस्तकालय उपलब्ध हैं। मैं अपने भविष्य के प्रोजेक्ट को डिजाइन करते समय क्लाउड स्टोरेज पर एक नज़र डालने की सलाह दूंगा। आप नए परिसंपत्ति आवंटन समाधानों का आविष्कार नहीं करके अपने आप को समय बचाते हैं और आपको क्लाउड स्टोरेज को स्केल करने की लगभग असीमित क्षमता दी जाएगी।