अमेज़ॅन S3 ऑब्जेक्ट्स और बास्केट को Windows Azure Storage पर कॉपी करें

इस आलेख में, अमेज़ॅन एस 3 से विंडोज एज़्योर ब्लॉब स्टोरेज के लिए ऑब्जेक्ट और बाल्टी की नकल कैसे करें।

7 जून 2012 के बाद के महत्वपूर्ण नवाचारों में से एक था कॉपी ब्लब का सुधार। इस लेख को लिखते समय, मैंने विकास टीम की सामग्रियों का उपयोग किया, जो यहां पाई जा सकती हैं: http://blogs.msdn.com/b/windowsazurestorage/archive/2012/06/12/introducing-asynchronous-cross-acount-copy-blob.aspx । मेरा ध्यान क्या आकर्षित करता है - प्रतिलिपि बूँद कार्यक्षमता आपको विंडोज एज़्योर के बाहर से कॉपी करने की अनुमति देती है , अगर वे सार्वजनिक रूप से उपलब्ध हैं। यही है, उन्हें विंडोज एज़्योर में होने की आवश्यकता नहीं है।

यह बहुत बड़ा है !!!

इसने मुझे बैठ कर सोचने लगा .. यानी अब मेरे पास अपनी फ़ाइलों को विंडोज एज़्योर ब्लॉब स्टोरेज में स्थानांतरित करने का विकल्प है, जिसमें अधिकांश काम प्लेटफ़ॉर्म द्वारा ही किया जा रहा है। इसलिए मैंने एक साधारण एप्लिकेशन लिखने के बारे में सोचा जो अमेज़ॅन एस 3 से विंडोज एज़्योर ब्लॉब स्टोरेज में एक फ़ाइल (ऑब्जेक्ट) को कॉपी करने की कोशिश करेगा। यह कुछ घंटों (घंटों में किया गया था क्योंकि एस 3 में एक निश्चित बिंदु तक कोई खाता नहीं था, क्रमशः, स्टोर के लिए ग्राहक पुस्तकालय का ज्ञान कुछ हद तक सीमित था)। लेकिन मैं जो कहना चाहता हूं: वह वास्तव में काम करता है और ऐसा करना वास्तव में आसान है।

ऐसा क्यों?

मैंने कई परिदृश्यों के बारे में सोचा, जिसमें आपको एक क्लाउड प्रदाता से विंडोज एज़्योर ब्लॉब स्टोरेज की सामग्री को कॉपी करने की आवश्यकता हो सकती है।

विंडोज Azure बूँद संग्रहण वास्तव में प्रतिस्पर्धी है

सभी नई सुविधाओं और कम कीमतों के साथ, विंडोज एज़्योर स्टोरेज अन्य क्लाउड प्रदाताओं के लिए एक वास्तविक विकल्प है जो क्लाउड स्टोरेज सेवाएं प्रदान करते हैं। यह एक कारण हो सकता है कि आप अपने प्रदाता से विंडोज एज़्योर स्टोरेज में क्यों स्विच करेंगे। या आप हमेशा स्थानांतरित करना चाहते थे, लेकिन यह पता नहीं लगा सके कि भंडारण से डेटा कैसे स्थानांतरित किया जाए। नया कॉपी ब्लब फीचर इस समस्या को हल करना सुपर आसान बनाता है।

मौजूदा डेटा के लिए बैकअप के रूप में विंडोज एज़्योर ब्लॉब स्टोरेज

अब आप अपने क्लाउड स्टोरेज से डेटा का बैकअप लेने के लिए आसानी से बूँद भंडारण का उपयोग कर सकते हैं। यह पहले संभव था, लेकिन यह एक दर्दनाक प्रक्रिया थी, क्योंकि इसमें कोड का एक गुच्छा आवश्यक था।

नवीनतम नवाचारों के साथ, यह वास्तव में आसान हो गया है। अब आपको Windows Azure में स्रोत से बाइट कॉपी करने के लिए कोड लिखने की आवश्यकता नहीं है। यह सब मंच द्वारा किया जाता है। आप केवल यह कहते हैं कि स्रोत कहां है और आपको इसे कहां स्थानांतरित करना है, कॉपी फ़ंक्शन और इसे कॉल करें।

मुझे कोड दिखाओ !!!

ठीक है, पर्याप्त बात! कोड को देखते हैं। मैंने एक साधारण कंसोल एप्लिकेशन (नीचे दिया गया कोड) बनाया, लेकिन इससे पहले कि मैं जाऊं, मैं कुछ और बिंदुओं पर चर्चा करना चाहूंगा। ।

आवश्यक शर्तें

कोड चलाने से पहले, आपको कई कार्य करने होंगे:

1. एक तिजोरी खाता बनाएँ: ध्यान दें कि नई कार्यक्षमता केवल तभी काम करेगी जब तिजोरी खाता 7 जून 2012 के बाद बनाया गया था (इसके लिए - नोट , अनुवादक नोट देखें)।

2. भंडार के ग्राहक पुस्तकालय का नवीनतम संस्करण डाउनलोड करें: लेखन के समय, पुस्तकालय का आधिकारिक तौर पर जारी संस्करण 1.7 है। दुर्भाग्य से, नई कार्यक्षमता इसमें काम नहीं करती है, इसलिए आपको गिटहब से 1.7.1 डाउनलोड करने की आवश्यकता है । स्रोत डाउनलोड करें और संकलित करें।

3. वस्तु / बूँद की सार्वजनिक उपलब्धता की जाँच करें: कॉपी ब्लॉब्स फ़ंक्शन केवल विंडोज अज़्योर के बाहर से सार्वजनिक रूप से सुलभ ब्लब्स की प्रतिलिपि बना सकता है। इसलिए, अमेज़ॅन S3 के मामले में, आपको यह सुनिश्चित करने की आवश्यकता है कि ऑब्जेक्ट में अनाम उपयोगकर्ताओं के लिए कम से कम READ अनुमतियां हैं।

कोड

जैसा कि मैंने ऊपर कहा, कोड बहुत सरल है:

using System; using System.Collections.Generic; using System.Linq; using System.Text; using Microsoft.WindowsAzure; using Microsoft.WindowsAzure.StorageClient; namespace CopyAmazonObjectToBlobStorage { class Program { private static string azureStorageAccountName = “"; private static string azureStorageAccountKey = ""; private static string azureBlobContainerName = ""; private static string amazonObjectUrl = ""; private static string azureBlobName = ""; static void Main(string[] args) { CloudStorageAccount csa = new CloudStorageAccount(new StorageCredentialsAccountAndKey(azureStorageAccountName, azureStorageAccountKey), true); CloudBlobClient blobClient = csa.CreateCloudBlobClient(); var blobContainer = blobClient.GetContainerReference(azureBlobContainerName); Console.WriteLine("Trying to create the blob container...."); blobContainer.CreateIfNotExist(); Console.WriteLine("Blob container created...."); var blockBlob = blobContainer.GetBlockBlobReference(azureBlobName); Console.WriteLine("Created a reference for block blob in Windows Azure...."); Console.WriteLine("Blob Uri: " + blockBlob.Uri.AbsoluteUri); Console.WriteLine("Now trying to initiate copy...."); blockBlob.StartCopyFromBlob(new Uri(amazonObjectUrl), null, null, null); Console.WriteLine("Copy started...."); Console.WriteLine("Now tracking blob's copy progress...."); bool continueLoop = true; while (continueLoop) { Console.WriteLine(""); Console.WriteLine("Fetching lists of blobs in Azure blob container...."); var blobsList = blobContainer.ListBlobs(true, BlobListingDetails.Copy); foreach (var blob in blobsList) { var tempBlockBlob = (CloudBlob) blob; var destBlob = blob as CloudBlob; if (tempBlockBlob.Name == azureBlobName) { var copyStatus = tempBlockBlob.CopyState; if (copyStatus != null) { Console.WriteLine("Status of blob copy...." + copyStatus.Status); var percentComplete = copyStatus.BytesCopied / copyStatus.TotalBytes; Console.WriteLine("Total bytes to copy...." + copyStatus.TotalBytes); Console.WriteLine("Total bytes copied...." + copyStatus.BytesCopied); if (copyStatus.Status != CopyStatus.Pending) { continueLoop = false; } } } } Console.WriteLine(""); Console.WriteLine("=============================================="); System.Threading.Thread.Sleep(1000); } Console.WriteLine("Process completed...."); Console.WriteLine("Press any key to terminate the program...."); Console.ReadLine(); } } } 

कोड काफी सरल है। मैं क्या करता हूं: मैं विंडोज एज़्योर स्टोरेज और सोर्स ब्लॉब URL तक पहुँच के लिए क्रेडेंशियल निर्दिष्ट करता हूं (अमेज़ॅन एस 3 में); मैं विंडोज एज़्योर में बूँद कंटेनर बनाता हूं और स्रोत URL से बूँद की प्रतिलिपि बनाना शुरू करता हूं। कॉपी अनुरोध भेजने के बाद, सभी आवेदन कॉपी प्रक्रिया की निगरानी करते हैं। जैसा कि आप देख सकते हैं, स्रोत से रिसीवर तक बाइट्स कॉपी करने के लिए कोड की एक भी पंक्ति नहीं है। यह सब Windows Azure द्वारा किया जाता है।

यहाँ अमेज़न S3 में कोई वस्तु कैसी दिखती है:


ऑब्जेक्ट को कॉपी करने के बाद, मैं इसे क्लाउड स्टोरेज स्टूडियो का उपयोग करके विंडोज एज़्योर ब्लॉब स्टोरेज में देख सकता हूं।



जैसा कि आपने देखा, Windows Azure आसानी से डेटा स्थानांतरित करने की क्षमता प्रदान करता है। यदि आप किसी अन्य क्लाउड प्लेटफ़ॉर्म से Windows Azure पर जाने पर विचार कर रहे हैं, लेकिन सभी प्रकार की संबंधित समस्याओं के बारे में चिंतित थे, तो एक समस्या कम हो गई है।

मैंने एक सरल उदाहरण बनाया है जो अमेज़ॅन एस 3 से विंडोज एज़्योर ब्लॉब स्टोरेज की एक फाइल की प्रतिलिपि बनाता है। अमेज़ॅन एस 3 रीसायकल बिन से विंडोज एज़्योर ब्लॉब्स कंटेनर में सभी ऑब्जेक्ट्स को कॉपी करने के लिए इस कार्यक्षमता का विस्तार किया जा सकता है। आइए अगले लेख पर आगे बढ़ें - अमेज़ॅन एस 3 से विंडोज एज़्योर ब्लॉब स्टोरेज की कॉपी ब्लो का उपयोग करके कार्ट को कैसे कॉपी करें।

आवश्यक शर्तें

कोड चलाने से पहले, आपको कई कार्य करने होंगे:

1. ऑब्जेक्ट / बूँद की सार्वजनिक उपलब्धता की जाँच करें: कॉपी ब्लब्स फ़ंक्शन केवल विंडोज अज़्योर के बाहर से सार्वजनिक रूप से सुलभ ब्लब्स की प्रतिलिपि बना सकता है। इसलिए, अमेज़ॅन S3 के मामले में, आपको यह सुनिश्चित करने की आवश्यकता है कि ऑब्जेक्ट में अनाम उपयोगकर्ताओं के लिए कम से कम READ अनुमतियां हैं।
2. एक तिजोरी खाता बनाएँ: कृपया ध्यान दें कि नई कार्यक्षमता केवल तभी काम करेगी जब तिजोरी खाता 7 जून 2012 के बाद बनाया गया था (क्यों - नोट , अनुवादक नोट देखें)।
3. रिपॉजिटरी के क्लाइंट लाइब्रेरी का नवीनतम संस्करण डाउनलोड करें: लेखन के समय, लाइब्रेरी का आधिकारिक संस्करण 1.7 है। दुर्भाग्य से, नई कार्यक्षमता इसमें काम नहीं करती है, इसलिए आपको गिटहब से 1.7.1 डाउनलोड करने की आवश्यकता है । स्रोत डाउनलोड करें और संकलित करें।
4. .Net के लिए Amazon SDK : आपको Amazon AWS से .net के लिए Amazon SDK डाउनलोड करना होगा।
5. Amazon के लिए क्रेडेंशियल पास रखें : Amazon S3 कचरा में संग्रहीत वस्तुओं की सूची प्राप्त करने के लिए आपको Amazon AccessKey और SecretKey का उपयोग करना होगा।

कोड

कोड बहुत सरल है। कृपया ध्यान दें कि यह केवल प्रदर्शन उद्देश्यों के लिए है। आप इसे आवश्यकतानुसार संशोधित कर सकते हैं।

 using System; using System.Collections.Generic; using System.Linq; using System.Text; using Amazon.S3; using Amazon.S3.Model; using Amazon.S3.Transfer; using Amazon.S3.Util; using Microsoft.WindowsAzure; using Microsoft.WindowsAzure.StorageClient; using System.Globalization; namespace CopyAmazonBucketToBlobStorage { class Program { private static string azureStorageAccountName = “”; private static string azureStorageAccountKey = “”; private static string azureBlobContainerName = “”; private static string amazonAccessKey = “”; private static string amazonSecretKey = “”; private static string amazonBucketName = “”; private static string objectUrlFormat = “https://{0}.s3.amazonaws.com/{1}”; private static Dictionary<string, CopyBlobProgress> CopyBlobProgress; static void Main(string[] args) { //     Windows Azure CloudStorageAccount azureCloudStorageAccount = new CloudStorageAccount(new StorageCredentialsAccountAndKey(azureStorageAccountName, azureStorageAccountKey), true); //    ,    . var blobContainer = azureCloudStorageAccount.CreateCloudBlobClient().GetContainerReference(azureBlobContainerName); //  ,   . Console.WriteLine(«Trying to create the blob container....»); blobContainer.CreateIfNotExist(); Console.WriteLine(«Blob container created....»); //    Amazon AmazonS3Client amazonClient = new AmazonS3Client(amazonAccessKey, amazonSecretKey); //  CopyBlobProgress = new Dictionary<string, CopyBlobProgress>(); string continuationToken = null; bool continueListObjects = true; //  ListObjects        1000 , //    ,      . while (continueListObjects) { ListObjectsRequest requestToListObjects = new ListObjectsRequest() { BucketName = amazonBucketName, Marker = continuationToken, MaxKeys = 100, }; Console.WriteLine(«Trying to list objects from S3 Bucket....»); //    Amazon S3 var listObjectsResponse = amazonClient.ListObjects(requestToListObjects); //  var objectsFetchedSoFar = listObjectsResponse.S3Objects; Console.WriteLine(«Object listing complete. Now starting the copy process....»); //,     .    ,        continuation token. continuationToken = listObjectsResponse.NextMarker; foreach (var s3Object in objectsFetchedSoFar) { string objectKey = s3Object.Key; //ListObjects    ,  ,     S3 Object Key.     /,    . if (!objectKey.EndsWith(«/»)) { // URL   string urlToCopy = string.Format(CultureInfo.InvariantCulture, objectUrlFormat, amazonBucketName, objectKey); //  CloudBlockBlob CloudBlockBlob blockBlob = blobContainer.GetBlockBlobReference(objectKey); var blockBlobUrl = blockBlob.Uri.AbsoluteUri; if (!CopyBlobProgress.ContainsKey(blockBlobUrl)) { CopyBlobProgress.Add(blockBlobUrl, new CopyBlobProgress() { Status = CopyStatus.NotStarted, }); // .     try/catch //    Amazon S3       . try { Console.WriteLine(string.Format(«Trying to copy \»{0}\» to \»{1}\»«, urlToCopy, blockBlobUrl)); blockBlob.StartCopyFromBlob(new Uri(urlToCopy)); CopyBlobProgress[blockBlobUrl].Status = CopyStatus.Started; } catch (Exception exception) { CopyBlobProgress[blockBlobUrl].Status = CopyStatus.Failed; CopyBlobProgress[blockBlobUrl].Error = exception; } } } } Console.WriteLine(««); Console.WriteLine(«==========================================================«); Console.WriteLine(««); Console.WriteLine(«Checking the status of copy process....»); //  bool checkForBlobCopyStatus = true; while (checkForBlobCopyStatus) { //      var blobsList = blobContainer.ListBlobs(true, BlobListingDetails.Copy); foreach (var blob in blobsList) { var tempBlockBlob = blob as CloudBlob; var copyStatus = tempBlockBlob.CopyState; if (CopyBlobProgress.ContainsKey(tempBlockBlob.Uri.AbsoluteUri)) { var copyBlobProgress = CopyBlobProgress[tempBlockBlob.Uri.AbsoluteUri]; if (copyStatus != null) { Console.WriteLine(string.Format(«Status of \»{0}\» blob copy....», tempBlockBlob.Uri.AbsoluteUri, copyStatus.Status)); switch (copyStatus.Status) { case Microsoft.WindowsAzure.StorageClient.CopyStatus.Aborted: if (copyBlobProgress != null) { copyBlobProgress.Status = CopyStatus.Aborted; } break; case Microsoft.WindowsAzure.StorageClient.CopyStatus.Failed: if (copyBlobProgress != null) { copyBlobProgress.Status = CopyStatus.Failed; } break; case Microsoft.WindowsAzure.StorageClient.CopyStatus.Invalid: if (copyBlobProgress != null) { copyBlobProgress.Status = CopyStatus.Invalid; } break; case Microsoft.WindowsAzure.StorageClient.CopyStatus.Pending: if (copyBlobProgress != null) { copyBlobProgress.Status = CopyStatus.Pending; } break; case Microsoft.WindowsAzure.StorageClient.CopyStatus.Success: if (copyBlobProgress != null) { copyBlobProgress.Status = CopyStatus.Success; } break; } } } } var pendingBlob = CopyBlobProgress.FirstOrDefault(c => c.Value.Status == CopyStatus.Pending); if (string.IsNullOrWhiteSpace(pendingBlob.Key)) { checkForBlobCopyStatus = false; } else { System.Threading.Thread.Sleep(1000); } } if (string.IsNullOrWhiteSpace(continuationToken)) { continueListObjects = false; } Console.WriteLine(««); Console.WriteLine(«==========================================================«); Console.WriteLine(««); } Console.WriteLine(«Process completed....»); Console.WriteLine(«Press any key to terminate the program....»); Console.ReadLine(); } } public class CopyBlobProgress { public CopyStatus Status { get; set; } public Exception Error { get; set; } } public enum CopyStatus { NotStarted, Started, Aborted, Failed, Invalid, Pending, Success } } 

कोड काफी सरल है। परिशिष्ट:

1. यदि आवश्यक हो, तो विंडोज एज़्योर स्टोरेज में एक ब्लॉब कंटेनर बनाता है।
2. अमेज़न S3 बाल्टी से वस्तुओं की एक सूची प्राप्त करता है। कृपया ध्यान दें कि अमेज़ॅन एस 3 एक फ़ंक्शन कॉल में 1000 ऑब्जेक्ट तक लौट सकता है, अन्यथा एक निरंतर टोकन वापस आ जाता है, जिसका उपयोग संस्थाओं के अगले सबसेट को इंगित करने वाले एक मार्कर को प्राप्त करने के लिए किया जाता है।
3. प्रत्येक लौटी हुई वस्तु के लिए, एक URL जेनरेट किया जाता है, जिसका उपयोग कॉपी ब्लॉब फ़ंक्शन के लिए किया जाता है।
4. एप्लिकेशन कॉपी प्रक्रिया की स्थिति की जांच करता है। सभी प्रतिलिपि प्रक्रियाओं की समाप्ति के बाद, सभी वस्तुओं की प्रतिलिपि बनाए जाने तक चरण 2-4 दोहराए जाते हैं।

Amazon S3 पर सामग्री का प्रबंधन करने के लिए, मैंने बकेट एक्सप्लोरर का उपयोग किया, जो निम्न स्थिति दिखाता है:



कॉपी पूरी होने के बाद, क्लाउड स्टोरेज स्टूडियो ने विंडोज एज़्योर ब्लॉब स्टोरेज की निम्न स्थिति दिखाई।



सारांश

मैंने एक सरल उदाहरण बनाया है जो अमेज़ॅन एस 3 रीसायकल बिन से विंडोज एज़्योर ब्लॉब स्टोरेज की सभी सामग्री को कॉपी करता है।

अनुवादक से फिर से शुरू करें

एपीआई की नई विशेषताओं के बारे में गौरव की भावनाएं समझ में आती हैं - स्पष्ट रूप से, 7 जून 2012 तक, भंडारण सेवाओं का उपयोग करने के लिए एपीआई कुछ स्थानों पर कार्यक्षमता में लंगड़ा था, जैसा कि विंडोज अज़ूरे और अमेज़ॅन भंडारण की तुलना करते हुए गौरव द्वारा लेखों की अनुवादित श्रृंखला द्वारा दर्शाया गया है। अब, बैकअप के लिए एक ही जगह के रूप में विंडोज एज़्योर स्टोरेज का उपयोग करने की क्षमता, और यहां तक ​​कि अतिरेक की डिग्री (दो प्रकार अब उपलब्ध हैं) को समायोजित करने की क्षमता के साथ, शायद किसी भी तबाही के परिणामों से बचा जाता है और वास्तव में असहनीय (:) सेवा बनाता है।


अनुवादक से ध्यान दें

Windows Azure संग्रहण सेवाएँ अनुरोधों को स्वीकार कर सकती हैं जो प्रत्येक ऑपरेशन (सेवा) के एक विशिष्ट संस्करण को दर्शाती हैं, और डेवलपर x-ms-version हेडर का उपयोग करके संस्करण को निर्दिष्ट कर सकता है। स्वाभाविक रूप से, विभिन्न संस्करणों और कार्य की कार्यप्रणाली (वैचारिक नहीं) की कार्यक्षमता भिन्न हो सकती है।

हमें सिस्टम के नियमों को ध्यान में रखना चाहिए जिसके द्वारा बूँद सेवा एसएएस मापदंडों की व्याख्या करने के लिए किस संस्करण का उपयोग करती है, यह निर्धारित करती है:

1. यदि अनुरोध में एक्स-एमएस-संस्करण हैडर है, लेकिन साइन इन नहीं है, तो संस्करण 2009-07-17 एसएएस मापदंडों की व्याख्या करने के लिए उपयोग किया जाता है, जबकि ऑपरेशन एक्स-एमएस-संस्करण में निर्दिष्ट संस्करण का उपयोग करता है।

2. यदि अनुरोध में एक्स-एमएस-संस्करण हेडर नहीं है और कोई हस्ताक्षर नहीं है, लेकिन खाता मालिक ने सेट ब्लॉब सर्विस प्रॉपर्टीज ऑपरेशन का उपयोग करके सेवा संस्करण स्थापित किया है, तो संस्करण 2009-07-07 एसएएस मापदंडों की व्याख्या करने के लिए उपयोग किया जाएगा, लेकिन ऑपरेशन के लिए, निर्दिष्ट संस्करण सेवा के लिए खाता स्वामी।

3. यदि अनुरोध में एक्स-एमएस-संस्करण हेडर नहीं है, तो कोई हस्ताक्षर नहीं किया गया है और खाता मालिक ने सेवा संस्करण स्थापित नहीं किया है, संस्करण 2009-07-17 एसएएस मापदंडों की व्याख्या करने के लिए उपयोग किया जाएगा। यदि कंटेनर के पास सार्वजनिक अधिकार हैं और 2009-09-19 (या बाद के संस्करण) का उपयोग करके सेट कंटेनर ACL ऑपरेशन का उपयोग करते हुए एक्सेस प्रतिबंध लगाए गए थे, तो ऑपरेशन के लिए संस्करण 2009-09-19 का उपयोग किया जाएगा।

संस्करणों और उनके द्वारा समर्थित कार्यक्षमता के बारे में अधिक जानकारी ।

गौरव मंत्र द्वारा संबंधित पोस्ट का अनुवाद:

वस्तुएं

टोकरी