ड्रॉपबॉक्स: इनसाइड लुक

इस लेख में, मैं लोकप्रिय ड्रॉपबॉक्स क्लाउड स्टोरेज सेवा के आंतरिक उपकरण के बारे में बात करूंगा। विशेष रूप से, ड्रॉपबॉक्स प्रोटोकॉल डिवाइस प्रभावित होगा, साथ ही साथ यूरोप के कुछ देशों में इसके उपयोग के आंकड़े दिखाए जाएंगे। इसके अलावा, मैं इसकी तुलना अन्य सेवाओं जैसे iCloud, Google Drive और SkyDrive से करूंगा।

लेख विशुद्ध रूप से तकनीकी है। प्रति जीबी की लागत के साथ कोई सार तालिका नहीं होगी और आमंत्रित "दोस्तों" से कितना अधिक प्राप्त किया जा सकता है इसका विश्लेषण किया गया है।

पाठ वैज्ञानिक लेख "ड्रॉपबॉक्स इनसाइड: एक्सप्लोर क्लाउड स्टोरेज सर्विसेज" (इनसाइड ड्रॉपबॉक्स: अंडरस्टैंडिंग पर्सनल क्लाउड स्टोरेज सर्विसेज) पर आधारित है। पीडीएफ

पिछले कुछ वर्षों में क्लाउड स्टोरेज सेवाओं की लोकप्रियता में भारी उछाल आया है। सभी प्रमुख खिलाड़ी और कई युवा स्टार्टअप हथियारों की दौड़ में भाग ले रहे हैं। मूल रूप से, सेवाओं की आंतरिक संरचना और उनके उपयोग की वास्तविक संख्या के बारे में सभी जानकारी सात मुहरों के पीछे एक रहस्य है। हमें केवल उस डेटा से तंग किया जाता है जो विपणन विभाग से गुजरता है, जो निश्चित रूप से वास्तविकता से कुछ अलग है। तो आइए दोस्तों इदिलियो ड्रैगो, एना स्पार्टो, मार्को मेलिया, रामिन सदरे, मौरिज़ियो एम। मुनाफ़ो और अइको प्रसाद - अध्ययन के लेखकों के साथ थोड़ा गहरा खुदाई करते हैं।

प्रविष्टि

ड्रॉपबॉक्स क्लाइंट को मुख्य रूप से लाइब्रस सिंक जैसे तीसरे पक्ष के पुस्तकालयों का उपयोग करके पायथन में विकसित किया गया है। क्लाइंट सभी प्रमुख ओएस का समर्थन करता है: विंडोज, मैक, लिनक्स। पायथन का उपयोग स्पष्ट रूप से इंगित करता है कि क्लाइंट को विभिन्न प्लेटफार्मों पर हल्के पोर्टिंग के साथ डिज़ाइन किया गया था।

सिस्टम का मुख्य तत्व आकार में 4 एमबी तक का ब्लॉक (चंक) है। यदि फ़ाइल बड़ी है, तो इसे कई ब्लॉकों में विभाजित किया गया है, और प्रत्येक ब्लॉक को दूसरों के स्वतंत्र रूप से सिस्टम द्वारा माना जाता है। प्रत्येक ब्लॉक के लिए, SHA256 हैश की गणना की जाती है, और यह जानकारी फ़ाइल की मेटा-जानकारी का हिस्सा है। ड्रॉपबॉक्स फ़ाइल के परिवर्तित ब्लॉकों के बीच केवल अंतर को स्थानांतरित करके डेटा की मात्रा को कम करता है। इसके अलावा, स्थानीय रूप से इसमें सभी फ़ाइल मेटा-जानकारी होती है, जो सर्वर के साथ सिंक्रनाइज़ होती है और केवल पिछले संस्करण (वृद्धिशील अपडेट) से परिवर्तन स्थानांतरित करती है।

ड्रॉपबॉक्स दो प्रकार के सर्वरों का उपयोग करता है: नियंत्रण (नियंत्रण) और डेटा सर्वर (डेटा भंडारण)। प्रबंधन सर्वर ड्रॉपबॉक्स द्वारा नियंत्रित किए जाते हैं, डेटा सर्वर अमेज़ॅन सर्वर (अमेज़ॅन एस 3, ईसी 2) हैं। सभी मामलों में, HTTPS का उपयोग सर्वर के साथ संचार के लिए किया जाता है।

ड्रॉपबॉक्स द्वारा उपयोग किए जाने वाले डोमेन नाम हमेशा ड्रॉपबॉक्स डॉट कॉम के साथ समाप्त होते हैं। नीचे दी गई तालिका प्रबंधन और डेटा सर्वर के लिए उपडोमेन दिखाती है।

उप डोमेन	होस्टिंग	विवरण
क्लाइंट-एलबी / क्लाइंटएक्स	ड्रॉपबॉक्स	मेटा डेटा
notifyX	ड्रॉपबॉक्स	सूचनाएं
एपीआई	ड्रॉपबॉक्स	एपीआई नियंत्रण
www	ड्रॉपबॉक्स	वेब सर्वर
घ	ड्रॉपबॉक्स	इवेंट लॉग
डीएल	वीरांगना	सीधा लिंक
डीएल-clientX	वीरांगना	ग्राहक भंडारण
डीएल-debugX	वीरांगना	पीछे के निशान
डीएल-वेब	वीरांगना	वेब भंडारण
api-सामग्री	वीरांगना	भंडारण एपीआई

ड्रॉपबॉक्स: अंदर

क्योंकि ड्रॉपबॉक्स सर्वर के बीच सभी ट्रैफ़िक को एन्क्रिप्ट करने के लिए HTTPS का उपयोग करता है, एक साधारण अवरोधन कोई उपयोगी जानकारी प्रदान नहीं करेगा। अनुसंधान के लिए, हमने स्क्वीड स्थापित किया और लिनक्स कंप्यूटर से इस प्रॉक्सी तक सभी ट्रैफ़िक को निर्देशित किया। वे प्रॉक्सी पर एसएसपी-बंप भी सेट करते हैं ताकि एसएसएल को डिक्रिप्ट किया जा सके। अंतिम चरण स्क्वीड पर स्व-हस्ताक्षरित प्रमाणपत्र स्थापित करना और ड्रॉपबॉक्स एप्लिकेशन के अंदर प्रमाण पत्र को बदलना है। यह कॉन्फ़िगरेशन आपको ड्रॉपबॉक्स ट्रैफ़िक को डिक्रिप्ट और देखने की अनुमति देता है।




चित्रण ड्रॉपबॉक्स द्वारा उपयोग किए गए प्रोटोकॉल को स्थानीय रूप से संशोधित ब्लॉकों को अपने सर्वर पर अपलोड करने के लिए दिखाता है। ClientX.dropbox.com प्रबंधन सर्वर पर क्लाइंट को पंजीकृत करने के बाद, सूची आदेश मेटाडेटा परिवर्तन प्राप्त करता है जो स्थानीय प्रतिलिपि और सर्वर पर क्या है के बीच अंतर दिखाता है। एक बार एक स्थानीय फ़ाइल परिवर्तन होने पर, ड्रॉपबॉक्स कमिट_बॉच कमांड ( client-lb.dropbox.com ) को कॉल करता है और सर्वर को परिवर्तित मेटाडेटा भेजता है। उसके बाद, सर्वर जवाब देता है कि उसे जरूरत_ब्लॉक कमांड का उपयोग करके ब्लॉक करना है, और क्लाइंट इन ब्लॉकों को अमेज़ॅन ( dl-clientX.dropbox.com ) पर भेजता है। ओके कमांड द्वारा प्रत्येक ब्लॉक की बचत की पुष्टि की जाती है।

उसके बाद, स्थानीय क्लाइंट एक बार फिर से सर्वर पर कमिट कमांड भेजता है और यह पुष्टि करता है कि सभी ब्लॉक प्राप्त हो चुके हैं। डेटा स्टोरेज लेनदेन को समानांतर में निष्पादित किया जा सकता है।

नियंत्रण प्रोटोकॉल

ड्रॉपबॉक्स प्रबंधन सर्वर के निम्नलिखित समूहों का उपयोग करता है:

• सूचना (नोटिफिकेशन)।
  ड्रॉपबॉक्स अधिसूचना सर्वर ( InformX.dropbox.com ) के लिए एक निरंतर खुला टीसीपी कनेक्शन रखता है। यह फ़ाइल परिवर्तन के बारे में जानकारी प्राप्त करने के लिए आवश्यक है जो अन्य ग्राहकों पर हो सकता है। अन्य ट्रैफ़िक की तुलना में, यह जानकारी एन्क्रिप्टेड नहीं है। विलंबित HTTP प्रतिक्रिया का उपयोग ग्राहकों (पुश तंत्र) को जल्दी से सूचित करने के लिए किया जाता है। क्लाइंट अनुरोध भेजता है, और सर्वर लगभग 60 सेकंड के लिए प्रतिक्रिया देता है। 60 सेकंड के बाद, क्लाइंट तुरंत अगला अनुरोध सर्वर को भेजता है। यदि उत्तर पहले बनता है, तो सर्वर तुरंत प्रतिक्रिया करता है।
• मेटा-डेटा प्रशासन
  मेटाडेटा प्रबंधन सर्वर न केवल ब्लॉकों और फाइलों में परिवर्तन के बारे में सूचित करने के लिए, बल्कि ग्राहक प्रमाणीकरण के लिए भी जिम्मेदार हैं। इन सर्वरों के लिए निम्न डोमेन नाम का उपयोग किया जाता है: client-lb.dropbox.com, clientX.dropbox.com। इसके अलावा, प्रबंधन सर्वर क्लाइंट व्यवहार को नियंत्रित कर सकते हैं। प्रयोग के समय, यह देखा गया कि सर्वर क्लाइंट को अधिकतम संख्या में ब्लॉक को इंगित कर सकता है जिसे वह सर्वर को भेज सकता है। इसका उपयोग क्लाइंट को उत्पन्न ट्रैफ़िक को नियंत्रित करने के लिए किया जाता है।
• सिस्टम लॉग
  सर्वर अमेज़ॅन द्वारा प्रदान किए जाते हैं और इन्हें dl-debug.dropbox.com कहा जाता है; शेष संदेश सीधे Dropbox d.dropbox.com पर जाते हैं ।

डेटा सेट और ग्राहकों की लोकप्रियता

हमने ड्रॉपबॉक्स की निगरानी के लिए एक निष्क्रिय तरीका चुना है। ट्रैफ़िक इकट्ठा करने के लिए, ओपन सोर्स टूल तस्सट का उपयोग किया गया था। Tstat आपको टीसीपी के बारे में विभिन्न प्रकार की जानकारी एकत्र करने की अनुमति देता है, सौ से अधिक विभिन्न कनेक्शन मापदंडों पर जानकारी प्रदान करता है। ड्रॉपबॉक्स का विश्लेषण करने के लिए, हमने कुछ अतिरिक्त कदम उठाए।

चूंकि ड्रॉपबॉक्स HTTPS का उपयोग करता है, हमने निर्धारित किया है कि ड्रॉपबॉक्स द्वारा उपयोग किए जाने वाले सभी प्रमाणपत्रों में नाम * .dropbox.com है। यह यातायात के उचित वर्गीकरण के लिए महत्वपूर्ण था।

हमने DNS सर्वरों के रिकॉर्ड के साथ खुली जानकारी को सप्लीमेंट किया, जिसे क्लाइंट्स ने एक्सेस किया। इस प्रकार, हमने आईपी पते और सर्वर नाम जुड़े।

Tstat ने डिवाइस और क्लाइंट और सूचना सर्वर के बीच एक्सचेंज की गई निर्देशिकाओं के नाम के बारे में अनएन्क्रिप्टेड जानकारी लौटा दी।

यूरोप में 4 स्थानों पर Tstat स्थापना का उपयोग करके डेटा प्राप्त किया गया था। होम 1 और होम 2 के रूप में निर्दिष्ट बिंदुओं से रिकॉर्ड प्रसिद्ध इंटरनेट सेवा प्रदाता (आईएसपी) के उपयोगकर्ताओं के डेटा को बनाते हैं, जो एडीएसएल और ऑप्टिकल केबल के माध्यम से इंटरनेट प्रदान करता है। विश्वविद्यालयों में कैंपस 1 और कैम्पस 2 के डेटा एकत्र किए गए थे। अध्ययन 24 मार्च 2012 से 5 मई 2012 तक आयोजित किए गए थे।

पहला नाम	टाइप	आईपी ​​पते की संख्या	डेटा वॉल्यूम (GB)
कैम्पस १	वायर्ड	400	5320
कैम्पस २	तार / वायरलेस	2,528	55.054
घर १	एफटीटीएच / एडीएसएल	18.785	509.909
घर २	एडीएसएल	13.723	301.448

नीचे एक ग्राफ़ है जो दिखाता है कि दिन में कम से कम एक बार कितने अलग-अलग आईपी पते क्लाउड स्टोरेज सेवा से जुड़े थे।



दूसरा ग्राफ दिखाता है कि प्रति दिन इस क्लाउड स्टोरेज में कितना डेटा ट्रांसफर किया गया था।



मैं निम्नलिखित पर ध्यान आकर्षित करना चाहूंगा:

• आईक्लाउड का उपयोग करने वाले उपकरणों की बड़ी संख्या के बावजूद, इस सेवा में स्थानांतरित किए गए डेटा की मात्रा अन्य सेवाओं के साथ तुलनीय है।
• Google ड्राइव के आगमन के समय, इस सेवा को प्रेषित यातायात ने एक बड़ी छलांग लगाई और iCloud से संपर्क किया; उसी समय, प्रोग्राम इंस्टॉलेशन की संख्या न्यूनतम रही।

तुलना के लिए, हम कैम्पस 2 में YouTube और ड्रॉपबॉक्स सेवाओं के उपयोग पर डेटा देंगे।



तालिका कुल ड्रॉपबॉक्स ट्रैफ़िक दिखाती है जिसे हमने अपने माप के दौरान ट्रैक किया था।

	कैम्पस १	कैम्पस २	घर १	घर २	केवल
अनुरोध	167.189	1,902,824	1,438,369	693.086	4,204,666
मात्रा (GB)	146	1,814	1,153	506	3624
उपकरणों की	283	6609	3,350	1,313	11.561

यातायात विश्लेषण

ग्राफ़ अलग-अलग संख्या के ब्लॉक के लिए संचयी वितरण फ़ंक्शन दिखाते हैं।



यह पता चला कि 80% से अधिक मामलों में, जब डेटा की बचत होती है तो ब्लॉक की संख्या 10. से अधिक नहीं होती है। होम 2 पॉइंट के डेटा का ग्राफ दूसरों से काफी अलग है, क्योंकि यहां हमने एक ग्राहक का अवलोकन किया जो लगातार कई दिनों तक आगे बढ़ा। वही ब्लॉक। डेटा के विश्लेषण से पता चलता है कि ड्रॉपबॉक्स का उपयोग करने के लिए मुख्य परिदृश्य लगातार छोटे, लगातार बदलती फाइलों के साथ काम करना है।

जैसा कि हमने ऊपर समीक्षा की, ड्रॉपबॉक्स डेटा भंडारण के लिए केंद्रीय सर्वर का उपयोग करता है। यह उन उपयोगकर्ताओं के लिए सेवा की गति का सवाल तुरंत उठाता है जो भौगोलिक रूप से सर्वर से दूर हैं।

हमने जो अधिकतम गति देखी वह 10 Mbit / s के करीब थी और 1 एमबी से बड़ी फाइलों पर देखी गई थी। कैम्पस 2 के लिए औसत गति थी: लिखना - 462 kbit / s और पढ़ें - 797 kbit / s। कैंपस 1 के लिए: 359 केबी / एस और पढ़ - 783 केबी / एस लिखो।



यह ग्राफ से भी देखा जा सकता है कि गति काफी हद तक ब्लॉकों की संख्या पर निर्भर करती है: अधिक ब्लॉक, गति कम।

ड्रॉपबॉक्स 1.4.0 में परिवर्तन

संस्करण 1.4.0 के साथ शुरू, ड्रॉपबॉक्स ने दो नए कमांड जोड़े हैं: store_batch और पुनः प्राप्त_बैच , जो आपको एक साथ कई ब्लॉकों के साथ काम करने की अनुमति देता है। इस सुधार से सेवा थ्रूपुट में काफी सुधार होना चाहिए।

उपकरणों की संख्या

यह ग्राफ उन ड्रॉपबॉक्स संस्थापनों की संख्या दर्शाता है जो उपयोगकर्ताओं के घर पर हैं। लगभग 60% मामलों में, उपयोगकर्ताओं के पास ड्रॉपबॉक्स के साथ केवल 1 डिवाइस है। 25% घरेलू उपयोगकर्ताओं के पास ड्रॉपबॉक्स का उपयोग करने वाले 2 उपकरण हैं।

औसत उपयोग समय

ग्राफ औसत समय दिखाता है जब आप ड्रॉपबॉक्स का उपयोग करते हैं। उपयोग के समय का विश्लेषण करते हुए, हमने देखा कि ग्राहक अधिसूचना सर्वर के संपर्क में कब तक था। चूंकि क्लाइंट हमेशा इस कनेक्शन को खुला रखता है या इसे फिर से खोल देता है, इसलिए उपयोग के समय का अनुमान लगाने का यह एक अच्छा तरीका है।


ग्राफ दिखाता है कि ज्यादातर मामलों में ड्रॉपबॉक्स का उपयोग करने का समय 4 घंटे से कम है। अपवाद कैंपस 1 है, जहां कई कंप्यूटर और कंप्यूटर हैं जो लगातार काम कर रहे हैं।

स्रोत डेटा

आप उस स्रोत डेटा को डाउनलोड कर सकते हैं जिसका उपयोग इस लेख में आगे के विश्लेषण के लिए किया गया था। ( सोर्स डेटा )।

मैं यह नोट करना चाहता हूं कि मूल लेख में अधिक जानकारी है। इसमें उन प्रश्नों के उत्तर शामिल हो सकते हैं जो आपको पढ़ने के बाद हो सकते हैं।