बड़ा डेटा और इसका भंडारण

बड़ा डेटा क्या है? इस सवाल का जवाब इस बात पर निर्भर करता है कि इसे कब और किसने पूछा था। एक साधारण उपयोगकर्ता लें: पंद्रह साल पहले, एक औसत होम कंप्यूटर में डेटा की मात्रा कई गीगाबाइट पर अनुमानित थी; अब ऐसे सैकड़ों और हजारों गीगाबाइट हैं। एक और अधिक गंभीर उदाहरण: बोइंग जेट पर स्थापित सेंसर केवल 30 मिनट में प्रत्येक इंजन से लगभग 10 टीबी डेटा उत्पन्न करते हैं। यानी मॉस्को से एक हवाई जहाज, जो 4 घंटे में नोवोसिबिर्स्क को कहता है, हमें लगभग 160 टीबी डेटा देगा। और यह केवल एक उड़ान से है। मिठाई के लिए, आप गणना कर सकते हैं कि सोची में पिछले ओलंपिक का मानवता के लिए कितना डेटा है: सैकड़ों एथलीटों और उनके बारे में जानकारी, प्रतियोगिता के हजारों घंटे के वीडियो, सुरक्षा कैमरों से डेटा, आदि।



बड़ा डेटा बड़ी समस्याएं और बड़े अवसर दोनों हैं। बिग डेटा से जुड़ी कुछ सामान्य समस्याओं पर विचार करें।

• वॉल्यूम। जैसा कि हमने अभी देखा, बहुत अधिक डेटा है और उनकी मात्रा लगातार बढ़ रही है। जानकारी संग्रहीत करने के लिए मूलभूत रूप से नए उपकरणों और एल्गोरिदम की आवश्यकता होती है।
• स्पीड। यदि यह संसाधित नहीं है, और जल्दी से संसाधित किया जाता है, तो डेटा स्वयं ही लगभग बेकार है। वैसे, गति एक बहुत ही सापेक्ष अवधारणा है, और यह कि कुछ आंकड़ों के लिए बहुत तेज है, दूसरों के लिए यह अस्वीकार्य रूप से धीमा होगा।
• विविधता। डेटा बहुत अलग हो सकता है: महत्व के संदर्भ में, अद्यतन करने की गति, परिवर्धन, आदि। इन सभी के लिए अलग-अलग स्टोरेज फॉर्मेट की आवश्यकता होती है।
• सुरक्षा। डेटा खोना नहीं चाहिए; उनके लिए अनधिकृत पहुंच भी अवांछनीय है।

सूची आगे बढ़ती है, लेकिन कोई भी समस्या संभावनाओं का दूसरा पहलू है। ऑनलाइन स्टोर के लिए जानी जाने वाली अमेज़ॅन ने 2013 में अकेले क्लाउड सेवाओं में लगभग 4 बिलियन डॉलर कमाए। 2014 में, विभिन्न अनुमानों के अनुसार, यह राशि 6 ​​से 10 बिलियन तक हो सकती है।

बड़ा डेटा कैसे स्टोर करें। बुनियादी दृष्टिकोण

डिजिटल डेटा को स्टोर करने के तीन तरीके हैं:

• पारंपरिक: "घर पर कहीं" - डिस्क, टेप, स्थानीय रिपोजिटरी आदि पर।
• सार्वजनिक रूप से "बादलों": अमेज़न, Microsoft और Google जैसी दिग्गज कंपनियों से या छोटी कंपनियों से;
• निजी "क्लाउड" में: कॉरपोरेट सेगमेंट का एक विकल्प और अधिक; भंडारण कंपनी के बुनियादी ढांचे में शामिल है और केवल अपने कर्मचारियों के लिए उपलब्ध है।

आइए इन दृष्टिकोणों के कुछ पेशेवरों और विपक्षों का विश्लेषण करें।

At "घर पर" भंडारण

हममें से अधिकांश परिचित हैं। सूचना को स्थानीय भंडारण - डिस्क, RAID सरणियों, टेपों आदि के लिए लिखा जाता है।

आकर्षण आते हैं

• यह आम बात है। डेटा हमेशा पास होता है, और हम इतने शांत होते हैं।
• पहुंच की गति। एक नियम के रूप में, आप आसानी से और जल्दी से एक स्थानीय माध्यम से जुड़ सकते हैं।
• मूल्य। हालांकि यह माइनस हो सकता है।

विपक्ष

• अविश्वसनीयता। भौतिक पहनने और आंसू के परिणामस्वरूप डिस्क और सर्वर विफल हो जाते हैं। कोई फर्क नहीं पड़ता कि सर्वर कितना विश्वसनीय है, यह प्राकृतिक आपदाओं या आम चोरी से डेटा की रक्षा नहीं करेगा।
• डेटा तक पहुंच। दूर से यह अनुपस्थित, असुविधाजनक, या कम से कम हमेशा सुरक्षित नहीं है।
• स्केलिंग। इसकी क्षमताएं आमतौर पर सीमित होती हैं। आपको नया मीडिया खरीदने और उन्हें कहीं रखने की आवश्यकता है। क्या होगा अगर आज आपको 10 टीबी की जरूरत है, कल केवल 5, और कल सभी 50 के बाद?

▍पब्लिक क्लाउड्स

वे शुल्क के लिए क्लाउड में डेटा स्टोर करने की क्षमता प्रदान करते हैं, जो डेटा और संबंधित सेवाओं की मात्रा पर निर्भर करता है।

आकर्षण आते हैं

• यह सुविधाजनक है। कंपनियां यथासंभव मूल कार्य परिदृश्यों को सरल बनाती हैं।
• अपेक्षाकृत सुरक्षित। अधिकांश विक्रेता न केवल उपयोगकर्ता पासवर्ड के साथ, बल्कि अपने स्वयं के एन्क्रिप्शन एल्गोरिदम के साथ डेटा की रक्षा करते हैं।
• बहुत सस्ता है। बड़े सार्वजनिक "क्लाउड" में कीमतें प्रति माह 5-10 सेंट प्रति गीगाबाइट के स्तर पर उतार-चढ़ाव होती हैं, और उन्हें कम करने की एक स्पष्ट प्रवृत्ति होती है: बस Google ड्राइव के लिए मूल्य निर्धारण नीति में बदलाव को याद रखें।
• अपेक्षाकृत विश्वसनीय। यहां तक ​​कि प्राकृतिक आपदाओं की स्थिति में भी भौगोलिक डेटा प्रतिकृति की संभावना है।
• भविष्य में नए क्षितिज। उदाहरण के लिए, तेज और सुरक्षित डेटा एक्सचेंज।

विपक्ष

• मनोवैज्ञानिक कारक। आपका डेटा आपसे बहुत दूर है; अचानक किसी और को उन तक पहुँच है?
• मूल्य। स्थानीय भंडारण की तुलना में क्लाउड संग्रहण अधिक महंगा लग सकता है। हालांकि अक्सर अवाक् दो बार भुगतान करता है।
• पहुंच की गति। फिर भी, उन्नत देशों में भी इंटरनेट की पहुंच की गति औसतन मेगाबाइट प्रति सेकंड (जो स्थानीय भंडारण की तुलना में कम से कम दस गुना धीमी है) मापा जाता है।

निजी "क्लाउड" कई तरह से सार्वजनिक होते हैं और जब कॉर्पोरेट वातावरण में उपयोग किया जाता है, तो डेटा सुरक्षा पर अधिक नियंत्रण की भावना दे सकता है।



अभी के लिए बस इतना ही। अगली बार हम "बादलों" का उपयोग करने के लिए विभिन्न व्यावहारिक तरीकों के बारे में बात करेंगे।