बिग डेटा - यह इतना फैशनेबल क्यों है?

बिग डेटा प्रौद्योगिकियां आज बहुत लोकप्रिय हैं, जैसा कि कम से कम इस तथ्य से स्पष्ट है कि इस समय आईटी प्रकाशनों में यह सबसे आम शब्द है। Google या Yandex जैसे प्रसिद्ध सर्च इंजन के आंकड़ों को "बिग डेटा" वाक्यांश के साथ देखें, और यह स्पष्ट हो जाता है कि तथाकथित "बिग डेटा" को वास्तव में सूचना प्रौद्योगिकी के विकास में सबसे लोकप्रिय और दिलचस्प दिशाओं में से एक कहा जा सकता है।

तो इन तकनीकों की लोकप्रियता का रहस्य क्या है और "बिग डेटा" शब्द का क्या अर्थ है?
सबसे पहले, शब्द "बिग डेटा" या "बिग डेटा" जानकारी का एक बड़ा समूह छुपाता है। इसके अलावा, इसकी मात्रा इतनी बड़ी है कि पारंपरिक सॉफ्टवेयर और हार्डवेयर के साथ इस तरह के डेटा को संसाधित करना बेहद मुश्किल हो जाता है। दूसरे शब्दों में, बिग डेटा एक समस्या है। बड़ी मात्रा में डेटा को स्टोर करने और संसाधित करने की समस्या।

ये वॉल्यूम कहां से आते हैं? आइए इस बारे में सोचें कि हममें से प्रत्येक दिन कितनी जानकारी उत्पन्न करता है। हम फोन पर बात करते हैं, संदेश लिखते हैं, ब्लॉग रखते हैं, कुछ खरीदते हैं, फोटो लेते हैं, अपने दोस्तों को कुछ भेजते हैं, बदले में कुछ पाते हैं, आदि। आदि अंत में, हम गीगाबाइट जानकारी के बारे में बात कर रहे हैं। यह सब सूचना स्थान में अपनी छाप छोड़ता है। यह सब कहीं संग्रहित है और किसी तरह संभाला जाता है। कुछ बिंदु पर, जानकारी बहुत अधिक हो जाती है, और इससे लाभ प्राप्त करना बहुत मुश्किल हो जाता है।

दूसरी ओर, बड़ी मात्रा में जानकारी हिमशैल का ही हिस्सा है। यहां "बिग डेटा" की ऐसी परिभाषा को "वॉल्यूम, वेग, विविधता" के रूप में याद किया जाना उचित है, जिसमें एक तरफ बड़ी मात्रा में डेटा (जिसका हमने पहले ही उल्लेख किया है), और दूसरी तरफ, बहुत तेज़ी से जानकारी के साथ काम करने की आवश्यकता है। उदाहरण के लिए, कैश निकालने के दौरान आपके कार्ड पर शेष राशि की जांच करने के ऑपरेशन के समय की गणना मिलीसेकंड में की जाती है। ये वे आवश्यकताएं हैं जो बाजार तय करता है। मुद्दे का तीसरा पक्ष विविधता और असंरचित जानकारी है। अधिक से अधिक बार हमें मीडिया सामग्री, ब्लॉग प्रविष्टियों, खराब संरचित दस्तावेजों आदि पर काम करना होगा।

इस प्रकार, जब हम बिग डेटा के बारे में बात करते हैं, तो हम समझते हैं कि यह तीन पहलुओं से जुड़ा हुआ है: बड़ी मात्रा में जानकारी, इसकी विविधता या डेटा को बहुत तेज़ी से संसाधित करने की आवश्यकता।

दूसरी ओर, इस शब्द को अक्सर इन समस्याओं को हल करने के लिए डिज़ाइन किए गए दृष्टिकोण और प्रौद्योगिकियों के एक पूरी तरह से विशिष्ट सेट के रूप में समझा जाता है। इनमें से एक दृष्टिकोण एक वितरित कंप्यूटिंग प्रणाली पर आधारित है जहां डेटा प्रसंस्करण के लिए एक उच्च-प्रदर्शन मशीन का उपयोग नहीं किया जाता है, लेकिन ऐसी मशीनों का एक पूरा समूह एक क्लस्टर में एकजुट होता है।

बिल्डिंग सिस्टम के लिए कई दृष्टिकोण हैं जो वितरित डेटा प्रोसेसिंग प्रदान करते हैं। सबसे लोकप्रिय दृष्टिकोणों में से एक MapReduce paradigm का उपयोग है, जिसके अनुसार डेटा प्रोसेसिंग को क्लस्टर के विभिन्न नोड्स पर किए गए प्राथमिक कार्यों की एक बड़ी संख्या में विभाजित किया जाता है और, अंततः एक परिणाम के लिए कम हो जाता है। यह मॉडल Google द्वारा विकसित किया गया था और आपको कंप्यूटर क्लस्टर का उपयोग करके डेटा के पेटाबाइट्स को संसाधित करने की अनुमति देता है।

अब MapReduce प्रतिमान विभिन्न परियोजनाओं की एक बड़ी संख्या का उपयोग करता है, और वितरित कंप्यूटिंग प्रौद्योगिकियों में रुचि हर दिन अधिक और अधिक हो रही है। वर्णित मॉडल के मौजूदा कार्यान्वयन के बीच, हम Hadoop परियोजना को एकल कर सकते हैं, जिसे वर्तमान में Apache Software Foundation द्वारा प्रबंधित किया गया है।

हडोप परियोजना 2005 से विकसित हो रही है और इसका उपयोग दुनिया भर में किया जाता है, उदाहरण के लिए, अमेज़ॅन, Google, फेसबुक जैसे दिग्गजों में, और रूस में भी तेजी से लोकप्रियता हासिल कर रहा है। यह ध्यान देने योग्य है कि Hadoop केवल MapReduce प्रतिमान का कार्यान्वयन नहीं है। विकिपीडिया पर, आप कम से कम 15 परियोजनाओं के लिंक पा सकते हैं जो इस दृष्टिकोण को एक या दूसरे तरीके से उपयोग करते हैं।

लेकिन लोकप्रियता का कारण क्या है और क्या वास्तव में इस दृष्टिकोण का उपयोग करता है? वितरित प्रणालियों का मुख्य लाभ रैखिक स्केलिंग के माध्यम से असीमित रूप से उत्पादकता बढ़ाने की उनकी क्षमता है। इसके अलावा, हमें यह नहीं भूलना चाहिए कि कम-अंत मशीनों पर एक उच्च-प्रदर्शन क्लस्टर बनाया जा सकता है, जिसका अर्थ है कि इसकी लागत समान क्षमता के सर्वर की लागत से काफी कम होगी। और तीसरा, महत्वपूर्ण, जैसा कि मुझे लगता है, पल प्रणाली की विश्वसनीयता और दोष सहिष्णुता है। इस तथ्य के कारण कि क्लस्टर में बड़ी संख्या में नोड्स होते हैं, और सिस्टम स्वचालित रूप से उन पर संग्रहीत डेटा को फिर से वितरित करता है, एक या कई मशीनों की विफलता के मामले में, किसी भी जानकारी को खोने के जोखिम को कम से कम किया जाता है।

मेरे लिए टेक्नोलॉजी क्षेत्र जैसे कि NoSQL डेटाबेस की अनदेखी करना गलत होगा। मेरी राय में, यह दूसरी महत्वपूर्ण प्रवृत्ति है जो अक्सर बिग डेटा तकनीकों से जुड़ी होती है।

और यह एक कारण से होता है। NoSQL डेटाबेस ने इस तथ्य को ध्यान में रखते हुए तेजी से विकसित करना शुरू किया कि पारंपरिक रूप से लोकप्रिय रिलेशनल डेटाबेस का उपयोग करके बड़ी मात्रा में डेटा का प्रसंस्करण एक तेजी से जटिल और संसाधन-गहन कार्य बन रहा है। इसी समय, रिलेशनल डीबीएमएस पर ऐसी समस्याओं को हल करने के लिए आवश्यक हार्डवेयर की लागत अधिक से अधिक बार आवश्यक निवेश के दृष्टिकोण से इस दृष्टिकोण की प्रभावशीलता पर संदेह करती है।

NoSQL शब्द का अर्थ है ACID के सिद्धांतों के आधार पर सामान्य रिलेशनल DBMS से भिन्न दृष्टिकोण का उपयोग। NoSQL डेटाबेस का पद्धतिगत आधार यह सिद्धांत है कि एक वितरित प्रणाली में एक साथ डेटा की स्थिरता, उपलब्धता और प्रतिरोध को अलग-अलग हिस्सों में विभाजित करना सुनिश्चित करना असंभव है।
इसे देखते हुए, इस तरह के डेटाबेस उच्च उपलब्धता और डेटा पृथक्करण के प्रतिरोध के पक्ष में डेटा स्थिरता सुनिश्चित करने पर ध्यान केंद्रित नहीं करते हैं। उनमें से अधिकांश एक "कुंजी-मूल्य" के आधार पर आयोजित किए जाते हैं, जिसके कारण उच्च लचीलापन और सूचना निष्कर्षण की गति प्राप्त होती है। दूसरी ओर, उनकी जड़ता के कारण, NoSQL डेटाबेस, एक नियम के रूप में, तेजी से बदलते डेटा को संसाधित करने के लिए उपयोग नहीं किया जाता है। लेकिन जब डेटा की एक बड़ी मात्रा से जानकारी का एक छोटा सा हिस्सा जल्दी से प्राप्त करने की आवश्यकता होती है, तो ऐसा समाधान एक देवता होगा।

इस तथ्य पर विशेष ध्यान देना आवश्यक है कि ऐसे डीबीएमएस वितरित और असंबद्ध दोनों हो सकते हैं। NoSQL वर्ग के वितरित डेटाबेस के उदाहरण के रूप में, आप कैसेंड्रा, HBase, MongoDB, CouchDB, Riak, Scalaris, या वोल्डेमॉर्ट जैसे डेटाबेस का हवाला दे सकते हैं। असंबद्ध डेटाबेस के रूप में, मेरी राय में, असंबद्ध NoSQL DBMSs का उपयोग एक आधा उपाय है। हम वितरित प्रणाली में स्केलिंग के कारण प्रदर्शन में अतिरिक्त लाभ प्राप्त कर पाएंगे। यद्यपि इस बात से इनकार नहीं किया जा सकता है कि इन समाधानों के अपने कार्य भी हैं।

यह हमारे लिए यह समझने के लिए बना हुआ है कि बड़ी मात्रा में डेटा के प्रसंस्करण के लिए समाधानों में कौन दिलचस्पी ले सकता है? स्वाभाविक रूप से, ब्याज उन उद्योगों में उत्पन्न होता है जहां ये मात्राएं होती हैं, और उन्हें संसाधित करने में पहले से ही कठिनाइयां होती हैं। इस तरह के सिस्टम के उपयोग के उदाहरण इंटरनेट सर्च इंजन, सोशल नेटवर्क, ऑनलाइन नीलामी आदि हो सकते हैं। इंटरनेट के माहौल के बाहर, ये बैंक और दूरसंचार कंपनियां हो सकती हैं। DIS ग्रुप विशेषज्ञों के अनुभव के अनुसार, वे वे हैं जो दशकों से संचित डेटा की विशाल मात्रा को संसाधित करने में सबसे बड़ी कठिनाइयों का अनुभव करते हैं।
आइए संक्षेप में बताते हैं: बिग डेटा तकनीक में एक कॉर्पोरेट उपयोगकर्ता को क्या आकर्षित कर सकता है, और क्या कंप्यूटिंग प्रौद्योगिकी वितरित कर सकता है एक व्यवसाय प्रदान करता है?

सबसे पहले, यह एक उच्च-प्रदर्शन प्रणाली प्रदान करता है, जो इंटरनेट उद्योग के ऐसे दिग्गजों में Google, Yahoo और Facebook के रूप में डीबग करता है, जो रीयल-टाइम टेराबाइट-आकार के डेटा को संचालित करने में सक्षम है। इन समाधानों के लिए धन्यवाद, डेटा गोदामों के समय लेने वाली निर्माण की समस्याएं, खराब संरचित जानकारी का प्रसंस्करण और उच्च हार्डवेयर लागत अतीत की बात होगी, और व्यवसाय कंपनी में जमा सभी आवश्यक डेटा का पूरी तरह से उपयोग करने में सक्षम होगा।

दूसरी ओर, सिस्टम के निर्माण के दौरान सस्ते उपकरणों के उपयोग के कारण, ये समाधान आपको संगठन की बुनियादी सुविधाओं को बनाए रखने के बजाय व्यवसाय की तत्काल जरूरतों को हल करने के लिए वित्तपोषण और प्रत्यक्ष नकदी प्रवाह को पुनर्वितरित करने की अनुमति देते हैं।