डेटा एक्सेस स्पीड: द बैटल फॉर द फ्यूचर

प्राचीन काल से, मानव जाति इस तथ्य में लगी हुई है कि उसने जानकारी को संचित किया, उसका विश्लेषण किया और उसे किसी न किसी रूप में संग्रहित किया, ताकि बाद में उसे वंशजों तक पहुंचाया जा सके। हमारी चेतना का विकास काफी हद तक सिर्फ इस वजह से संभव हुआ - नई पीढ़ी के लोगों को यह समझने की जरूरत नहीं थी कि उनके लिए पहले से ही क्या था। सबसे पुराने मीडिया के साथ शुरू - मिस्र के पेपिरस और सुमेरियन क्यूनिफॉर्म की गोलियां, मानव जाति ने जानकारी की बढ़ती मात्रा जमा की है। मानव जाति के इतिहास में ऐसे समय थे जब युद्धों और प्रलय के परिणामस्वरूप, पहले से संचित ज्ञान का कुछ हिस्सा नष्ट हो गया या गायब हो गया, और फिर प्रगति बंद हो गई, और मानवता को उसके विकास में वापस फेंक दिया गया। वास्तविक क्रांति और सफलता सामूहिक मुद्रण तकनीक की खोज थी, जिसने बड़े दर्शकों को जानकारी फैलाने की अनुमति दी, जिसके कारण विज्ञान, कला में विस्फोटक वृद्धि हुई और साथ ही सभी मानव जाति की चेतना को उच्च स्तर पर लाया। बीसवीं सदी में प्रौद्योगिकी के विकास ने नए भंडारण मीडिया के उद्भव के लिए नेतृत्व किया है - छिद्रित कार्ड, छिद्रित टेप, हार्ड चुंबकीय डिस्क आदि। अधिक से अधिक जानकारी इलेक्ट्रॉनिक मीडिया के लिए लीडर से स्थानांतरित की गई थी। इस डेटा तक पहुँच को व्यवस्थित और प्रबंधित करने के लिए एक आवश्यकता थी - यह है कि पहले DBMS कैसे दिखाई दिए।

1970 में प्रस्तावित संबंधपरक डेटा मॉडल ई.एफ. लंबे समय तक, कोडडम ने डेटाबेस के विकास में एक प्रवृत्ति निर्धारित की और आज तक व्यवसाय की आवश्यकताओं को पूरी तरह से पूरा करने की अनुमति दी। 1970 के बाद से, रिलेशनल डेटाबेस ने एक लंबा सफर तय किया है और कई तरह की चुनौतियों का सामना किया है जो अपने रास्ते में खड़ी हैं। डेटा के लगातार बढ़ते हुए संस्करणों ने उन तरीकों का उदय किया है जो आवश्यक डेटा तक तेजी से पहुंच प्रदान कर सकते हैं - अनुक्रमित, क्रमबद्ध रूप में डेटा संग्रहीत करना, आदि। इन विधियों ने अपने कार्य के साथ काफी सफलतापूर्वक मुकाबला किया, और अभी भी अपनी प्रासंगिकता नहीं खोई है। हालांकि, भंडारण मीडिया की मात्रा में तेजी से वृद्धि और डेटा भंडारण की लागत में कमी ने इस तथ्य को जन्म दिया है कि दसियों टेराबाइट्स के डेटाबेस आकार अब कुछ असामान्य नहीं हैं और एक सामान्य घटना के रूप में माना जाता है। व्यवसाय इस डेटा को "मृत वजन" नहीं होने दे सकता, क्योंकि दुनिया में बढ़ती प्रतिस्पर्धा उसे अपनी गतिविधि के क्षेत्र में महारत हासिल करने के लिए नए तरीकों की तलाश करने के लिए मजबूर करती है, क्योंकि, पंख वाले वाक्यांश में, "जो जानकारी का मालिक है, वह दुनिया का मालिक है।" अगर हम समय के बारे में बात करते हैं, तो बिल दिनों या घंटों के लिए नहीं जाता है, बल्कि मिनटों के लिए - जो कोई भी जल्दी से आवश्यक जानकारी प्राप्त कर सकता है वह जीत जाएगा।

लेकिन सभी आधुनिक डेटाबेस नए संस्करणों के लिए तैयार नहीं हैं - पुराने तरीके अब इतने प्रभावी नहीं हैं। मुख्य घटक जो पूरे डेटाबेस को "धीमा कर देता है" एक सूचना भंडारण उपकरण है। दुर्भाग्य से, यह वास्तव में हार्ड ड्राइव की क्षमताएं हैं जो अब दसियों टेराबाइट्स के विशाल डेटा सेट से उपयोगी जानकारी प्राप्त करने के तरीकों के आगे के विकास पर शुरू हुई हैं। आज, प्रौद्योगिकी डेटा की मात्रा में वृद्धि के साथ तालमेल नहीं रख रही है जिसका विश्लेषण करने की आवश्यकता है। फ्लैश डिस्क काफी महंगी हैं और विशेष रूप से महत्वपूर्ण कमियां हैं, रिकॉर्डिंग संसाधन जो डेटाबेस के लिए कॉर्पोरेट डेटा स्टोरेज डिवाइस के रूप में उनके उपयोग को बाधित करता है। इस लेख में, मैं मौजूदा तकनीकों की कमियों को दूर करने के लिए आधुनिक विश्लेषणात्मक डेटाबेस द्वारा उपयोग किए जाने वाले तरीकों पर चर्चा करने का प्रस्ताव करता हूं। मैं एक अलग लेख के लिए विभिन्न किस्मों में समृद्ध NoSQL डेटाबेस परिवार की चर्चा भी छोड़ना चाहूंगा, ताकि मौजूदा दृष्टिकोणों में भ्रम का परिचय न हो। फिर भी, NoSQL मॉडल वाले डेटाबेस अभी भी पारंपरिक विश्लेषणात्मक प्रणालियों के लिए काफी विदेशी हैं, हालांकि उन्होंने व्यक्तिगत कार्यों में कुछ लोकप्रियता हासिल की है। मुख्य रुचि अभी भी एक पारंपरिक संबंधपरक डेटा मॉडल के साथ डेटाबेस के लिए आकर्षित होती है जो ACID आवश्यकताओं को पूरा करती है और बिग डेटा एनालिटिक्स के लिए अभिप्रेत है - वे एक आधुनिक चुनौती का जवाब कैसे देते हैं।

यह पूरी तरह से स्पष्ट है कि विश्लेषणात्मक डेटाबेस द्वारा उपयोग किए जाने वाले डेटा को पर्याप्त रूप से तैयार और आदेशित किया जाना चाहिए, क्योंकि किसी भी नियमितता को अराजकता से अलग करना मुश्किल है। हालाँकि, इस नियम के अपवाद हैं, जिसके बारे में हम बाद में बात करेंगे; रूपरेखा के भीतर एक और लेख हो सकता है। मान लें कि डेटा कुछ ETL प्रक्रिया द्वारा तैयार किया गया है और डेटा वेयरहाउस में लोड किया गया है। कैसे आधुनिक विश्लेषणात्मक डेटाबेस डेटा की पहुंच की ऐसी गति प्रदान कर सकते हैं जो उन्हें कई दिनों तक कई टेराबाइट्स या टेराबाइट्स पढ़ने की अनुमति नहीं देगा।

बड़े पैमाने पर समानांतर प्रसंस्करण

बड़े पैमाने पर समानांतर वास्तुकला अलग नोड्स से बनाया गया है, जहां प्रत्येक नोड का अपना प्रोसेसर, मेमोरी, साथ ही संचार उपकरण हैं जो इसे अन्य नोड के साथ संचार करने की अनुमति देते हैं। इस मामले में एक अलग नोड एक अलग डेटाबेस है जो अन्य सभी के साथ मिलकर काम करता है। इस प्रकार, यदि हम एक पायदान नीचे जाते हैं, तो हम एक प्रक्रिया या प्रक्रियाओं का एक सेट देखेंगे, जो एक डेटाबेस है, और सामान्य कारण में योगदान करते हुए अपना अलग कार्य करता है। इस तथ्य के कारण कि प्रत्येक नोड का अपना बुनियादी ढांचा (प्रोसेसर और मेमोरी) है, हम उन पारंपरिक प्रतिबंधों के खिलाफ आराम नहीं करते हैं जो डेटाबेस की विशेषता है, जो आवश्यक रूप से संग्रहीत डेटा की पूरी मात्रा तक पहुंच के साथ एकमात्र नोड हैं। यहां, प्रत्येक नोड डेटा के अपने हिस्से को संग्रहीत करता है और इसके साथ काम करता है, सबसे तेज़ पहुंच प्रदान करता है। सभी नोड्स में समान रूप से डेटा की पूरी राशि को कैसे वितरित किया जाए, यह एक अलग चर्चा का विषय है।

सैद्धांतिक रूप से, प्रत्येक नोड के लिए हम अपने स्वयं के प्रोसेसर और डिस्क मेमोरी प्रदान कर सकते हैं, इसलिए अधिकतम डेटा पढ़ने की गति सूचना भंडारण उपकरणों के लिए सभी पढ़ने की गति के योग के बराबर होगी, जिससे हमें उन अनुरोधों के प्रतिक्रिया समय के बारे में स्वीकार्य परिणाम प्राप्त करने की अनुमति मिलती है जहां अतिरिक्त-बड़े संस्करणों का विश्लेषण करना आवश्यक है। जानकारी। व्यवहार में, अधिक उपयोग प्राप्त करने के लिए, कई नोड्स एक ही सर्वर पर रहते हैं, आपस में संसाधनों को साझा करते हैं।

जाहिर है, इस तरह के आर्किटेक्चर पर बनाए गए डेटाबेस के लिए, नोड्स या उनमें से प्रत्येक उपयोगकर्ता से एक अनुरोध को स्वीकार करने में सक्षम होना चाहिए, इसे सभी शेष नोड्स में वितरित करें, उनसे प्रतिक्रिया की प्रतीक्षा करें, और उपयोगकर्ता के इस अनुरोध को उसके अनुरोध के निष्पादन के रूप में पारित करें।

इस तरह की वास्तुकला के फायदे सतह पर हैं - यह लगभग रैखिक मापनीयता है। इसके अलावा, दोनों क्षैतिज और ऊर्ध्वाधर रूप में स्केलेबिलिटी।

नुकसान यह है कि सॉफ्टवेयर बनाने के लिए महत्वपूर्ण प्रयास करना आवश्यक है जो आपको ऐसी वास्तुकला के सभी लाभों का उपयोग करने की अनुमति देता है, जो कि ऐसे उत्पादों की उच्च लागत निर्धारित करता है।

MPP का उपयोग करके विश्लेषणात्मक संबंध डेटाबेस:

1. ईएमसी ग्रीनप्लम
सबसे अच्छा समाधानों में से एक, सुविधाओं के एक शक्तिशाली सेट के साथ जो इसे किसी भी कार्य के लिए कॉन्फ़िगर करने की क्षमता प्रदान करता है।
2. तेरदता
प्रसिद्ध समाधान जो बाजार में खुद को साबित कर चुका है। प्रतियोगियों की तुलना में उच्च लागत, महत्वपूर्ण लाभों के कारण नहीं।
3. एचपी वर्टिका
समाधान के फायदे एक ही समय में इसके नुकसान हैं। बड़ी मात्रा में निरर्थक (डुप्लिकेटेड) डेटा जिसे संग्रहीत किया जाना चाहिए, कार्यों की एक संकीर्ण श्रेणी पर ध्यान केंद्रित करना, कुछ महत्वपूर्ण कार्यक्षमता की कमी।
4. IBM Netezza
एक दिलचस्प और काफी त्वरित समाधान। नुकसान यह है कि यह एक पूरी तरह से हार्डवेयर समाधान है, जो एक मालिकाना मंच पर बनाया गया है, आंशिक रूप से पुराना है। स्केलेबिलिटी के संबंध में प्रश्न हैं।

प्रत्येक निर्णय के लिए एक अलग समीक्षा की जा सकती है यदि पाठक भविष्य में रुचि रखते हैं। जैसा कि यह हो सकता है, यह ये चार उत्पाद हैं जो एमपीपी क्षेत्र में प्रवृत्ति के साथ कुछ भी नहीं वास्तुकला को सेट करते हैं। उनके उदाहरण का उपयोग करके, हम डेटा के सुपर-बड़े संस्करणों को संसाधित करने के उद्देश्य से आगे की प्रौद्योगिकियों के विकास के वेक्टर का निरीक्षण कर सकते हैं। डेटाबेस का एक नया वर्ग दिखाई दिया है, जिसे विशेष रूप से दर्जनों टेराबाइट्स के प्रसंस्करण के लिए डिज़ाइन किया गया है।

हालांकि, एक दूसरी दिशा दिखाई दी है, जिससे आप हार्ड ड्राइव की क्षमताओं से जुड़ी सीमाओं को दरकिनार कर सकते हैं।

IMDB

इन-मेमोरी डेटाबेस एक डेटाबेस है जो डेटा के साथ काम करता है जो पूरी तरह से रैम में है। जैसा कि आप जानते हैं, रैम में एक गति है जो पारंपरिक हार्ड ड्राइव से बेहतर परिमाण का एक आदेश है, जिससे उच्च-पठन डेटा संग्रहण उपकरण उपलब्ध होता है जिसमें बहुत अधिक पढ़ने और लिखने की गति होती है। इसके बावजूद, अभी भी बहुत कम लोग हैं जो अपने डेटा को पूरी तरह से रैम में स्टोर करना चाहते हैं। यह मुख्य रूप से इस तथ्य के कारण है कि ऐसी मेमोरी की लागत हार्ड ड्राइव की लागत से बहुत अधिक है। एक महत्वपूर्ण कारक यह है कि बिजली बंद होते ही सारा डेटा गायब हो जाता है। लंबे समय तक, मुख्य मेमोरी में डेटा के साथ काम करने वाले डेटाबेस सहायक थे और एक बफर के रूप में कार्य करते थे जो केवल परिचालन प्रसंस्करण के लिए आवश्यक अल्पकालिक डेटा को संग्रहीत करता है। हालांकि, इस प्रकार की मेमोरी की लागत में गिरावट ने इस तरह के डेटाबेस में रुचि पैदा की है। माना जाता है कि बिग डेटा क्षेत्र में प्रवेश टेराबाइट्स के साथ शुरू होता है। कुछ समय पहले तक, इस प्रकार के डेटाबेस में ऐसे कोई समाधान नहीं थे जो पर्याप्त मात्रा में पर्याप्त मात्रा में काम कर सकें। हालांकि, 2011 में, एसएपी ने अपना हाना डेटाबेस पेश किया, जो कि 8 टेराबाइट्स तक असम्पीडित डेटा का समर्थन करता था। सैद्धांतिक रूप से, संपीड़न का उपयोग करते हुए, उपयोग किए जाने वाले डेटा की मात्रा को 40 टेराबाइट्स तक बढ़ाया जा सकता है। IMDB तकनीक का एक अन्य प्रतिनिधि Oracle का TimesTen है। दोनों समाधानों में बड़ी कार्यक्षमता है और इन-मेमोरी आरडीबीएमएस के क्षेत्र में सबसे विकसित उत्पाद हैं।

इस प्रकार, कंपनियां बिग डेटा की चुनौती को स्वीकार करने के लिए तैयार हैं। समाधानों का आविष्कार और परीक्षण पहले ही किया जा चुका है, जो दशकों से संचित जानकारी का उपयोग करके विश्लेषकों, विपणक और डेटाबेस प्रबंधकों द्वारा उत्पन्न प्रश्नों का उत्तर पाने के लिए एक स्वीकार्य समय की अनुमति देता है। सुपर-बड़ी मात्रा में डेटा को संसाधित करने के लिए नई डेटाबेस कक्षाएं बनाई जा रही हैं। डेटा एक्सेस की गति बढ़ाने के लिए नए तरीके विकसित किए जा रहे हैं।

उसी समय, आधुनिक वास्तविकताओं से पता चलता है कि रिलेशनल डेटाबेस सभी में एक समाधान नहीं हो सकते हैं। इसीलिए, डेटा वेयरहाउस के अलावा, जो बड़ी मात्रा में सूचनाओं के भंडारण और प्रसंस्करण का कार्य करता है, कंपनी के पास कंपनी के संचालन के लिए ओएलटीपी डेटाबेस भी होना चाहिए।