विश्लेषणात्मक डेटाबेस के बारे में सरल और सस्ती

बिग डेटा प्रौद्योगिकियों में रुचि लगातार बढ़ रही है, और यह शब्द ही तेजी से लोकप्रिय हो रहा है, कई लोग इस बारे में बात करना चाहते हैं, इस क्षेत्र में संभावनाओं और अवसरों पर चर्चा करते हैं। हालांकि, कुछ निर्दिष्ट करते हैं कि इस बाजार में किन कंपनियों का प्रतिनिधित्व किया जाता है, इन कंपनियों के समाधानों का वर्णन नहीं करते हैं, और बिग डेटा समाधानों के तरीकों के बारे में भी बात नहीं करते हैं। डेटा भंडारण और प्रसंस्करण से संबंधित सूचना प्रौद्योगिकी के क्षेत्र में आज तक महत्वपूर्ण बदलाव हुए हैं और यह तेजी से बढ़ता हुआ बाजार है, जिसका अर्थ है इस क्षेत्र में कई विश्व-प्रसिद्ध और छोटे, बस शुरू करने वाली कंपनियों के लिए एक टिडबिट। एक विशिष्ट बड़ी कंपनी के पास कई दर्जनों ऑपरेशनल डेटाबेस हैं जो कंपनी के संचालन (लेनदेन, स्टॉक, शेष, आदि) पर डेटा संग्रहीत करते हैं, जो विश्लेषकों को व्यापार विश्लेषण के लिए आवश्यक हैं। चूंकि जटिल, अप्रत्याशित प्रश्न परिचालन डेटाबेस पर अप्रत्याशित भार का कारण बन सकते हैं, वे ऐसे डेटाबेस के लिए विश्लेषकों के प्रश्नों को सीमित करने की कोशिश कर रहे हैं। इसके अलावा, विश्लेषकों को ऐतिहासिक डेटा, साथ ही कई स्रोतों से डेटा की आवश्यकता होती है। विश्लेषकों को डेटा तक पहुंच प्रदान करने के लिए, कंपनियां तथाकथित डेटा स्टोरेज का निर्माण और रखरखाव करती हैं, जो रिपोर्ट तैयार करने, व्यावसायिक प्रक्रियाओं का विश्लेषण करने और निर्णय लेने की प्रणाली का समर्थन करने के लिए डिज़ाइन किए गए कॉर्पोरेट सूचना डेटाबेस हैं। डेटा वेयरहाउस मार्केटिंग अभियानों की प्रभावशीलता, पूर्वानुमान, बिक्री के लिए नए संभावित बाजारों और दर्शकों की खोज, कंपनी गतिविधि के पिछले समय के सभी प्रकार के विश्लेषण के लिए एक स्रोत के रूप में भी काम करते हैं। एक नियम के रूप में, एक डेटा वेयरहाउस एक विषय-उन्मुख डेटाबेस है जो अस्थायी आधार पर बनाया गया है, अर्थात। सभी डेटा परिवर्तनों की निगरानी और समय के साथ दर्ज की जाती है, जो आपको घटनाओं की गतिशीलता को ट्रैक करने की अनुमति देता है। डेटा स्टोरेज लंबी अवधि के डेटा को भी स्टोर करते हैं - इसका मतलब है कि वे कभी हटाए नहीं गए या फिर से लिखे गए हैं - केवल नया डेटा दर्ज किया गया है, समय के साथ डेटा परिवर्तन की गतिशीलता का अध्ययन करना आवश्यक है। अंत में, डेटा वेयरहाउस, ज्यादातर मामलों में, कई स्रोतों के साथ समेकित होते हैं, अर्थात। डेटा को कई स्रोतों से डेटा वेयरहाउस में संग्रहीत किया जाता है, और इससे पहले कि वे डेटा वेयरहाउस में जाएं, यह डेटा स्थिरता और विश्वसनीयता के लिए जाँच की जाती है।

फरवरी 2012 में, अनुसंधान और परामर्श कंपनी गार्टनर ने डेटा वेयरहाउस के लिए अपनी विश्लेषणात्मक रिपोर्ट प्रस्तुत की। इस रिपोर्ट के हिस्से के रूप में, डेटा वेयरहाउस को एक DBMS के रूप में परिभाषित किया गया है जो गोदाम में एक या अधिक तार्किक डेटाबेस का प्रबंधन और रखरखाव करता है। इसके अलावा, डेटा वेयरहाउस DBMS को एक रिलेशनल डेटा मॉडल का समर्थन करना चाहिए, और प्रोग्राम इंटरफेस के माध्यम से डेटा तक पहुंच प्रदान करने में सक्षम होना चाहिए ताकि तृतीय-पक्ष विश्लेषणात्मक एप्लिकेशन डेटा वेयरहाउस में डेटा का उपयोग कर सकें। इसके अलावा, डेटा वेयरहाउस DBMS में विभिन्न प्रकार के भारों को एक-दूसरे से अलग करने वाले तंत्र होने चाहिए, साथ ही एक ही डेटा उदाहरण के भीतर विभिन्न उपयोगकर्ता पहुंच मापदंडों का प्रबंधन करना चाहिए।

चूंकि इस विश्लेषण रिपोर्ट में डेटा गोदामों के लिए गार्टनर की आवश्यकताओं में से एक संबंधपरक डेटा मॉडल के लिए समर्थन था, तदनुसार, अपाचे हडोप मंच पर आधारित समाधान इस रिपोर्ट में विचार के लिए आवेदकों की सूची में शामिल नहीं थे। इसके अलावा, अपाचे Hadoop आधुनिक डेटा गोदामों द्वारा आगे रखी गई आवश्यकताओं को पूरा नहीं करता है, क्योंकि इसमें इस रिपोर्ट में प्रस्तुत अन्य समाधानों की तुलना में जटिल विश्लेषणात्मक प्रश्नों की कम गति है, और जाहिर है, कंपनियों द्वारा आगे रखे गए कार्यों को पूरा नहीं कर सकता है। आधुनिक डेटा वेयरहाउस। इसके बावजूद, Apache Hadoop प्लेटफॉर्म एक तेजी से विकसित होने वाली परियोजना है और संभवत: भविष्य में, इस प्लेटफ़ॉर्म पर आधारित समाधान अन्य निर्माताओं से समाधान के साथ उनकी जगह ले लेंगे। मैं यह भी ध्यान देना चाहूंगा कि Apache Hadoop वास्तविक समय डेटा विश्लेषण के लिए डिज़ाइन नहीं किया गया है - यह भविष्य में इस डेटा का विश्लेषण करने की क्षमता के साथ असंरचित डेटा को संग्रहीत करने के लिए एक समाधान है, जो डेटा वेयरहाउस के लिए डेटा का विश्लेषण करने में सक्षम होने के लिए कंपनियों की आवश्यकताओं को पूरा नहीं करता है। इसके अलावा, MapReduce प्रतिमान विश्लेषकों के सामने आने वाली विश्लेषणात्मक समस्याओं के पूरे वर्ग के लिए उपयुक्त नहीं है। हालांकि, इस लेख में चर्चा किए गए अधिकांश समाधान अपाचे हडोप के साथ एकीकरण का समर्थन करते हैं।

इस रिपोर्ट में किए गए विश्लेषण के अनुसार, गार्डनर ने तथाकथित मैजिक क्वाड्रेंट को संकलित किया, जहां उन्होंने कंपनियों को इस वर्ग के क्षेत्रों के अनुसार रखा।



इस लेख में, मैं गार्टनर मैजिक क्वाड्रंट के ऊपरी दाएं कोने में स्थित कंपनियों के निर्णयों पर विस्तार से ध्यान देना चाहूंगा। अधिक सटीक होने के लिए, स्वयं समाधानों पर नहीं, बल्कि उन समाधानों के उन गुणों पर, जिन्होंने उन्हें नेतृत्व में टूटने और इन गुणों का विश्लेषण करने की अनुमति दी, साथ ही साथ भविष्य में उनकी प्रयोज्यता का मूल्यांकन किया।

डेटा वेयरहाउसिंग के क्षेत्र में नेताओं में निहित सामान्य विशेषताओं पर विचार करना शुरू करने से पहले, यह ओरेकल से समाधान पर ध्यान केंद्रित करने और करीब से देखने के लिए समझ में आता है, क्योंकि यह समाधान, पूरे पर, प्रतियोगियों से अलग है। डेटा वेयरहाउस के लिए, Oracle अपने हार्डवेयर प्लेटफ़ॉर्म Exadata डेटाबेस मशीन X2-2 का उपयोग करने का सुझाव देता है। हालाँकि, यह केवल हार्डवेयर भाग है - Oracle डाटाबेस लाइसेंस अलग से खरीदा जाता है। अधिकतम प्रदर्शन, साथ ही साथ दोष सहिष्णुता प्राप्त करने के लिए, आपको अलग से ओरेकल रियल एप्लीकेशन क्लस्टर्स और विभाजन के लिए लाइसेंस खरीदना होगा। ओरेकल का दावा है कि डेटा स्टोरेज के इस रूप में, ओएलटीपी सिस्टम और डीडब्ल्यू समाधान दोनों का उपयोग एक ही समय में किया जा सकता है। यह कथन सीमित संख्या में मामलों में सच है - अक्सर एक ही मंच पर विभिन्न प्रकार के भार का अस्तित्व दोनों के काम को अपनाने का होता है। Exadata वास्तुकला दो प्रकार के सर्वरों में एक विभाजन का अर्थ है - ये Exadata Database Server X2-2 कंप्यूट नोड्स हैं, जहां Oracle डेटाबेस स्थित है और डेटा को स्टोर करने वाले Exadata Storage Server नोड्स। अधिक सटीक होने के लिए, एक्सडाटा स्टोरेज सर्वर सॉफ्टवेयर एक्सडाटा स्टोरेज सर्वर पर स्थित है, जिसमें तथाकथित "सेल सर्विसेज" शामिल है, जो बदले में, "स्मार्ट स्कैन" तकनीक के उपयोग की अनुमति देता है। "स्मार्ट स्कैन" सरल खोज और डेटा की पुनर्प्राप्ति के लगभग सभी काम करता है, जिससे कंप्यूटिंग नोड्स को अनावश्यक भार से मुक्त किया जाता है। यह वास्तुकला ओरेकल को लोड को संतुलित करने और दो प्रकार के नोड्स के बीच स्थानांतरित डेटा की मात्रा को कम करने में सक्षम बनाता है, लेकिन इसमें एक महत्वपूर्ण खामी है, या सीमित मापनीयता है, जो एक्सडाटा प्लेटफॉर्म को रैखिक रूप से स्केल करने की अनुमति नहीं देता है। यह इस तथ्य की ओर जाता है कि एक निश्चित क्षण से नए नोड्स को जोड़ने से उत्पादकता में उल्लेखनीय वृद्धि नहीं होती है, और एक ही समय में यह एक महंगा ऑपरेशन है, क्योंकि ओरेकल हार्डवेयर और सॉफ्टवेयर महंगा है। इस प्रकार, हम यह निष्कर्ष निकाल सकते हैं कि डेटा वेयरहाउसिंग के क्षेत्र में ओरेकल समाधान कंपनियों की भविष्य की उम्मीदों को पूरा करने में सक्षम नहीं होगा, हालांकि वे इस समय स्वीकार्य प्रदर्शन प्रदान करते हैं। तथ्य यह है कि ओरेकल टेराडाटा के कारण दूसरे स्थान पर है, मेरी राय में, ओरेकल की आक्रामक विपणन नीति द्वारा, साथ ही तथ्य यह है कि ओरेकल का उपयोग करने वाले कई ग्राहकों ने ओरेकल हार्डवेयर प्लेटफॉर्म पर अपने डेटाबेस को मजबूत करने का फैसला किया, जिससे रखरखाव की लागत कम हो गई और एक ही समय में प्रदर्शन को खोने के बिना समर्थन। इसलिए, ओरेकल के पास ऐसी विशेषताएं नहीं हैं जो इस समीक्षा में अन्य नेताओं के पास हैं, लेकिन, इसके बावजूद, विकासशील डेटाबेस में व्यापक अनुभव और ग्राहकों की एक बड़ी संख्या ने नेता क्षेत्र में होना संभव बना दिया।

Teradata Oracle Exadata की समीक्षा और इसकी कमियों को उजागर

Microsoft के लिए भी यही सच है, जो SQL Server 2008 R2 DBMS Business Data Warehouse और Fast Track Data Warehouse के लिए विपणन किया जाता है। वास्तव में, इन समाधानों में अपने प्रतिद्वंद्वियों की तुलना में पर्याप्त तकनीकी कार्यक्षमता नहीं होती है, जबकि बहुत सारे विपणन "चिप्स" की पेशकश करते हैं। Microsoft की बिक्री काफी हद तक डंपिंग नीतियों पर आधारित होती है, साथ ही इस खेल के बारे में कि बाजार में इन समाधानों से परिचित कई विशेषज्ञ हैं, उनके प्रशिक्षण में निर्माता के समर्थन की अधिक समय, गुणवत्ता और उपलब्धता नहीं होनी चाहिए। यह भी महत्वपूर्ण तथ्य है कि अधिकांश कंपनियों के मौजूदा बुनियादी ढांचे में Microsoft समाधानों को जल्दी और कुशलता से एकीकृत किया जा सकता है। बड़ी संख्या में ग्राहकों, साथ ही भागीदारों और पुनर्विक्रेताओं के एक विकसित नेटवर्क के साथ, Microsoft वर्तमान क्षण तक अच्छी बिक्री हासिल करने में कामयाब रहा है। इसके बावजूद, मौजूदा Microsoft समाधान तकनीकी रूप से अपने प्रतिद्वंद्वियों के पीछे हैं, जो इस विचार की ओर जाता है कि वे भविष्य में अन्य निर्माताओं से समाधान के साथ प्रतिस्पर्धा करने में सक्षम नहीं होंगे। इसके अलावा, Microsoft अपनी परंपरा को नहीं बदलता और बड़ी संख्या में त्रुटियों के साथ उत्पादों को जारी करता है, जबकि लंबे समय तक इन त्रुटियों के सुधार में देरी करता है, जो Microsoft उत्पादों के वितरण में भी योगदान नहीं देता है। Microsoft PDW समाधान, नवंबर 2010 में जारी किया गया, जिसमें औद्योगिक उपयोग के लिए उपयोग की जाने वाली प्रणाली के रूप में एक भी रिकॉल नहीं है। इससे पता चलता है कि कोई भी इस समाधान को कम या ज्यादा स्थिर बनाने में सक्षम नहीं था, इससे कंपनियों की मौजूदा जरूरतें पूरी होती हैं।

हालांकि, इस लेख में मैं उन विशेषताओं पर ठीक से विचार करना चाहूंगा, जिन्होंने अन्य नेताओं के फैसलों को आगे बढ़ाने की अनुमति दी है, और यह भी आशा है कि भविष्य में वे कंपनियों की बढ़ती जरूरतों को पूरा करने में सक्षम होंगे।

चर्चा शुरू करने से पहले, यह समझना अच्छा होगा कि कौन सा समाधान सॉफ्टवेयर के रूप में दिया गया है, और कौन सा पूर्व-कॉन्फ़िगर हार्डवेयर-सॉफ़्टवेयर परिसर के रूप में। पूर्व-कॉन्फ़िगर हार्डवेयर-सॉफ़्टवेयर कॉम्प्लेक्स सेटअप और कॉन्फ़िगरेशन प्रक्रिया को समाप्त करता है, इसके कार्यान्वयन के लिए आवश्यक समय को कम करता है, लेकिन इसकी लागत काफी अधिक है। सॉफ़्टवेयर के रूप में दिया गया समाधान, आपको हार्डवेयर प्लेटफ़ॉर्म को स्वयं चुनने की अनुमति देता है और उपकरणों के लिए अधिक भुगतान नहीं करता है, और भविष्य में नए सर्वरों को जोड़कर उत्पादकता और क्षमता को बढ़ाना आसान बनाता है। इस सूची में, आप आईबीएम Netezza को उजागर कर सकते हैं, जो मालिकाना उपकरण के रूप में आता है, अर्थात् आईबीएम सर्वर ब्लेड पर। इसका मतलब निर्माता निर्भरता, आईबीएम से सटीक होना है, अर्थात। यदि विस्तार की आवश्यकता है, तो आपको आईबीएम से संपर्क करना होगा और उससे अतिरिक्त उपकरण और लाइसेंस खरीदने होंगे। इसके अलावा, आईबीएम नेटेज़ा के लिए विस्तार की प्रक्रिया गैर-तुच्छ है और एक लंबी प्रवास प्रक्रिया की आवश्यकता होती है, जिसके दौरान सिस्टम डाउनटाइम में होना चाहिए - इससे डाउनटाइम और समय की हानि होती है। विक्रेता निर्भरता नोट भी Oracle और Teradata समाधान के लिए मान्य है। कुछ समाधान हार्डवेयर और सॉफ्टवेयर दोनों में दिए जा सकते हैं:

DWH	सॉफ्टवेयर	हार्डवेयर
ईएमसी ग्रीनप्लम	एक्स	एक्स
एचपी वर्टिका	एक्स
IBM InfoSphere Warehouse (DB2)	एक्स
इब्म नेटीज़ा		एक्स
Microsoft SQL Server 2008 DBMS R2 BDW		एक्स
Microsoft SQL Server 2008 DBMS R2 PDW		एक्स
Microsoft SQL Server 2008 DBMS R2 FTDW		एक्स
ओरेकल एक्सडाटा		एक्स
सिबेस आइक	एक्स
टेराडाटा डेटाबेस 14		एक्स

यहां यह स्पष्ट करना आवश्यक है कि Microsoft समाधान मूल रूप से एक पूर्वज की विभिन्न किस्में हैं - Microsoft SQL Server 2008 DBMS R2 और, सामान्य रूप से, केवल उस हार्डवेयर प्लेटफ़ॉर्म में अंतर होता है जिस पर उन्हें वितरित किया जाता है (HP और Dell से अलग सर्वर), साथ ही साथ कुछ सॉफ़्टवेयर का जोड़ भी। सुविधाएँ। IBM InfoSphere Warehouse एक DP2 10 LUW (Linux, Unix, Windows) DPF (डेटाबेस विभाजन सुविधा) क्षमताओं के साथ है, इसमें DB2 10 जैसी क्षमताएं हैं, लेकिन उनके अलावा, इसे MPP आर्किटेक्चर का उपयोग करके तैनात किया जा सकता है।

एमपीपी वास्तुकला

बड़े पैमाने पर समानांतर प्रसंस्करण (एमपीपी) कई नोड्स से मिलकर समानांतर कंप्यूटिंग सिस्टम का एक वर्ग है, जहां प्रत्येक नोड दूसरों से स्वतंत्र एक स्वायत्त इकाई है। यदि यह परिभाषा डेटा वेयरहाउस के क्षेत्र पर लागू होती है, तो इसके लिए सबसे अच्छा शब्द "वितरित डेटाबेस" शब्द होगा। एक वितरित डेटाबेस में प्रत्येक नोड एक पूर्ण DBMS है जो दूसरों के स्वतंत्र रूप से काम करता है। वितरित डेटाबेस स्वयं एक स्वतंत्र, स्वायत्त नोड का एक संग्रह है जो एक संचार नेटवर्क द्वारा जुड़ा हुआ है। ऐसे नेटवर्क में सभी डेटा समान रूप से नोड्स के बीच वितरित किए जाते हैं, अर्थात्। प्रत्येक नोड, डेटा का अपना अनूठा संग्रह, तार्किक रूप से, हालांकि, एकल डेटाबेस को प्रस्तुत करता है। एक उपयोगकर्ता के लिए, एक वितरित डेटाबेस संपूर्ण की तरह दिखता है, भागों डेटाबेस में विभाजित नहीं है। वितरित DBMS तक पहुँचने पर, क्वेरी को सभी डेटाबेस नोड्स द्वारा समानांतर में निष्पादित किया जाता है, केवल अपने स्वयं के अनूठे डेटा में खोज और चयन करता है, जो डेटा तक पहुंच की गति को काफी बढ़ा सकता है। इस तरह की वास्तुकला के फायदे स्पष्ट हैं - यह रैखिक मापनीयता है, जो स्थिर और अनुमानित प्रदर्शन पैरामीटर और सिस्टम विकास प्रदान करता है। आर्किटेक्चर के बारे में डेटा वेयरहाउस के क्षेत्र में रुझान ऐसा है कि भविष्य में केवल एमपीपी आर्किटेक्चर पर आधारित समाधान होंगे, क्योंकि यह वह है जो आपको मानक हार्डवेयर पर बड़ी मात्रा में जानकारी संसाधित करने की अनुमति देता है। नुकसान भी स्पष्ट है - एसीआईडी ​​की कार्यात्मक आवश्यकताओं को पूरा करने के लिए, सिस्टम को प्रत्येक नोड से एक प्रतिक्रिया प्राप्त करनी चाहिए, इसलिए नोड्स के बीच संचार नेटवर्क में उच्च बैंडविड्थ के साथ-साथ गलती सहनशीलता भी होनी चाहिए। वास्तव में, वर्तमान डेटा ट्रांसफर मानकों (10 गीगाबिट्स) आधुनिक डेटा वेयरहाउस के लिए काफी पर्याप्त हैं, और 100 गीगाबिट मानक की शुरुआत के साथ, नोड्स के बीच स्थानांतरण गति की समस्या पूरी तरह से गायब हो जाएगी, क्योंकि डिस्क सबसिस्टम एक अड़चन होगी (यह भी एक तथ्य नहीं है, क्योंकि इन-मेमोरी के बाद से DB डेटा का भंडारण करने के लिए RAM का उपयोग करते हैं)।

डेटा वेयरहाउस के लिए एमपीपी आर्किटेक्चर के क्षेत्र में अग्रणी टेराडाटा था, जिसने 1984 में इस तरह की वास्तुकला के साथ पहली प्रणाली शुरू की थी। तब से, Teradata ने एक लंबा सफर तय किया है, इस क्षेत्र में बहुत उपयोगी अनुभव संचित किया है और एक नेता के योग्य है। 2000 के दशक में, अन्य निर्माताओं के समान आर्किटेक्चर के साथ समाधान दिखाई दिए - ये हैं ईएमसी ग्रीनप्लम, एचपी वर्टिका, साइबेस आईक्यू, आईबीएम नेटेजा, आईबीएम इन्फोस्फेयर वेयरहाउस और माइक्रोसॉफ्ट पीडीडब्ल्यू। यह ध्यान दिया जाना चाहिए कि एमपीपी वास्तुकला दो गुणों में मौजूद हो सकती है - कुछ भी साझा नहीं किया और सब कुछ साझा किया। पहले मामले में, प्रत्येक नोड अन्य नोड्स के साथ सिस्टम संसाधनों को साझा नहीं करता है, उन संसाधनों को आवंटित करना और उपयोग करना जो स्वतंत्र रूप से आवश्यक हैं। दूसरे मामले में, नोड साझा संसाधनों का उपयोग करता है, इसके लिए आवश्यक संसाधनों को प्राप्त करने के लिए कुछ तंत्र का जिक्र करता है। प्रत्येक दृष्टिकोण के अपने फायदे और नुकसान हैं - साझा कुछ भी आपको सभी संसाधनों का कुशलतापूर्वक उपयोग करने की अनुमति नहीं देता है, उनमें से कुछ को किसी भी मामले में निष्क्रिय छोड़ देता है। साझा किया गया सब कुछ संसाधनों का अधिक कुशलता से उपयोग करता है, हालांकि, साझा संसाधनों का उपयोग करते समय इसे एक इंटरप्रोसेस समन्वय तंत्र की आवश्यकता होती है, जो संसाधनों को आवंटित करते समय ऐसे समन्वय के लिए आवश्यक अतिरिक्त समय में बाहर फैल जाता है। सिस्टम संसाधनों के रूप में, रैम और डिस्क सबसिस्टम यहां कार्य करते हैं। ओरेकल और माइक्रोसॉफ्ट अपने डिजाइनों में एसएमपी (सिमिट्रिक मल्टीप्रोसेसिंग) आर्किटेक्चर का उपयोग करके अपने तरीके से चले गए। इस वास्तुकला को इस तथ्य की विशेषता है कि एक डेटाबेस के साथ कई प्रक्रियाएं काम करती हैं। डेटा एक्सेस की गति को बढ़ाने के लिए, Oracle और Microsoft विभाजन का उपयोग करने की सलाह देते हैं, तालिका को कई तार्किक वर्गों में विभाजित करते हैं, और इस प्रकार डेटा को छोटे टुकड़ों में विभाजित करते हैं। यह दृष्टिकोण मदद करता है अगर हमें तालिका में डेटा के एक छोटे से हिस्से का चयन करने की आवश्यकता है, लेकिन यह अप्रभावी है यदि हमें विश्लेषण के लिए तालिका में निहित अधिकांश डेटा (तथाकथित पूर्ण स्कैन) का उपयोग करना चाहिए, जो डेटा वेयरहाउस के लिए पारंपरिक "स्टार" या "स्नोफ्लेक" योजना है। “अपरिहार्य है। एक महान समझ के लिए, प्रत्येक निर्णय किस सिद्धांत पर आधारित है, मैं एक तालिका दूंगा:

DWH	SMP	एमपीपी
		कुछ भी साझा नहीं किया	सब कुछ साझा किया
ईएमसी ग्रीनप्लम		एक्स
एचपी वर्टिका		एक्स
IBM InfoSphere Warehouse (DB2)		एक्स
इब्म नेटीज़ा		एक्स
Microsoft SQL Server 2008 DBMS R2 BDW	एक्स
Microsoft SQL Server 2008 DBMS R2 PDW		एक्स
Microsoft SQL Server 2008 DBMS R2 FTDW	एक्स
ओरेकल एक्सडाटा	एक्स
सिबेस आइक			एक्स
टेराडाटा डेटाबेस 14		एक्स

जैसा कि तालिका से देखा जा सकता है, ज्यादातर निर्माता इस तथ्य के बावजूद कि कुछ भी साझा नहीं करते हैं, सिस्टम के संसाधनों के हिस्से का उपयोग नहीं करते हैं, उन्हें निष्क्रिय खड़े होने की अनुमति देता है। एमपीपी आर्किटेक्चर डेटा वेयरहाउस के लिए सबसे उपयुक्त है, क्योंकि यह रैखिक मापनीयता प्रदान करता है, जिससे आप लगातार बढ़ती आवश्यकताओं के अनुसार डेटा वेयरहाउस की क्षमता बढ़ा सकते हैं। हालांकि, गार्टनर मैजिक क्वाड्रंट के ऊपरी दाएं क्षेत्र में स्थित कई समाधान एक अन्य संपत्ति की विशेषता है जो डेटा तक पहुंच की गति को बढ़ाने में मदद करता है और तदनुसार, उन्हें विश्लेषकों को जल्दी से जल्दी प्रदान करता है।

स्तंभ भंडारण

डेटा को पंक्तियों में नहीं बल्कि स्तंभों में संग्रहीत करने का विचार नया नहीं है और यह Sybase का है, जिसने 1996 में Sybase IQ जारी किया था - दुनिया का पहला डेटाबेस जो डेटा के स्तंभ भंडारण का समर्थन करता है। इस विचार का आधार यह था कि डेटा वेयरहाउस और ऑपरेशनल डेटाबेस पर लोड प्रकृति में मौलिक रूप से भिन्न है। OLTP , , (insert/update), , , . , OLTP , , . , , , 10 , , , 10 , , 7 . , , , , . , , , . DWH – Oracle, Microsoft IBM - , , - . , . , , EMC Greenplum Teradata, , .. , . , , OLTP, .. «/» .

, :

DWH	Row-oriented	Column-oriented
EMC Greenplum	एक्स	एक्स
HP Vertica		एक्स
IBM InfoSphere Warehouse (DB2)	एक्स
IBM Netezza	एक्स
Microsoft SQL Server 2008 DBMS R2 BDW	एक्स
Microsoft SQL Server 2008 DBMS R2 PDW	एक्स
Microsoft SQL Server 2008 DBMS R2 FTDW	एक्स
Oracle Exadata	एक्स
Sybase IQ 15		एक्स
Teradata Database 14	एक्स	एक्स

, Sybase IQ . Sybase IQ , , . Sybase IQ 15 , Fast Projection Default Index. , Sybase IQ, 10 . , , , , .. . , , Sybase IQ , , , . , , Sybase IQ , .

HP Vertica, (projections), , Oracle, , . HP Vertica, , , , , . , HP Vertica, , , , – , . , , , HP Vertica . , HP Vertica .

, HP Vertica, . , , HP Vertica – Write-Optimized Column Store (WOS) Read-Optimized Column Store (ROS). , ROS WOS, Tuple Mover , ROS. , , . , HP Vertica – , .. – , WOS, , Tuple Mover, ROS.

– external tables, , . Oracle Exadata, IBM InfoSphere Warehouse, IBM Netezza, EMC Greenplum Sybase IQ. EMC Greenplum , Oracle Exadata - SMP . , – IBM Netezza (Zone Maps), — Sybase IQ, IBM DB2 , , .

Microsoft SQL Server-a SQL Server Integration Services (SSIS), , , Data Transformation Services (DTS), SQL Server . , , «Integration Services Package», . DTS Microsoft SQL Server 2000, , ( «», ), .

/ , Teradata. Teradata Parallel Transporter, , / , , .

परिणाम

Gartner . , . , , , , SQL. , , :

HP Vertica ,

IBM Netezza , Full Scan, , -

. , , . , , , .

, . Teradata EMC Greenplum. MPP shared nothing, ( ), . , , , , .

Teradata - Oracle Exadata, .. . Teradata , , . Teradata , Teradata , .

EMC Greenplum , - , HP Vertica IBM Netezza, , , Greenplum , HP IBM. EMC, , Greenplum , . , , . EMC Big Data, , - – Data Science Summit 2012, EMC -. EMC Big Data , , . , EMC – , , Greenplum, . , , Greenplum , , Teradata, .

Gartner DWH