Teradata DBMS में रिकॉर्ड्स का स्तंभ और संकर भंडारण

हाल तक तक, संरचित डेटा (और न केवल उन्हें) के साथ काम करने वाले सभी DBMS को 2 श्रेणियों में विभाजित किया जा सकता है: एक पंक्ति-वार प्रारूप में रिकॉर्ड करना और एक बैच प्रारूप में रिकॉर्ड संग्रहीत करना। यह एक मूलभूत अंतर है जो प्रभावित करता है कि आंतरिक डीबीएमएस भंडारण तंत्र के स्तर पर तालिका पंक्तियाँ कैसे दिखती हैं। एक लंबे समय के लिए, Teradata DBMS पहले समूह से संबंधित था, लेकिन 14 वें संस्करण की रिहाई के साथ यह निर्धारित करना संभव था कि किसी विशेष तालिका के डेटा को कैसे संग्रहीत किया जाए - कॉलम या पंक्तियों के रूप में। इस प्रकार, हाइब्रिड स्टोरेज दिखाई दिया। इस लेख में हम इस बारे में बात करना चाहते हैं कि इसकी आवश्यकता क्यों है, इसे कैसे लागू किया जाता है और यह क्या लाभ प्रदान करता है।

एक Teradata स्तंभकार क्या है?

स्तंभों में संग्रहण प्रारूप के बारे में बात करने से पहले, कुछ शब्दों के बारे में बताएं कि हम आमतौर पर पंक्तियों में डेटा कैसे संग्रहीत करते हैं। एक संबंधपरक तालिका लें जिसमें कॉलम और पंक्तियाँ हों:

हम अपने स्ट्रिंग प्रारूप के मामले में इस तालिका के डेटा को डिस्क पर कैसे लिखते हैं? पहले, पहली पंक्ति लिखें, फिर दूसरी, तीसरी और इसी तरह:


इस तालिका को पढ़ते समय डिस्क सिस्टम पर लोड कैसे कम करें? आप इसके उपयोग के विभिन्न तरीकों का उपयोग कर सकते हैं:

1. सूचकांक पहुंच - यदि आपको केवल कुछ पंक्तियों को पढ़ने की आवश्यकता है।
2. इसके व्यक्तिगत विभाजन (वर्गों) तक पहुंच - यदि तालिका बहुत बड़ी है (उदाहरण के लिए, कई वर्षों के लिए लेन-देन दिखाए जाते हैं, लेकिन आपको केवल पिछले कुछ हफ्तों के लिए डेटा पढ़ने की आवश्यकता है)। ये प्रति पंक्ति विभाजन हैं ।
3. तालिका का पूर्ण पढ़ना - यदि आपको पंक्तियों की संख्या का एक बड़ा प्रतिशत पढ़ने की आवश्यकता है।

यही है, डिस्क सिस्टम पर लोड को कम करना इस तथ्य पर आधारित है कि हमें संपूर्ण तालिका नहीं, बल्कि केवल इसकी व्यक्तिगत पंक्तियों को पढ़ने की आवश्यकता है।

वक्ताओं के बारे में क्या? यदि SQL क्वेरी तालिका के सभी स्तंभों का उपयोग नहीं करती है, लेकिन उनमें से कुछ ही हैं? लाइनों को पढ़ते समय, हम डिस्क से हर लाइन को पूरी तरह से पढ़ते हैं। यदि तालिका में 100 कॉलम हैं, और एक विशिष्ट SQL क्वेरी को उनमें से केवल 5 की आवश्यकता है, तो हमें डिस्क से 95 कॉलम पढ़ने के लिए मजबूर किया जाता है जो SQL क्वेरी का उपयोग नहीं करता है।

यह यहां है कि विचार पंक्तियों में नहीं, बल्कि स्तंभों में डेटा संग्रहीत करने के लिए दिमाग में आता है। स्तंभ भंडारण प्रारूप के मामले में - स्तंभ - दृष्टिकोण यह है: पहले डिस्क पर पहला कॉलम लिखें, फिर दूसरा, तीसरा और इसी तरह:


स्तंभ में तालिका का ऐसा विभाजन स्तंभ द्वारा विभाजन बनाता है। यदि क्वेरी को केवल अलग कॉलम की आवश्यकता है, तो हम डिस्क से केवल आवश्यक विभाजन को कॉलम से पढ़ते हैं, SQL क्वेरी की आवश्यकता वाले डेटा को पढ़ते समय I / O संचालन की संख्या को काफी कम कर देते हैं।

इस दृष्टिकोण की एक दिलचस्प विशेषता यह है कि पंक्ति द्वारा विभाजन और स्तंभ द्वारा विभाजन को एक साथ एक ही तालिका में, दूसरे शब्दों में, विभाजन के साथ प्रयोग किया जा सकता है। सबसे पहले, हम स्तंभों में आवश्यक विभाजन पर जाते हैं, फिर उनके अंदर हम पंक्तियों में केवल आवश्यक विभाजन पढ़ते हैं।

ऊपर संक्षेप में, Teradata Columnar Teradata DBMS में डेटा संग्रहीत करने की एक विधि है, जो तालिकाओं को एक साथ दो विभाजन विधियों का उपयोग करने की अनुमति देता है:

• क्षैतिज विभाजन - लाइन द्वारा लाइन
• ऊर्ध्वाधर विभाजन - स्तंभों में

Teradata Columnar के लाभ

लाभ इस प्रकार हैं:

• बढ़ाए गए क्वेरी प्रदर्शन - केवल कॉलम में व्यक्तिगत विभाजन को पढ़कर, तालिका की पंक्तियों में सभी डेटा को पढ़ने की आवश्यकता को समाप्त करना। यह वही है जहाँ हमने अपना लेख शुरू किया था।
• स्वचालित संपीड़न तंत्र का उपयोग करके कुशल स्वचालित डेटा संपीड़न । लेकिन यह एक अतिरिक्त सुखद सुविधा है जो स्तंभों में डेटा संग्रहीत करते समय खुलती है: इस मामले में, डेटा संपीड़ित करने के लिए अधिक सुविधाजनक है। कुछ ने इस लाभ को पहले स्थान पर रखा, और काफी यथोचित रूप से।

ये दोनों आइटम डिस्क सिस्टम पर लोड को कम करते हैं। पहले मामले में, हम कम डेटा पढ़ते हैं, इसलिए हम कम I / O ऑपरेशन करते हैं। दूसरे मामले में, तालिका में डिस्क स्थान कम होता है, और परिणामस्वरूप, इसे पढ़ने के लिए कम I / O की आवश्यकता होती है।

डिस्क सिस्टम पर लोड कम करने से अनुप्रयोगों में प्रतिक्रिया समय कम हो जाता है, क्योंकि अनुरोध तेजी से होते हैं। और टेराडाटा प्रणाली का समग्र प्रदर्शन भी बढ़ रहा है - व्यक्तिगत अनुरोध I / O संचालन के लिए सिस्टम क्षमता का एक छोटा प्रतिशत खपत करते हैं, इसलिए सिस्टम इस तरह के अनुरोधों की एक बड़ी संख्या का प्रदर्शन कर सकता है।

स्तंभों में संग्रहीत तालिका से डेटा पढ़ना

स्तंभों द्वारा डेटा का संग्रहण ऐसी तालिका से डेटा पढ़ने के यांत्रिकी को महत्वपूर्ण रूप से बदल देता है। वास्तव में, हमें पंक्तियों को प्राप्त करने के लिए स्तंभों के अलग-अलग विभाजन से डेटा "एकत्र" करने की आवश्यकता होती है जो कि SQL क्वेरी को वापस आना चाहिए।

यह इस प्रकार दिखता है। यदि किसी कॉलम के लिए क्वेरी में WHERE क्लॉज है, तो पहले हम इस कॉलम को स्कैन करते हैं। हम डेटा को फ़िल्टर करते हैं, और उन पंक्तियों के लिए जो WHERE क्लॉज़ को संतुष्ट करते हैं, स्तंभों द्वारा पड़ोसी विभाजनों पर जाएं और इन पंक्तियों के लिए शेष स्तंभों के मूल्यों को पढ़ें।

उदाहरण: सोची में कौन से ग्राहक रहते हैं?
पंक्ति प्रारूप में (तुलना के लिए), सिटी कॉलम (WHERE City = 'Sochi' कंडीशन) को फ़िल्टर करते समय सभी कॉलम के मान पढ़े जाते हैं।


कॉलम प्रारूप में, केवल सिटी और कस्ट कॉलम डेटा पढ़ा जाता है। संख्या - सिटी कॉलम द्वारा पहला फ़िल्टर, फिर संबंधित Cust मानों के लिए खोजें। संख्या।


अगर WHERE क्लॉज में कई कॉलम हैं, तो उनमें से सबसे ज्यादा सेलेक्टिव का चयन किया जाता है, फिल्टर जिसके द्वारा पंक्तियों की सबसे बड़ी क्लिपिंग हो जाएगी, फिर अगला WHERE कॉलम इत्यादि। और फिर अनुरोध में शामिल अन्य सभी कॉलम।

अलग कॉलम से एक पंक्ति "असेंबलिंग" के लिए कॉलम के विभाजन के बीच संक्रमण के यांत्रिकी के लिए, इस तरह के एक संक्रमण "स्थिति" किया जाता है। किसी विशिष्ट पंक्ति को पढ़ते समय, हम जानते हैं कि प्रत्येक स्तंभ विभाजन में हमें जिस पंक्ति की आवश्यकता है उसका मूल्य तालिका की शुरुआत के सापेक्ष Nth स्थिति में है। पंक्ति की खोज करने के लिए, एक विशेष पंक्तिबद्ध पता संरचना का उपयोग किया जाता है, पंक्तिबद्ध, जिसमें विभाजन संख्या और पंक्ति संख्या होती है। यह आपको विभाजन विभाजन के बीच स्विच करने की अनुमति देता है, एक ही पंक्ति संख्या के लिए विभाजन के अंदर विभाजन संख्या को प्रतिस्थापित करता है। इस प्रकार, हम एक साथ एक पंक्ति के लिए स्तंभ मान एकत्र करते हैं।

एक तालिका में हाइब्रिड डेटा भंडारण

और अगर तालिका में बहुत सारे कॉलम हैं? फिर व्यक्तिगत कॉलम से पंक्तियों को इकट्ठा करने के लिए अधिक ओवरहेड की आवश्यकता होती है। प्रत्येक स्तंभ के लिए नहीं, बल्कि स्तंभों के समूहों के लिए अलग-अलग विभाजन बनाकर इस प्रभाव से बचा जा सकता है। यदि हम जानते हैं कि कुछ कॉलम अक्सर एक साथ और शायद ही कभी अलग-अलग होते हैं, तो हम इन कॉलमों को एक विभाजन में रखते हैं। फिर, इस तरह के विभाजन के अंदर, इन स्तंभों का डेटा पंक्तियों में संग्रहीत किया जा सकता है, जैसे कि यह एक सबटेबल था। इस संग्रहण विधि को हाइब्रिड कहा जाता है: तालिका में डेटा का हिस्सा स्तंभों में संग्रहीत किया जाता है, और उसी तालिका में डेटा का हिस्सा पंक्तियों में संग्रहीत किया जाता है।
उदाहरण (पहले की तुलना में भिन्न तालिका):


आइए बस एक आरक्षण करें कि "हाइब्रिड डेटा स्टोरेज" शब्द का उपयोग न केवल डेटा स्टोरेज की उपरोक्त विधि के लिए किया जा सकता है, बल्कि विभिन्न गति के डिस्क पर डेटा ब्लॉक को संग्रहीत करने के लिए भी किया जा सकता है, जिसका हमारे पास हैब्रहब पर एक अलग लेख था।

डिस्क स्थान सहेजें

हमने डेटा कम्प्रेशन की तुलना में विभाजन के बहिष्करण के बारे में थोड़ा और विस्तार से बात की। आइए हम उस पर ध्यान दें।

कॉलम द्वारा विभाजन का मतलब है कि एक व्यक्तिगत कॉलम के मूल्य एक दूसरे के बगल में हैं। यह डेटा संपीड़न के लिए बहुत सुविधाजनक है। उदाहरण के लिए, यदि किसी स्तंभ में थोड़ा भिन्न मान हैं, तो आप अक्सर उपयोग किए जाने वाले स्तंभ मानों का "शब्दकोश" बना सकते हैं और इसका उपयोग डेटा को संपीड़ित करने के लिए कर सकते हैं। इसके अलावा, एक कॉलम के लिए कई ऐसे शब्दकोश हो सकते हैं - अलग-अलग "कंटेनरों" के लिए अलग-अलग जिसमें कॉलम विभाजित होता है जब इसे डिस्क पर संग्रहीत किया जाता है (पंक्तियों में संग्रहीत डेटा ब्लॉक के साथ सादृश्य द्वारा)।

सुविधाजनक क्या है - टेराडाटा तालिका में लोड किए गए डेटा के आधार पर स्वचालित रूप से शब्दकोशों का चयन करता है, और यदि डेटा समय के साथ बदलता है, तो डेटा संपीड़न के लिए शब्दकोशों भी बदल जाता है।

शब्दकोशों के अलावा, अन्य डेटा संपीड़न विधियाँ हैं, जैसे रन लंबाई एन्कोडिंग, ट्रिम क्लिपिंग, नल संपीड़न, डेल्टा भंडारण, UTF8 में UNICODE। हम उनमें से प्रत्येक के विवरण में नहीं जाएंगे - हम केवल यह कहेंगे कि उन्हें एक ही डेटा के लिए व्यक्तिगत रूप से और एक-दूसरे के संयोजन में उपयोग किया जा सकता है। Teradata गतिशील रूप से स्तंभ के लिए संपीड़न तंत्र को बदल सकता है अगर यह सबसे अच्छा परिणाम पैदा करता है।

संपीड़न का उद्देश्य डेटा की मात्रा (गीगाबाइट में) को कम करना है जो तालिका डिस्क पर रहती है। यह आपको अधिक डेटा (तालिका में पंक्तियों की संख्या के संदर्भ में) को एक ही हार्डवेयर पर संग्रहीत करने की अनुमति देता है, साथ ही साथ तेज एसएसडी डिस्क पर अधिक डेटा, यदि कोई हो।

Columnar का उपयोग कब करें?

Teradata Columnar एक शानदार विशेषता है जो आपको क्वेरी प्रदर्शन को बढ़ाने और डेटा को संपीड़ित करने की अनुमति देता है। हालांकि, आपको इसे एक आदर्श समाधान नहीं मानना ​​चाहिए। कुछ विशेषताओं के साथ केवल संबंधित डेटा और SQL क्वेरी के लिए लाभ प्राप्त किया जाएगा। अन्य मामलों में, प्रभाव नकारात्मक भी हो सकता है - उदाहरण के लिए, जब सभी प्रश्न तालिका के सभी स्तंभों का उपयोग करते हैं और डेटा बहुत अच्छी तरह से संपीड़ित नहीं होता है।
स्तंभ संग्रहण के लिए अच्छे उम्मीदवार कई स्तंभ होते हैं, लेकिन प्रत्येक SQL क्वेरी अपेक्षाकृत कम संख्या में स्तंभों का उपयोग करती है। इस मामले में, अलग-अलग क्वेरीज़ अलग-अलग कॉलम का उपयोग कर सकते हैं, मुख्य बात यह है कि प्रत्येक व्यक्तिगत क्वेरी केवल कुछ ही कॉलम का उपयोग करती है। इन मामलों में, I / O संचालन की संख्या में उल्लेखनीय कमी और I / O प्रदर्शन में सुधार है।

डेटा डालते समय अलग-अलग कॉलमों में पंक्ति डेटा को विभाजित करना (सम्मिलित करना) और फिर डेटा का चयन करते समय "मूल्यों को इकट्ठा करना" पंक्तियों में वापस आ जाता है (चयन करें) - ये ऑपरेशन नियमित टेबल की तुलना में कॉलम टेबल के लिए अधिक सीपीयू की खपत करते हैं। इसलिए, यह ध्यान में रखा जाना चाहिए कि यदि सिस्टम में CPU संसाधनों (तथाकथित CPU- बाध्य सिस्टम) की भारी कमी है, तो Teradata Columnar को भी सावधानी के साथ उपयोग किया जाना चाहिए, क्योंकि यह CPU संसाधनों की कमी के कारण समग्र सिस्टम प्रदर्शन को कम कर सकता है।

स्तंभ तालिका के लिए आवश्यकताओं में से एक यह है कि डेटा को INSERT-SELECT के बड़े बैचों में तालिका में लोड किया गया है। इसका कारण यह है: यदि आप "लाइन द्वारा लाइन" डेटा सम्मिलित करते हैं, तो स्तंभ तालिकाओं के लिए यह बहुत असुविधाजनक है, क्योंकि एक एकल पंक्ति प्रविष्टि (एक I / O ऑपरेशन) के बजाय, जैसा कि यह एक नियमित तालिका के लिए होगा, आपको स्तंभ के मानों को अलग-अलग स्तंभों में अलग-अलग लिखना होगा - I / O संचालन की संख्या में अत्यधिक वृद्धि। हालाँकि, यह केवल एक पंक्ति सम्मिलित करने के लिए विशिष्ट है। यदि कई पंक्तियों को एक ही बार में डाला जाता है, तो एक ही मात्रा में डेटा को कॉलम में विभाजित करने और इन कॉलमों को कॉलम द्वारा वांछित विभाजन में लिखने के लिए बड़ी संख्या में पंक्तियों की रिकॉर्डिंग जटिलता में तुलनीय है।

उसी कारण से, UPDATE और DELETE ऑपरेशन कॉलम टेबलों में समय लेने वाली हैं, क्योंकि इन ऑपरेशनों को करने के लिए आपको अलग-अलग पार्टीशन सेक्शन में जाने की आवश्यकता होती है। हालांकि, श्रमसाध्य - इसका मतलब असंभव नहीं है। यदि इस तरह के परिवर्तनों की मात्रा अपेक्षाकृत कम है, तो ऐसे कार्यों के लिए टेराडाटा स्तम्भकार काफी उपयुक्त है।

स्तंभ तालिकाओं की एक अन्य विशेषता प्राथमिक सूचकांक की कमी है - एक स्तंभ, जो तेरादता प्रणाली में एएमपी द्वारा पंक्तियों के वितरण को सुनिश्चित करता है। Teradata में पंक्तियों को पुनः प्राप्त करने के लिए प्राथमिक इंडेक्स एक्सेस सबसे तेज़ तरीका है। स्तंभ तालिकाओं के लिए ऐसा कोई सूचकांक नहीं है, इसके बजाय नो-प्राइमरी इंडेक्स (नो-पीआई) तंत्र का उपयोग किया जाता है - जब डेटा को टेराडाटा द्वारा समान रूप से वितरित किया जाता है, लेकिन प्राथमिक इंडेक्स द्वारा इस डेटा तक पहुंचने की संभावना के बिना। इसका मतलब यह है कि स्तंभ तालिका का उपयोग उन तालिकाओं के लिए नहीं किया जाना चाहिए जिनका विशिष्ट उपयोग प्राथमिक सूचकांक का अर्थ है।

ये नियम असंदिग्ध नहीं हैं। प्रत्येक स्थिति का अलग से विश्लेषण किया जाना चाहिए। उदाहरण के लिए, आप प्राथमिक सूचकांक की कमी के प्रभाव को कम करने के लिए अतिरिक्त सूचकांक बना सकते हैं। या एक अन्य उदाहरण: आप पंक्ति-दर-पंक्ति प्रारूप में एक तालिका बना सकते हैं, और इसके शीर्ष पर कॉलम प्रारूप में एक सम्मिलित सूचकांक है (एक सम्मिलित सूचकांक Teradata में एक भौतिक दृश्य है, इसे कॉलम प्रारूप में भी संग्रहीत किया जा सकता है)। फिर बहुत से स्तंभों का उपयोग करने वाले क्वेरीज़ तालिका तक स्वयं पहुँच जाएँगे, और कुछ स्तंभों वाले क्वेरीज़ एक भौतिक दृश्य का उपयोग करेंगे।

क्या सुविधाजनक है - सभी तालिकाओं को स्तंभित घोषित करना आवश्यक नहीं है। स्तंभ स्वरूप में तालिकाओं का केवल एक भाग बनाया जा सकता है, और शेष तालिकाएँ पंक्ति स्वरूप में।
उपरोक्त सारांश - टेराडाटा स्तम्भकार का उपयोग उन तालिकाओं के लिए किया जाता है जिनमें निम्नलिखित गुण होते हैं:

• SQL क्वेरीज़ को टेबल कॉलम के अलग-अलग सेट पर चलाया जाता है
  या
  SQL क्वेरी को टेबल पंक्तियों के एक अलग सबसेट पर निष्पादित किया जाता है
  > सबसे अच्छा परिणाम जब दोनों है
• डेटा को बड़े INSERT-SELECTs के साथ लोड किया जा सकता है
• कोई या कुछ अपडेट / ऑपरेशन नहीं हटाएं

यदि आप निकट से देखते हैं, तो कई बहुत बड़ी टेबलें जो समय के साथ बढ़ती हैं, बस इन गुणों में हैं। क्या आप चाहते हैं कि वे कम डिस्क स्थान लें और उन्हें तेज़ी से क्वेरी करें? तब टेराडाटा स्तम्भकार की कार्यक्षमता पर ध्यान देने योग्य है।

शारीरिक मॉडलिंग करने वालों की मदद करने के लिए, यह निर्धारित करें कि कॉलम के प्रारूप में कौन सी तालिकाओं को बनाया जाना चाहिए या नहीं बनाया जाना चाहिए, एक विशेष उपकरण है - स्तंभ विश्लेषण विश्लेषण उपकरण। यह उपकरण SQL प्रश्नों द्वारा एक विशेष तालिका के उपयोग का विश्लेषण करता है और स्तंभ भंडारण प्रारूप की प्रयोज्यता पर सिफारिशें देता है। टेराडाटा 14 प्रलेखन में, बहुत सी उपयोगी जानकारी भी है।