Teradata - DBMS जन्म से समानांतर

प्रणाम, प्रिय ख़बरवचन। हाल ही में, टेराडाटा कंपनी का नाम विभिन्न मुद्दों में हैबे पर झिलमिलाने लगा। और, संभावित हित को देखते हुए, हमने पहले व्यक्ति में, टेराडाटा डीबीएमएस क्या है, इसके बारे में थोड़ा बताने का फैसला किया। हम सबसे दिलचस्प, हमारी राय में, डीबीएमएस की तकनीकी विशेषताओं और इसके साथ काम करने के बारे में लेखों की एक छोटी श्रृंखला तैयार करने की योजना बनाते हैं। यदि आपके पास Teradata के साथ अनुभव है या आपकी कंपनी में आपके प्लेटफ़ॉर्म का उपयोग किया गया है और आपके पास प्रश्न हैं, तो उन्हें पॉप अप करें और हम या तो टिप्पणियों में उनका जवाब देंगे या एक पूर्ण पूर्ण लेख तैयार करेंगे। चलो एक छोटी समीक्षा के साथ शुरू करते हैं। डेटिंग के लिए, इसलिए बोलने के लिए।

समानता

Teradata DBMS 1976 में बनाया गया था और इसकी नींव में रखी गई कई अवधारणाएँ आज भी प्रासंगिक हैं। टेराडाटा ने मेनफ्रेम आर्किटेक्चर से अलग एक डिज़ाइन लागू किया जो उस समय प्रमुख था। यह एक नेटवर्क में समानांतर कंप्यूटिंग मॉड्यूल के संयोजन का विचार था। इस वास्तुकला का एक अच्छा जोड़ प्रणालियों की लागत में महत्वपूर्ण कमी थी।
समानांतर प्रसंस्करण के विचार ने टेराडाटा को रैखिक रूप से प्रदर्शन, डेटा प्रोसेसिंग वॉल्यूम और उपयोगकर्ताओं की संख्या की क्षमता दी। "समानांतर प्रसंस्करण" क्या है?
शनिवार शाम को 10 बजे दो दोस्तों ने रात का खाना खाया और बीयर पी, जब उनमें से एक ने कहा कि उसके पास एक सौदा है और उसे छोड़ देना चाहिए। एक दोस्त के सवाल पर, यह मामला क्या था, उन्होंने जवाब दिया: "लॉन्ड्री"। एक मित्र इस बारे में आक्रोश में था: "मैं कैसे ... शाम को छोड़ सकता हूं ... धोने के लिए? .." जिसके लिए मुझे एक स्पष्टीकरण मिला: "अगर मैं कल धोने के लिए जाता हूं, तो मैं भाग्यशाली होगा यदि स्व-सेवा के कपड़े धोने के कमरे में 10 कारों में से एक मुफ्त है। मुझे 10 डाउनलोड के लिए कपड़े धोने की ज़रूरत है, और इसमें पूरे दिन लगेंगे। अगर मैं अभी जाता हूं, जब सभी आराम कर रहे हैं, तो मैं सभी वाशिंग मशीन का उपयोग कर सकता हूं और एक और डेढ़ घंटे में धोने को खत्म कर सकता हूं। ”
यह कहानी बताती है कि समानांतर प्रसंस्करण को क्या कहा जाता है। Teradata डाउनलोड, अभिलेखागार और समानांतर में डेटा संसाधित करता है। कॉन्फ़िगरेशन के आधार पर, Teradata आपको एक ही समय में सैकड़ों, हजारों ऑपरेशन करने की अनुमति देता है।

टेराडाटा वास्तुकला का तार्किक प्रतिनिधित्व

गाना बजानेवालों ने संगीत कार्यक्रम की तैयारी की थी। अचानक उसने रोका और गाना बजानेवालों को शब्दों से संबोधित किया “क्या मैंने आपको बताया कि कुछ साल पहले मैंने एक और गाना बजानेवालों को निर्देशित किया था, हमने उसी काम पर काम किया और उन्होंने वही गलती की जो अब आप कर रहे हैं? क्या आप जानते हैं कि यह गलती क्या है? "गाना बजाने वाले की एक आवाज ने जवाब दिया:" एक और एक ही नेता! "
कई भंडारण परियोजनाओं को आर्किटेक्चर पर लागू किया जाता है जो इसके लिए डिज़ाइन नहीं किए गए हैं। कई कंपनियां अक्सर ऐसी परियोजनाओं की विफलता पर आश्चर्यचकित होती हैं, हालांकि शुरुआत में उनके पास सफलता का कोई मौका नहीं था। कंपनी प्रबंधन को एक समझ की आवश्यकता है जो उन्हें उन निर्णय समर्थन प्रौद्योगिकियों को चुनने की अनुमति देगा जो व्यवसाय के पैमाने पर फिट होंगे।
नीचे दिए गए आरेख, टेराडाटा की तार्किक वास्तुकला है।



चित्र में दिखाए गए घटकों का मुख्य उद्देश्य:
पीई - पार्सिंग इंजन, सत्र की निगरानी और उपयोगकर्ता के अनुरोधों को संसाधित करने के लिए जिम्मेदार है;
एएमपी - एक्सेस मॉड्यूल प्रोसेसर, इसके संबंधित ड्राइव से डेटा निकालने के लिए जिम्मेदार है;
BYNET - सिस्टम घटकों के बीच एक संदेश वातावरण।
Teradata MPP (Eng। बड़े पैमाने पर समानांतर प्रसंस्करण) नामक प्रणालियों के एक वर्ग से संबंधित है, और इसमें एक साझा कुछ भी नहीं आर्किटेक्चर है, जिसमें सिस्टम के व्यक्तिगत नोड संसाधनों को साझा नहीं करते हैं। और DBMS अपने आप में संबंधपरक है।
शीर्ष स्तर पर, Teradata में क्वेरी निष्पादन प्रक्रिया इस प्रकार है:

• टेराडाटा प्रणाली से जुड़ने वाला उपयोगकर्ता पार्सिंग इंजन (पीई) के साथ संबंध स्थापित करता है। एक बार कनेक्शन स्थापित होने के बाद, यह SQL क्वेरी को निष्पादित कर सकता है।
• पीई प्राप्त SQL क्वेरी के सिंटैक्स की जांच करता है, उपयोगकर्ता की एक्सेस की जानकारी का अधिकार है, और एक्सेस मॉड्यूल प्रोसेसर (एएमपी) घटक द्वारा निष्पादन के लिए एक क्वेरी निष्पादन योजना बनाता है।
• BYNET के माध्यम से पीई निष्पादन के लिए योजना AMP'am के चरणों को निर्देशित करता है।
• AMP अपने संबंधित डिस्क से आवश्यक जानकारी निकालते हैं और इसे BYNET के माध्यम से PE पर लौटाते हैं। AMP समानांतर में अपना काम करते हैं।
• पीई उपयोगकर्ता को परिणाम देता है।

पीई और एएमपी शब्द VPROC, या वर्चुअल प्रोसेसर द्वारा संयुक्त हैं।

यथासंभव कुशलता से संसाधित किए जाने वाले अनुरोधों के लिए, डेटा को एएमपी के बीच समान रूप से वितरित किया जाना चाहिए। अपवाद हैं, लेकिन हम निम्नलिखित लेखों में से एक में उनके बारे में बात करेंगे। प्राथमिक सूचकांक तालिका में शामिल क्षेत्रों के प्रसंस्करण के लिए डेटा अपने स्वयं के हैश-एल्गोरिथ्म के आधार पर वितरित किया जाता है। इसके अलावा, हैशिंग एल्गोरिथ्म लागू किया जाता है ताकि हैश मूल्य के आधार पर, आप एएमपी संख्या को समझ सकें, जिस पर लाइन स्थित है। मुख्य लक्ष्य के अलावा, यह मूल्य के आधार पर खोजों को भी तेज करता है।


इस प्रकार, एएमपी वर्कहॉर्स हैं जो अपने डेटा के टुकड़े के लिए जिम्मेदार हैं। लेकिन अक्सर ऐसे कार्य होते हैं जब अनुरोध को पूरा करने के लिए डेटा को पुनर्वितरित करना आवश्यक होता है। एक उदाहरण दो तालिकाओं का जुड़ना है जो विभिन्न कुंजियों में वितरित की जाती हैं। तब BYNET में आता है। BYNET सिस्टम के घटकों के बीच संचार के लिए जिम्मेदार है, जिसमें AMPs के बीच डेटा का हस्तांतरण भी शामिल है। यह नोड्स के बीच आश्चर्यजनक गति हस्तांतरण डेटा सरणियों के साथ हो सकता है। यह अनुमान लगाना कठिन नहीं है कि BYNET पर किस तरह का भार पड़ता है। इसलिए, प्रौद्योगिकी के संस्थापक पिताओं ने इसमें अच्छी संभावनाएँ रखीं और अपनी जानकारी बनाई। वेयरहाउस उपकरण प्लेटफार्मों पर, इस घटक को ईथरनेट पर सॉफ्टवेयर लागू किया जा सकता है। अधिक गंभीर प्लेटफार्मों पर, एक्टिव एंटरप्राइज डेटा वेयरहाउस एक अलग हार्डवेयर मॉड्यूल है क्योंकि ईथरनेट ऐसे संस्करणों के साथ अब कुशल नहीं है।
ग्राहकों का सामना पीई - पार्सिंग इंजन है। यह एक घटक (या बल्कि, घटकों का एक सेट) है, जिसके कार्यों में आने वाले अनुरोधों का प्रारंभिक प्रसंस्करण, निष्पादन नियंत्रण और प्रतिक्रियाएं शामिल हैं। इसमें 3 मॉड्यूल होते हैं: पार्सर, ऑप्टिमाइज़र, डिस्पैचर।
जैसा कि आप अनुमान लगा सकते हैं, पार्सर अनुरोध को पार्स करने, एक्सेस अधिकारों और अन्य अर्थ नियंत्रण की जांच करने के लिए जिम्मेदार है। आशावादी अनुरोध को निष्पादित करने के लिए संभावित विकल्पों का मूल्यांकन करता है और सबसे प्रभावी का चयन करता है। अफवाह यह है कि ऑप्टिमाइज़र कोड 1 मिलियन से अधिक लाइनों पर कब्जा कर लेता है, और कहीं-कहीं रैंचो बर्नार्डो क्षेत्र में ऐसे लोगों का एक समूह है जो कुछ भी नहीं करते हैं, लेकिन संस्करण से संस्करण में ऑप्टिमाइज़र तर्क में सुधार करते हैं। और हां, कोई यह नहीं कह सकता कि तेरदत में कोई संकेत नहीं हैं। इसलिए, यदि डेवलपर का मानना ​​है कि उसकी योजना उस एक से बेहतर है जिसे ऑप्टिमाइज़र ने निर्धारित किया है, तो यह अभी भी साबित करना होगा, और न केवल पोर्ट पर "बंदूक" डालें और कहें: " + use_hash "। और, जैसा कि अभ्यास से पता चलता है, आशावादी सही है।
और डिस्पैचर चयनित योजना को चरणों में तोड़ने और उनके कार्यान्वयन के अनुक्रम / समानांतरता को नियंत्रित करने के लिए जिम्मेदार है, बीवाईनेट के माध्यम से एएमपी को निर्देश दे रहा है।

तो संक्षेप में, तार्किक रूप से, सिस्टम का संचालन कुछ इस तरह दिखता है। निम्नलिखित पोस्ट में, हमने DBMS में आँकड़ों के साथ काम करने की विशेषताओं के बारे में बताने के बारे में सोचा, हो सकता है कि हम भौतिक मॉडलिंग के मुद्दों को छू सकें और स्वचालित लोड संतुलन के लिए साधनों के बारे में बात कर सकें। संभावित रोचक विषयों के बारे में आप क्या कहते हैं?