Oracle डेटाबेस डेटा क्लस्टरिंग तालिका के बाहर

समस्याओं

बड़ी सूचना प्रणाली को विभिन्न सूचनाओं के निरंतर प्रवाह की विशेषता होती है, जो संचित, गणना और संग्रहीत होती है। हम ओरेकल आरडीबीएमएस सर्वर पर संग्रहीत संरचित डेटा के विकल्प पर विचार करेंगे और एक उदाहरण के रूप में एक टेलीकॉम ऑपरेटर के ग्राहकों के लिए सीडीआर रिकॉर्ड (यानी कॉल रिकॉर्ड) युक्त तालिका लेंगे।
कॉल डेटा अनियमित रूप से प्राप्त होता है, अर्थात आदेश नहीं दिया, जैसा कि आप जानते हैं, ग्राहकों की विशेषताओं के अनुसार। सभी डेटा का अपना जीवन चक्र है - परिचालन, प्रासंगिक और संग्रहीत। समय के साथ, कॉल की आवृत्ति और डेटा एक्सेस स्पीड परिवर्तन (यानी गिरावट) की आवश्यकताएं। इस प्रकार एक साल पुराने रिकॉर्ड धीमी डिस्क पर संग्रहीत किए जा सकते हैं, एक उच्च पहुंच गति वाले डिस्क पर सक्रिय हैं और लेखन कार्यों के प्रदर्शन पर दावों के बिना, लेकिन नए डेटा में आमतौर पर उच्चतम लिखने और पढ़ने की गति की आवश्यकता होती है।

क्लस्टर तालिका में डेटा संग्रहीत करने के विकल्प पर विचार करें

डेटा को एक सामान्य आधार पर समेकित किया जाता है। आप ग्राहक की पहचानकर्ता के आधार पर निर्मित क्लस्टर में एक या एक से अधिक तालिकाओं को रख सकते हैं, और एक पहचानकर्ता द्वारा डेटा तक पहुँचने पर, इस ग्राहक के सभी डेटा को उसी स्थान पर संग्रहीत किया जाएगा जो क्लस्टर चंक के आकार के बराबर है। यानी यदि सभी डेटा को 2 डेटाबेस में डाला जाता है जो कि 2 डेटाबेस ब्लॉक में स्थित हैं, तो निर्दिष्ट उपयोगकर्ता के लिए डेटा की 100 पंक्तियाँ प्राप्त करने के लिए, यह केवल 2 डेटाबेस ब्लॉक को घटाने के लिए पर्याप्त होगा। यदि तालिका के अनुसार डेटा फैलाया गया था, तो हम समान 100 पंक्तियों को प्राप्त करने के लिए 100 डेटाबेस ब्लॉक पढ़ सकते हैं। डेटा एक्सेस स्तर पर लाभ स्पष्ट है।
निम्नलिखित विशेषताओं को क्लस्टर भंडारण के लिए जिम्मेदार ठहराया जा सकता है:

• डेटा को एक सामान्य आधार पर समेकित किया जाता है।
• क्लस्टर कुंजी द्वारा एक्सेस करते समय डिस्क IO को कम से कम किया जाता है।
• जब एक साथ तालिकाओं को संग्रहीत करते समय क्लस्टर कुंजी के साथ शामिल होने पर डिस्क IO को कम से कम किया जाता है।
• इसे भरने के दौरान उच्च डिस्क IO द्वारा विशेषता है।
• समानांतर डीएमएल के साथ बहुत अनुकूल नहीं है - उच्च स्तर की क्रमिकता।

एक नियमित तालिका में डेटा संग्रहीत करने के विकल्प पर विचार करें

• डेटा आमतौर पर प्राप्त आदेश में संग्रहीत किया जाता है।
• उच्च भरने की गति विशेषता है।
• समानांतर DML के अनुकूल।
• जैसे-जैसे डेटा की मात्रा बढ़ती है, सूचकांकों के कारण सम्मिलन दर में गिरावट शुरू हो सकती है।
• अत्यधिक चयनात्मक नमूने (सूचकांक द्वारा) के साथ, एक उच्च डिस्कियो मनाया जाता है।

डेटा संगठन की आवश्यकताएँ

सामान्य तौर पर, ग्राहक डेटा के सही संगठन से निम्नलिखित विशेषताओं की अपेक्षा करता है:

• विशेष रूप से उच्च गति डीएमएल और सम्मिलन।
• उच्च नमूना दर।
• अच्छा स्केलेबिलिटी।
• प्रशासन करने में आसान।

डेटा विभाजन

स्टोरेज दक्षता बढ़ाने का एक तरीका ओरेकल पार्टिशनिंग ऑप्शन का उपयोग करना है।

• लंबाई में ब्रेकडाउन (प्रविष्टि प्रदर्शन में गिरावट का समय)।
• चौड़ाई में टूटने (स्केलेबिलिटी में वृद्धि)।
• प्रत्येक खंड को व्यक्तिगत रूप से प्रबंधित करने की क्षमता।
• उच्च दक्षता खंडित वस्तुओं पर समानांतर संचालन।

उदाहरण के लिए, जब चौड़ाई में खंडों को तोड़ते हैं, तो इस ऑब्जेक्ट पर प्रतिस्पर्धी डीएमएल संचालन की संख्या में वृद्धि के साथ एक नियमित तालिका की तुलना में सूचकांक खंडों की अपेक्षा कम हो जाती है।

मान लें कि दो EQ तालिकाओं को हैश (N) द्वारा कुछ पहचानकर्ता द्वारा खंडित किया गया है। EQ विभाजन के दौरान, इस पहचानकर्ता के साथ ऑपरेशन में शामिल हों, एक HASH JOIN ऑपरेशन टेबल स्तर पर नहीं, बल्कि समान हैश मान वाले वर्गों के स्तर पर किया जाएगा। यह किसी दिए गए डेटा पर निर्दिष्ट ऑपरेशन करने के लिए आवश्यक समय को काफी कम कर देगा।

मैं डेटा एक्सेस में क्लस्टर दक्षता के साथ विभाजन सारणी को भी समाप्त करना चाहूंगा ...

डेटा क्लस्टरिंग

क्लस्टर दक्षता के साथ डेटा देने के लिए एक तालिका प्राप्त करने का सबसे अच्छा तरीका है कि इसे उसी तरह व्यवस्थित करें जैसे कि क्लस्टर में।
कल्पना करें कि आपके पास जो डेटा है, वह रसीद की तारीख (प्रति अवधि एक खंड) और ग्राहक पहचानकर्ता द्वारा चौड़ाई में विभाजित है। सभी सूचकांक स्थानीय हैं। डेटा क्रमिक रूप से (तिथि द्वारा) प्राप्त होता है और यादृच्छिक रूप से सब्सक्राइबर आईडी द्वारा प्राप्त किया जाता है।
मुख्य खंड आपको अवधि के अनुरोधों के लिए विभाजन Pruning का उपयोग करने की अनुमति देता है और इसमें केवल वे खंड शामिल होते हैं जिनमें निर्दिष्ट अवधि के लिए डेटा होता है, और ग्राहक आईडी से अतिरिक्त हैश विभाजन आपको केवल उन अनुभागों का चयन करने की अनुमति देता है जिनमें निर्दिष्ट ग्राहक के लिए डेटा होता है। लेकिन तब डेटा अनुभाग में फैल जाता है और प्राप्त करने के लिए, उदाहरण के लिए, प्रति दिन प्रति ग्राहक 100 रिकॉर्ड, हम 100 डिस्क रीड ऑपरेशन करेंगे।
हालांकि, एक "ब्यूट" है: दिन बीत चुका है और कल के लिए डेटा अभी भी आ सकता है, लेकिन कल के पहले दिन के लिए यह पहले से ही संभावना नहीं है। इस प्रकार, आप यह कर सकते हैं:

• हमारे सेगमेंट टेबल के समान फ़ील्ड के साथ एक टेबल बनाएं, हमारी टेबल पर समान हैश सेगमेंट सिद्धांत के साथ तालिका:

  create table TBL1 as select * from table %TBL% partition(P1) order by subscriber_id, record_date... 

  , जहां पी 1 कल से पहले दिन के लिए अनुभाग है।
• तालिका अनुभाग पर समान अनुक्रमणिका बनाएँ।
• एक ऑपरेशन करें

   alter table %TBL% exchange partition P1 with table TBL1 

  और अनुभाग को उसी डेटा वाले तालिका से बदलें, लेकिन एक क्रम में (aka: clustered by Subsber_id) फ़ॉर्म।

PS> आप dbms_redefinition पैकेज का उपयोग करके इस प्रक्रिया को स्वचालित कर सकते हैं।

ऐसा लगता है कि सब कुछ सरल दिखता है, लेकिन आप क्या पूछते हैं, प्रभाव?
अगला, हम चार मामलों पर विचार करते हैं:

• डेटा का पुनर्गठन नहीं किया गया है।
• उत्पादित पुन: अनुक्रमित अनुक्रमित।
• पुनर्गठित किया।
• डेटा संपीड़न के साथ पुनर्गठित।

उच्च फिशिकल IO क्लस्टरिंग

इसलिए, यदि आप एक साथ लगभग सौ प्रक्रियाएँ शुरू करते हैं, निर्दिष्ट अवधि के लिए यादृच्छिक ग्राहक पहचानकर्ताओं द्वारा डेटा तक पहुँचना, तो एक प्रक्रिया की औसत उत्पादकता - डेटा के संगठन के आधार पर - निम्नानुसार भिन्न होगी:



यानी हमने डिस्क IO पर एक खंड की अवधि के लिए प्रति ग्राहक लगभग 13-19 रिकॉर्ड की विशेषताओं के साथ डेटा के लिए परिमाण के क्रम में वृद्धि हासिल की।
नीचे I / O उम्मीदों और प्रतिक्रिया समय पर डेटा है:

उच्च तार्किक IO क्लस्टरिंग

अब कल्पना करें कि हम डेटा को एक्सेस कर रहे हैं जो ओरेकल सर्वर की मेमोरी में स्थित है, और डिस्क से नहीं पढ़ा जाता है। ऐसे संगठन में लाभ क्या होगा (और होगा) जब केवल तार्किक आईओ का उपयोग किया जाता है।

प्रक्रिया प्रदर्शन (प्रति सेकंड /):



अतिरिक्त समय:



और प्रतिक्रिया समय:



जैसा कि हम देख सकते हैं, वृद्धि Phisical IO की तुलना में कम है, लेकिन वैसे भी, वृद्धि कई बार होती है।

डेटा वॉल्यूम प्रबंधन

यहां तक ​​कि एक नियमित पुनर्निर्माण सूचकांक का संचालन इसके आकार को कम करता है। डेटा पुनर्गठन के साथ-साथ संपीड़न के उपयोग के दौरान डिस्क स्थान की मात्रा का क्या होगा?

संपीड़न (संपीड़न) का प्रभाव:

निष्कर्ष

डेटा पुनर्गठन के माध्यम से एक विशेष सूचना प्रणाली की डेटा संरचना की बारीकियों को देखते हुए, इसे प्राप्त करना संभव है:

• व्यक्तिगत संचालन के प्रदर्शन में सुधार।
• मुक्त संसाधन के कारण पूरे सिस्टम के प्रदर्शन में सुधार।
• खपत संसाधनों की मात्रा में कमी, अर्थात्। समाधान की लागत पर पैसे की बचत।
• ...

PS> ऐसा लग सकता है कि बड़ी मात्रा में डेटा का पुनर्गठन एक बहुत महंगा ऑपरेशन है। यह, ज़ाहिर है, हाँ, लेकिन अंत में, I / O संचालन की मात्रा कम हो सकती है। एक उदाहरण के रूप में ग्राहक डेटा का उपयोग करते हुए, मैं कह सकता हूं कि केवल एक स्वयं सेवा प्रणाली (जो एक मेज पर आधे से भी कम लोड है) द्वारा इस तरह से पुनर्गठित की गई तालिका तक पहुँचने के एक घंटे से भी कम समय में इस तालिका में अपने सभी वर्गों के आकार से बड़ा एक इनपुट / आउटपुट वॉल्यूम बनाया। तो खेल मोमबत्ती के लायक हो सकता है, हालांकि यह डीबीए के लिए अतिरिक्त काम बनाता है।