👶🏾 💩 👩🏻‍🔬 OLAP में माध्यिका को ओवरक्लॉक करना 🔚 🍟 🧔

यह पोस्ट उन लोगों के लिए है, जिन्होंने ओएलएपी क्यूब में माध्यिका की गणना करते समय एक प्रदर्शन समस्या का सामना किया है।
OLAP तकनीक के मुख्य लाभों में से एक डेटाबेस तक पहुँचने के दौरान परिणाम प्राप्त करने की गति है। गणना मक्खी पर होती है। हालांकि, माध्यिका के साथ, यह इतना सरल नहीं है।
संदर्भ के लिए: माध्यिका एक मध्यम दृश्य है। यह एक मान है जो आरोही क्रम में क्रमबद्ध मानों की एक श्रृंखला के बीच में है। उदाहरण के लिए, कई मूल्यों {1, 2, 5, 6, 9} के लिए, माध्य 5 है।

Microsoft के OLAP सर्वर के उदाहरण पर स्थिति पर विचार करें - SSAS 2008 (SQL सर्वर विश्लेषण सेवाएँ)।
SSAS मंझले की गणना करने के लिए MDX मेडियन फ़ंक्शन का उपयोग करने का सुझाव देता है। इसके साथ, आप एक परिकलित सदस्य बना सकते हैं और गणना में उसका उपयोग कर सकते हैं।

विभिन्न स्रोतों से प्राप्त श्रम बाजार में रिक्तियों पर डेटा का विश्लेषण करने के लिए हमें OLAP क्यूब डिजाइन करने के कार्य का सामना करना पड़ा। रिक्तियों की कुल संख्या लगभग 10 मिलियन थी। हमने मेडियन फ़ंक्शन का उपयोग करके मजदूरी के औसत स्तर को निर्धारित करने के लिए एक मंझला लागू किया। क्यूब के साथ काम करने पर कोई गणना "मक्खी पर" नहीं हुई। हालांकि, अन्य एकत्रीकरण, उदाहरण के लिए, रिक्तियों की संख्या को जल्दी से माना जाता था।
समस्या यह है कि मात्रा या राशि के रूप में इस तरह के एकत्रीकरण "एकत्रित" हैं - क्यूब को अपडेट करते समय, उनकी गणना पहले से की जाती है, और जब डेटा का अनुरोध किया जाता है, तो सर्वर तैयार परिणाम देता है। माध्यिका के मामले में, सर्वर अग्रिम में अपने मूल्यों की गणना नहीं करता है, लेकिन क्यूब तक पहुंचने पर हर बार इसकी गणना करता है।

एक नमूना रिपोर्ट पर विचार करें:

2011 में विशेषता "डेवलपर 1 सी" के लिए, 8,354 रिक्तियां पाई गईं। इस विशेषता के लिए औसत वेतन की गणना करने के लिए, सर्वर को निम्नलिखित संचालन करने की आवश्यकता है: रिपोर्ट के इस सेल से संबंधित सभी मानों का चयन करें, उन्हें वेतन के मूल्य के आधार पर छाँटें, मानों की एक श्रृंखला के मध्य में स्थित मान का निर्धारण करें (टपल)। और इसलिए प्रत्येक कोशिका के लिए। इसलिए, रिपोर्ट निष्पादन समय बहुत बढ़ जाता है। एक ही समय में मुख्य समय छांटने के लिए बिल्कुल सही होता है।

निर्णय

माध्य की गणना के लिए मूल्यों का चयन डेटा वेयरहाउस तथ्य तालिका से किया जाता है, जिसके आधार पर OLAP क्यूब बनाया गया था। क्या होगा अगर हम मान लेते हैं कि वेतन मान से तथ्य तालिका को पहले ही हल कर लिया जाएगा। फिर हमें प्रत्येक सेल के लिए मानों को क्रमबद्ध करने की आवश्यकता नहीं है। आपको प्रत्येक सेल के लिए तत्वों की संख्या निर्धारित करने और तत्व की संख्या की गणना करने की आवश्यकता है, जो पंक्ति के मध्य में स्थित है। इस तत्व का मूल्य औसत दर्जे का होगा।

गणना सदस्य बनाने के लिए कोड:

//    CREATE MEMBER CURRENTCUBE.[measures].[AdvCount] AS Count(NonEmpty([Advertisement].[ID].members,[Measures].[Salary]) as AdvSet), VISIBLE = 0 ; //     CREATE MEMBER CURRENTCUBE.[Measures].[MedianReal] AS ([measures].[AdvCount]-1) * 50 / 100, VISIBLE = 0; CREATE MEMBER CURRENTCUBE.[Measures].[MedianInt] AS Int([Measures].[MedianReal]), VISIBLE = 0; CREATE MEMBER CURRENTCUBE.[Measures].[MedianFrac] AS [Measures].[MedianReal]- [Measures].[MedianInt], VISIBLE = 0; //  CREATE MEMBER CURRENTCUBE.[Measures].[MedianLow] AS (NonEmpty([Advertisement].[ID].members,[Measures].[Salary]).Item([Measures].[MedianInt]).Item(0),[Measures].[Salary]), VISIBLE = 0; CREATE MEMBER CURRENTCUBE.[Measures].[MedianHigh] AS (NonEmpty([Advertisement].[ID].members,[Measures].[Salary]).Item([Measures].[MedianInt] + 1).Item(0),[Measures].[Salary]), VISIBLE = 0; CREATE MEMBER CURRENTCUBE.[Measures].[Salary Median] AS ([Measures].[MedianLow] * [Measures].[MedianFrac]) +([Measures].[MedianHigh] * (1 - [Measures].[MedianFrac])), FORMAT_STRING = "# ### ### ##0;-# ### ### ##0", VISIBLE = 1 , ASSOCIATED_MEASURE_GROUP = 'Advertisement';

यह कोड उस स्थिति को ध्यान में रखता है जब टपल में तत्वों की एक समान संख्या होती है। इस मामले में, माध्यिका की गणना श्रृंखला के मध्य में स्थित दो मूल्यों के अंकगणितीय माध्य के रूप में की जाती है। यदि आपके कार्य के लिए पूर्ण सटीकता की आवश्यकता नहीं है, तो इस मामले में आप एक मध्यस्थ के रूप में बाएं या दाएं मूल्य पर विचार कर सकते हैं। ऐसा करने के लिए, आपको उपरोक्त कोड को थोड़ा संशोधित करना होगा, लेकिन इससे गणना समय कम हो जाएगा।

अब तथ्य तालिका को पहले से कैसे छाँटा जाए, इसके बारे में। मान लीजिए कि आपके पास एक मूल तथ्य तालिका है, जिसमें डेटा समय के साथ जमा होता है। इस तालिका की एक प्रतिलिपि बनाएँ और आवश्यक मूल्य द्वारा क्रमबद्ध मूल तालिका से डेटा डालें।

नमूना SQL क्वेरी:

 INSERT INTO CopyBasicTable SELECT * FROM BasicTable ORDER BY ValueField

OLAP क्यूब को अपडेट करने से पहले यह ऑपरेशन हर बार करना होगा। बेशक, इस पद्धति में एक गंभीर माइनस है - बड़ी मात्रा में डेटा के साथ, ऑपरेशन का समय महत्वपूर्ण होगा। हालांकि, अपेक्षाकृत छोटे संस्करणों के लिए, यह विधि काफी उपयुक्त है। इसी तरह से, आप प्रतिशत और चतुर्थक की गणना कर सकते हैं।

OLAP में माध्यिका को ओवरक्लॉक करना

निर्णय

More articles: