सरल बीआई समाधान का निर्माण करते समय शुरुआती लोगों के लिए 6 व्यावहारिक सुझाव

यह आलेख लगभग संपूर्ण Microsoft BI स्टैक का उपयोग करके BI समाधान बनाने की प्रक्रिया में चरणों को दिखाना और कुछ अनुशंसाएँ प्रदान करना चाहेगा। BI समाधान बनाने में SQL सर्वर, SQL सेवा एकीकरण सेवाएँ, SQL सर्वर विश्लेषण सेवा का उपयोग किया जाएगा।

उदाहरण के लिए, हमने अपनी कंपनी रिटेलआईक्यू के विकास को चुना - फार्मेसियों के एक नेटवर्क के लिए खुदरा बिक्री प्राप्तियों, डिलीवरी और स्टॉक का गहन विश्लेषण। विषय के संदर्भ की सामान्य समझ के लिए: सभी डेटा को लेखा प्रणालियों (1 सी, एम-फार्मेसी, आदि) से डाउनलोड किया जाता है, सत्यापित किया जाता है, जो बहुआयामी ओएलएपी क्यूब्स के बाद के निर्माण के साथ एक विशेष डेटाबेस में जोड़ा जाता है। ईटीएल का उपयोग करते हुए स्रोतों (लेखा प्रणालियों) का उपयोग करते हुए , हम डेटा को भंडारण में स्थानांतरित करते हैं, जिसके आधार पर हम एक क्यूब का निर्माण करते हैं, जिस पर बाद में चर्चा की जाएगी।

डेटा मानचित्रण

डेटा शोकेस का निर्माण सबसे महत्वपूर्ण कदम है, क्योंकि प्रदर्शित डेटा की शुद्धता और एसएसएएस क्यूब के प्रसंस्करण समय डेटा शोकेस पर निर्भर करते हैं।

इस चरण में, यह तय किया जाता है कि किस डेटा को प्रदर्शित किया जाना चाहिए (शेष, बिक्री, आदि) और किन वर्गों में (उदाहरण के लिए, उत्पाद, दिनांक, कर्मचारी, शाखा)।

डेटा स्रोत निर्धारित किए जाते हैं जिनसे डेटा प्राप्त किया जा सकता है (फाइलें, वेब सेवाएं, अन्य डेटाबेस)। अखंडता बनाए रखने के लिए प्राप्त आंकड़ों में क्या परिवर्तन किए जाने की आवश्यकता है।

एक डेटा शोकेस भी तैयार किया जा रहा है - एक रिलेशनल डेटाबेस जिसमें असमान स्रोतों से डेटा विलय होगा। डेटा शोकेस बनाने के लिए, आप दो डेटा स्टोरेज स्कीमों का उपयोग कर सकते हैं: एक स्टार स्कीम और एक स्नोफ्लेक । इस लेख में दोनों योजनाओं का वर्णन है। किसी विशेष मामले में आवेदन करने की योजना काफी हद तक डेटा पर निर्भर है। हालांकि, हम आम तौर पर एक हिमपात का एक खंड योजना का उपयोग करते हैं, चूंकि, हमारी राय में, यह हमें डेटा हेरफेर को सरल बनाने की अनुमति देता है।

टिप # 1 क्यूब के लिए स्रोत दृश्य होने चाहिए

हमारी राय में, एक OLAP क्यूब के लिए स्रोत, अभ्यावेदन के रूप में सबसे अच्छा किया जाता है, बजाय सीधे एक तालिका में बांधने के। यह आपको OLAP क्यूब को बदले बिना स्रोत में कोई भी बदलाव करने की अनुमति देगा। इसके अलावा, हमारी राय में, डेटा स्रोत दृश्य में ही अनुरोध नहीं करना सबसे अच्छा है, क्योंकि एसएसएएस परियोजना के डीएसवी में बदलाव करना समस्याग्रस्त है।

ETL बनाएं

ईटीएल विशिष्ट व्यावसायिक नियमों के अनुसार डेटा को स्थानांतरित करने और बदलने की प्रक्रिया है। इस कदम के लिए, हमारे पास कई सिफारिशें हैं।

टिप # 2 लाइन एनए

"कोई डेटा नहीं" (एनए) तत्व आयाम तालिकाओं में जोड़े जाते हैं। वे डेटा के लिए एक बंधन के रूप में काम करेंगे जिसके लिए स्रोतों में तथ्य तालिकाओं में कोई बंधन नहीं है। उदाहरण के लिए, यदि हमारे पास ऐसे उत्पाद की बिक्री है जो निर्धारित नहीं की जा सकती है, तो हम इसकी कुंजी के साथ NA जोड़ देंगे। यदि किसी आयाम में अन्य तालिकाओं के लिए बाइंडिंग है, तो उन तालिकाओं में NA तत्वों को परिभाषित करना और आयाम के NA तत्व में इन अभिलेखों के लिए एक बंधन निर्दिष्ट करना भी आवश्यक है।

उदाहरण के लिए, मान लें कि हमारे पास एक कार तालिका है जिसमें CarType और CarMark तालिकाओं के बाइंडिंग हैं। हम ऐसा कुछ करते हैं:

INSERT INTO CarType (ID, Name) VALUES (0, 'NA') INSERT INTO CarMark (ID, Name) VALUES (0, 'NA') INSERT INTO Car (ID, Name, CarTypeID, CarMarkID) VALUES(0, 'NA', 0, 0) 

टिप # 3 सरोगेट कुंजी

हम सरोगेट कुंजी उत्पन्न करने की सलाह देते हैं, भले ही स्रोत में कोई प्राथमिक कुंजी हो। "मूल कुंजी" नाम के साथ माप तालिका के एक अलग सेल में स्रोत की प्राथमिक कुंजी लिखना बेहतर है। हमें क्या मिलता है:

• हम NA तत्व को निर्धारित कर सकते हैं
• विभिन्न स्रोतों से प्राथमिक कुंजियाँ मेल खा सकती हैं
• हमें अपने डेटाबेस में प्राथमिक कुंजी का प्रारूप चुनने की स्वतंत्रता है (उदाहरण के लिए, हम दिशानिर्देशों का उपयोग कर सकते हैं, भले ही INT का उपयोग स्रोतों में किया गया हो)।

टिप # 4 एक ईटीएल पैकेज में एनए मान सेट करना

यदि तथ्यों के स्रोत में कारिड और कर्मचारी कोशिकाओं के मूल्यों में NULL, या डेटा है जो हमारे माप में नहीं है, तो हम निम्नलिखित परिवर्तन का उपयोग करते हैं:



दोनों लुकअप में, फ़ील्ड "निर्दिष्ट करें कि कोई मिलान प्रविष्टियों के साथ पंक्तियों को कैसे संभालना है" "विफलता को अनदेखा करें" पर सेट है। इस प्रकार, अज्ञात कुंजी NULL होगी। "सेट एनए टू डाइमेंशन" तत्व में, NULL को प्रत्येक आयाम के लिए NA मान द्वारा प्रतिस्थापित किया जाता है।

टिप # 5 दस्तावेज़ ईटीएल

पैकेज के पूरा होने पर, .xls फ़ाइल बनाएँ, जो हमारे ETL पैकेज के प्रलेखन के रूप में काम करेगी।



इस तालिका से, आप आसानी से निर्धारित कर सकते हैं कि डेटा कहाँ और कहाँ से "बहता" है।

एक घन बनाएँ

क्यूब हमारे काम का अंतिम बिंदु है। इसे बनाने के लिए, हमारे पास स्टोर में कई युक्तियां भी हैं।
दिनांक और समय को अलग-अलग आयामों में विभाजित किया जाना चाहिए।

आमतौर पर, SSAS का उपयोग करके बनाए गए OLAP क्यूब्स उन आयामों के साथ बहुत अच्छी तरह से काम नहीं करते हैं जिनमें बड़ी संख्या में रिकॉर्ड होते हैं। हमारी राय में, उन मामलों से बचना सबसे अच्छा है जहां तारीख और समय एक ही आयाम में हैं। मान लीजिए कि हम एक तिथि-समय आयाम बनाना चाहते हैं जो दूसरे के लिए सटीक होगा। 10 वर्षों में इस आयाम के रिकॉर्ड इस प्रकार होंगे: 10 साल * 365 दिन * 24 घंटे * 60 मिनट * 60 सेकंड = 315,360,000 60 315 मिलियन रिकॉर्ड।

विश्लेषणात्मक डेटाबेस में एक सेकंड तक की सटीकता की आवश्यकता नहीं होती है, क्योंकि क्यूब के कार्य परिचालन ठिकानों की तुलना में भिन्न होते हैं, लेकिन अगर आपको अभी भी क्यूब में समय जोड़ने की आवश्यकता है, तो यह एक अलग आयाम में करना बेहतर है।

टिप # 6 समान तत्वों के साथ पदानुक्रम बनाना

मान लीजिए कि पदानुक्रम बनाने का हमारा काम है: कार का प्रकार-> कार बनाना-> कार का नाम फॉर्म की तालिका से:

CarID	नाम	CarTypeID	CarType	CarMarkID	CarMark
1	मर्सिडीज-बेंज एफ 800 स्टाइल	1	खेल	1	मर्सिडीज
2	स्मार्ट	2	microcar	1	मर्सिडीज

इस मामले में CarID आयाम की कुंजी होगी, और CarTypeID और CarMarkID आयाम की विशेषताएं हैं। हम मानते हैं कि घन को संसाधित करने के बाद हमें निम्नलिखित मिलते हैं:



लेकिन, दुर्भाग्यवश, यह सिर्फ सफल नहीं हुआ, मर्सिडीज समूह स्पोर्ट या माइक्रोकॉर से संबंधित होगा (यह इस बात पर निर्भर करता है कि पहली पंक्ति में कौन सी लाइन संसाधित होगी)। विशेषता के लिए समग्र कुंजी का उपयोग करके इस प्रतिबंध को दरकिनार किया जा सकता है। चलो CarTypeID + '_' + CarMarkID फॉर्म की CarMark विशेषता के लिए एक कुंजी बनाते हैं। नतीजतन, क्यूब के प्रवेश द्वार पर हमें इस तालिका जैसा कुछ मिलता है:

CarID	नाम	CarTypeID	CarType	CarMarkID	CarMark
1	मर्सिडीज-बेंज एफ 800 स्टाइल	1	खेल	1_1	मर्सिडीज
2	मर्सिडीज-बेंज एफ 800 स्टाइल	2	microcar	1_2	मर्सिडीज

परिणामस्वरूप, हम हमारे लिए आवश्यक पदानुक्रम प्राप्त करते हैं।

हम यह भी अनुशंसा करेंगे कि प्रत्येक आयाम विशेषता के लिए, संभव हद तक, व्यक्तिगत स्रोतों से नाम और कुंजी निर्धारित करें।
हमने ओएलएपी क्यूब बनाने के लिए केवल सबसे सरल सिफारिशें प्रदान की हैं, जो आपके बीआई समाधानों में लचीलापन और विस्तारशीलता जोड़ सकते हैं। हमें उम्मीद है कि आप सुझावों को उपयोगी पाएंगे और विश्लेषणात्मक समाधान बनाने का काम आसान करेंगे!

सूत्रों का कहना है
क्यूब्स के बारे में मूल जानकारी habrahabr.ru/post/66356 लेख में देखी जा सकती है।

डेटा वेयरहाउस ईटीएल टूलकिट: डेटा को निकालने, सफाई करने, अनुरूप करने और वितरित करने के लिए व्यावहारिक तकनीक

Microsoft SQL Server 2008 विश्लेषण सेवाओं के साथ विशेषज्ञ घन विकास

www.sql.ru - :)