एमएस SQL ​​सर्वर 2012 में मास्टर डेटा सेवाओं का व्यावहारिक अनुप्रयोग

इस लेख में, मैं एमएस SQL ​​सर्वर 2012 में मास्टर डेटा सर्विसेज (एमडीएस) का उपयोग करके अपने पहले पेशेवर अनुभव को साझा करना चाहूंगा। हाल ही में, मैं इस उत्पाद से परिचित था, जो एमएस SQL ​​सर्वर 2012 (बिजनेस इंटेलिजेंस और एंटरप्राइज एडिशन) का हिस्सा है, केवल सिद्धांत रूप में, वह व्यवहार में इसका परीक्षण करने के लिए एक सफल मामले की प्रतीक्षा कर रहा था, और इस तरह के मामले ने खुद को प्रस्तुत किया।

इनपुट डेटा

मेरा क्लाइंट Microsoft SQL Server 2012 बिजनेस इंटेलिजेंस एडिशन पर आधारित BI समाधान का उपयोग करता है। इस BI सिस्टम का केंद्र डेटा वेयरहाउस है , जो लेन-देन प्रणालियों ( OLTP ) से SSIS पैकेजों का उपयोग कर आबाद है। डेटा वेयरहाउस, बदले में, बहुआयामी डेटा मॉडल के लिए एक स्रोत के रूप में कार्य करता है। एक बहुआयामी डेटा मॉडल के आधार पर, ग्राहक विश्लेषिकी पिवट टेबल्स का उपयोग करके एक्सेल में रिपोर्ट उत्पन्न करते हैं। चूंकि कई डेटा स्रोत हैं, और ट्रांजेक्शनल सिस्टम के उपयोगकर्ता निर्देशिकाओं को बेतरतीब ढंग से हेरफेर करते हैं, ग्राहक ने एक समाधान की आवश्यकता का संकेत दिया जो डेटा वेयरहाउस में कुछ आयामों के लिए पदानुक्रम बनाने की अनुमति देगा जो विश्लेषणात्मक विश्लेषण के प्रयोजनों के लिए सुविधाजनक होगा। उदाहरण के लिए, किसी कंपनी के संगठनात्मक ढांचे की जानकारी, जो "विभागों" आयाम (तालिका dbo.dimDivisions) में संग्रहीत है, OLTP सिस्टम से आयात किया गया है, OLTP सिस्टम में उत्पन्न परिचालन रिपोर्ट के लिए सुविधाजनक है, लेकिन BI सिस्टम में विश्लेषण के लिए उपयुक्त नहीं है। ।

व्यवसाय की आवश्यकताएं

एक व्यवसाय ग्राहक की औपचारिक आवश्यकताओं को संक्षेप में निम्नानुसार वर्णित किया जा सकता है:

• एक उपकरण विकसित करने के लिए जो आपको विश्लेषणात्मक रिपोर्टिंग उद्देश्यों के लिए कंपनी विभागों पर डेटा का प्रबंधन करने की अनुमति देता है।
• मौजूदा BI समाधानों में नई व्यावसायिक इकाई जानकारी का उपयोग करें।
• परिवर्तन ओएलटीपी सिस्टम के संचालन को प्रभावित नहीं करना चाहिए।

प्रारंभिक मूल्यांकन और निर्णय चयन

उपलब्ध इनपुट डेटा और व्यावसायिक आवश्यकताओं के आधार पर, ग्राहक को निम्नलिखित समाधान की पेशकश की गई थी:

• Org के बारे में डेटा स्टोर करने के लिए डेटा वेयरहाउस में एक अतिरिक्त आयाम जोड़ें। विश्लेषणात्मक रिपोर्टिंग उद्देश्यों के लिए संरचना।
• नए आयाम और "कर्मचारी" आयाम के रिकॉर्ड के बीच एक लिंक प्रदान करें।
• डेटा वेयरहाउस की संरचना में परिवर्तन को प्रतिबिंबित करने के लिए बहुआयामी डेटा मॉडल बदलें।
• मास्टर डेटा सेवाएँ सेट करें। सेटिंग का मतलब है कि कर्मचारियों और विभागों के बारे में डेटा को मैन्युअल रूप से दर्ज करने और संपादित करने की क्षमता का निर्माण, साथ ही एमएसडी से / से डेटा आयात / निर्यात करने के लिए आवश्यक सेटिंग।
• मास्टर वेयर सर्विसेज में डेटा वेयरहाउस से नए कर्मचारियों के बारे में डेटा का स्वचालित आयात प्रदान करें।
• मास्टर डेटा सेवाओं से डेटा वेयरहाउस तक कर्मचारियों और विभागों और कर्मचारियों की संबद्धता पर डेटा का स्वचालित निर्यात प्रदान करें।

समाधान कार्यान्वयन

डेटा वेयरहाउस को परिष्कृत करना

तो, चलो क्रम में चलते हैं। सबसे पहले, डेटा वेयरहाउस में एक नया आयाम "आर्बिटवर्स इकाइयां" (dbo.dimDerivedDivisions) बनाएं और इसे "एम्प्लॉइज" डायमेंशन (dbo.dimEmploees) के साथ संबद्ध करें। इस कार्य के लिए SQL स्क्रिप्ट इस प्रकार है:

--   " " CREATE TABLE dbo.dimDerivedDivisions ( id int NOT NULL primary key identity(1, 1), parentId int NULL, sourceCode int NOT NULL, sourceParentCode int NULL, name nvarchar(100) NOT NULL DEFAULT ('N/A'), lineageDate datetime DEFAULT GETDATE(), lineageSource nvarchar(255) NOT NULL DEFAULT ('') ); --    parentId,   dbo.dimDerivedDivisions(id)    - ALTER TABLE dbo.dimDerivedDivisions ADD CONSTRAINT fk_dbo_dimDerivedDivisions_dbo_dimDerivedDivisions FOREIGN KEY (parentId) REFERENCES dbo.dimDerivedDivisions(id); --      ,        SET IDENTITY_INSERT dbo.dimDerivedDivisions ON; INSERT INTO dbo.dimDerivedDivisions (id, parentId, sourceCode, sourceParentCode, name, lineageDate, lineageSource) SELECT 0, NULL, 0, NULL, 'N/A', GETDATE(), '  ' WHERE NOT EXISTS (SELECT id FROM dbo.dimDerivedDivisions WHERE id = 0); SET IDENTITY_INSERT dbo.dimDerivedDivisions OFF; --     "" ALTER TABLE dbo.dimEmployees ADD derivedDivisionId int NOT NULL DEFAULT(0); --  ,   dbo.dimDerivedDivisions(id) ALTER TABLE dbo.dimEmployees ADD CONSTRAINT fk_dbo_dimEmployees_dbo_dimDerivedDivisions FOREIGN KEY (derivedDivisionId) REFERENCES dbo.dimDerivedDivisions(id); 

बहुआयामी डेटा मॉडल का शोधन

अब बहुआयामी डेटा मॉडल में एक नया आयाम जोड़ें। ऐसा करने के लिए, SQL Server डेटा उपकरण में बहुआयामी डेटा मॉडल प्रोजेक्ट खोलें और डेटा स्रोत दृश्य में एक नया dbo.dimDerivedDivisions तालिका जोड़ें। परिणाम इस प्रकार है:


विषय से बहुत दूर नहीं जाने के लिए, मैं संक्षेप में बहुआयामी मॉडल को अंतिम रूप देने की प्रक्रिया का वर्णन करूंगा। बहुआयामी डेटा मॉडल में, हम एक नया आयाम बनाते हैं "मनमाना विभाजन", मौजूदा आयाम तालिकाओं के साथ "आयाम" आयाम के माध्यम से नए आयाम के कनेक्शन को कॉन्फ़िगर करते हैं, तैनात करते हैं और क्यूब को संसाधित करते हैं:

मास्टर डेटा सेवाएँ कॉन्फ़िगर करें

अब नए आयाम "कस्टम माप" के संदर्भ में विश्लेषणात्मक रिपोर्टों की तैयारी के लिए सभी डेटा संरचनाएं तैयार हैं, हम मास्टर डेटा सेवाओं की स्थापना के लिए - सबसे महत्वपूर्ण बात पर आगे बढ़ते हैं। ऐसा करने के लिए, ब्राउज़र में, उस लिंक पर क्लिक करें जो SQL सर्वर प्रशासक ने हमें दिया था, और MDS वेब इंटरफ़ेस में मिलता है, जो इस प्रकार दिखता है:



मैं यहां मास्टर डेटा सेवाओं की स्थापना का वर्णन नहीं करूंगा, क्योंकि यह एक नियमित कार्य है जिसे msdn.microsoft.com पर विस्तार से वर्णित किया गया है। हम एमडीएस का उपयोग करने के वास्तविक अभ्यास पर बेहतर ध्यान केंद्रित करते हैं।

तो, पहली चीज जो हमें करने की ज़रूरत है वह एक मॉडल बनाना है। एमडीएस में एक मॉडल एक तार्किक कंटेनर है जिसमें एक विशिष्ट व्यावसायिक क्षेत्र की इकाइयां शामिल हैं। हमारे मामले में, "कर्मचारी" मॉडल बनाने के लिए उपयुक्त है, जिसमें "कर्मचारी" और "इकाइयां" शामिल हैं। एक मॉडल बनाने के लिए, हम सिस्टम एडमिनिस्ट्रेशन लिंक का उपयोग करके मास्टर डेटा सर्विसेज वेब इंटरफेस में प्रशासनिक कार्य पर जाएंगे। खुलने वाली विंडो में, कर्मचारी मॉडल का नाम दर्ज करें और सहेजें मॉडल बटन पर क्लिक करें:



जब मॉडल नाम चेक बॉक्स के रूप में एक ही नाम वाली इकाई बनाएँ का चयन किया जाता है, तो उसी नाम की कर्मचारी इकाई स्वचालित रूप से मॉडल के साथ बनाई जाएगी। अगला, एक और इकाई "डिवीजन" बनाएं, इसके लिए हम कर्मचारी मॉडल का चयन करते हैं और प्रबंधित करें - एंटिटी मेनू पर जाते हैं:



इकाई जोड़ें बटन पर क्लिक करें:



खुलने वाले संवाद में, नई इकाई के मापदंडों को भरें और इकाई सहेजें बटन पर क्लिक करें। कृपया ध्यान दें कि "संगठनात्मक इकाइयां" इकाई बनाते समय, स्पष्ट पदानुक्रम और संग्रह सक्षम करें चेकबॉक्स का चयन किया गया था (इसका मतलब है कि इकाई एक पदानुक्रम बनाने में सक्षम होगी), और हम नीचे दिए गए विभाजनों के नाम का संकेत देंगे। स्पष्ट पदानुक्रम एक पदानुक्रम है जिसके सदस्यों को किसी भी तरह से व्यवस्थित किया जा सकता है, अर्थात। पदानुक्रम के प्रत्येक स्तर पर किसी भी सदस्य और घोंसले के शिकार के निम्न स्तर हो सकते हैं:



संस्थाओं के बनने के बाद, आपको संस्थाओं की विशेषताओं को कॉन्फ़िगर करना होगा। इकाई "कर्मचारी" के लिए, विशेषता "डिवीजन" (डिवीजन) जोड़ें। कर्मचारी इकाई चुनें और संपादित इकाई बटन पर क्लिक करें:



खुले इकाई संपादन फॉर्म में, "कर्मचारी" इकाई के अंतिम तत्व के "डिवीजन" विशेषता को जोड़ने के लिए, पत्ती विशेषता बटन पर क्लिक करें:



किसी विशेषता को जोड़ने के लिए खोले गए फ़ॉर्म में, विशेषता के नाम को भरें और डोमेन-आधारित पर विशेषता प्रकार स्विच सेट करें। इसका मतलब है कि इस विशेषता के मूल्य एक निश्चित इकाई से संबंधित होंगे, और नीचे हम यह संकेत देंगे कि कौन सा, हमारे मामले में, यह "डिवीजनों" का सार है। अंत में, Save बटन पर क्लिक करें:

मास्टर डेटा सेवाओं में मैनुअल डेटा प्रविष्टि

इसलिए, मॉडल "कर्मचारी" और "कर्मचारी" और "डिवीजन" इकाइयां तैयार हैं, अब उन्हें डेटा से भरना आवश्यक है। उपयोगकर्ता मैन्युअल रूप से इकाई "डिवीजनों" को भरेंगे। इस प्रक्रिया को प्रदर्शित करने के लिए, हम मास्टर डेटा सर्विसेज वेब इंटरफेस के मुख्य पृष्ठ पर जाएंगे, सूचना कार्यकर्ता कार्य उपधारा में, कर्मचारी मॉडल का चयन करें और एक्सप्लोरर लिंक का पालन करें:



पदानुक्रम "डिवीजनों" का चयन करें:



उन प्रकार के तत्वों को चुनें जिन्हें हम नियंत्रित करना चाहते हैं। सबसे पहले, कुछ समेकित सदस्य बनाएं:



जोड़ें बटन दबाएं, इकाई समूह "बिक्री विभाग" का नाम दर्ज करें और ठीक बटन दबाएं:



इसी तरह, हम अन्य इकाइयाँ जोड़ते हैं और इस प्रकार, इकाइयों की संरचना बनाते हैं, जो निम्न आकृति में दिखाए गए हैं:



कृपया ध्यान दें कि डिवीजनों-समूहों को बोल्ड में चिह्नित किया गया है, और परिमित तत्वों को बोल्ड में चिह्नित किया गया है। पदानुक्रम के एक स्तर पर उन दोनों और अन्य प्रकार के तत्व हो सकते हैं।

मास्टर डेटा सेवाओं में डेटा आयात करें

अब आपको मौजूदा डेटा वेयरहाउस से मास्टर डेटा सर्विसेस में कर्मचारी डेटा आयात करने की आवश्यकता है (कर्मचारियों और विभागों की तुलना करने के लिए, और इस डेटा को वापस गोदाम में निर्यात करें)। MDS में डेटा को एक SQL डेटाबेस में लोड करने के लिए जो मास्टर डेटा सर्विसेस प्रदान करता है, वहाँ विशेष स्टेजिंग टेबल्स हैं जिसमें हम SQL क्वेरी के साथ डेटा सम्मिलित कर सकते हैं या एक विशेष SSIS पैकेज बना सकते हैं जो रिपॉजिटरी से नए कर्मचारी रिकॉर्ड आयात करेगा मास्टर डेटा सर्विसेस में आगे की प्रक्रिया के लिए अस्थायी टेबलों का डेटा। SSMS खोलें और मास्टर डेटा सर्विसेस डेटाबेस में अस्थायी तालिकाओं को खोजें। यहाँ वे हैं:



एक उदाहरण के रूप में, हम डेटा वेयरहाउस से मास्टर डेटा सर्विसेज डेटाबेस की मध्यवर्ती तालिका में 10 कर्मचारी रिकॉर्डों का मनमाना आयात करते हैं। ऐसा करने के लिए, निम्न SQL क्वेरी निष्पादित करें:

 INSERT INTO [stg].[Employees_Leaf] ([ImportType], [ImportStatus_ID], [BatchTag], [Code], [Name]) SELECT TOP 10 1, 0, N'Employees_Leaf_Batch00001', E.id, E.name FROM [DW].[dbo].[dimEmployees] E; 

हम मास्टर डेटा सेवाओं के वेब इंटरफेस पर लौट आएंगे और मुख्य पृष्ठ पर हम इंटरगेशन प्रबंधन लिंक पर जाएंगे:



खुलने वाली विंडो में, हम पैकेज Employees_Leaf_Batch00001 देखते हैं, जो सिर्फ SQL क्वेरी द्वारा बनाया गया था। स्टार्ट बैच बटन पर क्लिक करके इसे चलाएं:



पैकेज तैयार करने के बाद, हम स्थिति, प्रारंभ और समाप्ति समय, त्रुटियों के बारे में ऐसी जानकारी देखेंगे:

मास्टर डेटा सेवाओं में डेटा प्रबंधन

अब डेटा मैनेजमेंट मोड में चलते हैं और देखते हैं कि स्टैगिंग टेबल से कर्मचारी रिकॉर्ड कैसे लोड होते हैं। ऐसा करने के लिए, मास्टर डेटा सर्विसेज वेब इंटरफेस के मुख्य पृष्ठ पर जाएं, सूचना कार्यकर्ता कार्य उपधारा में, कर्मचारी मॉडल का चयन करें और एक्सप्लोरर लिंक पर क्लिक करें। खुलने वाली विंडो में, हम देखते हैं कि नए कर्मचारी डेटा को मास्टर डेटा सेवाओं में जोड़ दिया गया है और यह मान्य होने की प्रतीक्षा में है:



कृपया ध्यान दें कि कर्मचारियों के विभाजन (डिवीजन) पर डेटा नहीं भरा गया है। प्रत्येक कर्मचारी के लिए, हमें उस विभाग का चयन करना होगा जिसमें वह काम करता है और ओके बटन पर क्लिक करें:

मास्टर डेटा सेवाओं से डेटा निर्यात करें

विभागों पर डेटा और कर्मचारियों के विभागों से संबद्धता दर्ज किए जाने के बाद, आपको उन्हें डेटा वेयरहाउस में वापस आयात करना होगा। ऐसा करने के लिए, MDS में सदस्यता दृश्य बनाएं। हम प्रशासनिक कार्य उपधारा में, मास्टर डेटा सर्विसेज वेब इंटरफेस के मुख्य पृष्ठ पर जाएंगे, इंटरग्रेन प्रबंधन लिंक पर जाएँ:



खुलने वाली विंडो में, दृश्य बनाएं मेनू पर जाएं और जोड़ें सदस्यता दृश्य बटन पर क्लिक करें:



इकाई "डिवीजनों" के लिए प्रस्तुति मापदंडों को भरें और सहेजें बटन पर क्लिक करें:



इसी तरह, कर्मचारी इकाई के लिए एक दृश्य बनाएं:



अब देखते हैं कि किस प्रकार के निरूपण हैं और उनका उपयोग कैसे करना है। वास्तव में, सब कुछ काफी सरल है, एमडीएस में विचार एसक्यूएल डेटाबेस में सामान्य विचारों से ज्यादा कुछ नहीं हैं। आइए SSMS खोलें, और यह सुनिश्चित करें:



और इस समस्या को हल करने के लिए किया जाने वाला आखिरी काम एक SQL स्क्रिप्ट या SSIS पैकेज विकसित करना है जो MDS विचारों से डेटा गोदाम में जानकारी निर्यात करता है।

निष्कर्ष

इस समाधान के कार्यान्वयन पर लगभग आठ मानव-घंटे खर्च किए गए थे, जो कि मेरी राय में, इस तरह के कार्य के लिए पर्याप्त पर्याप्त समय है। वर्णित समाधान में, मैंने मास्टर डेटा सेवाओं की सभी विशेषताओं का उपयोग नहीं किया, उदाहरण के लिए, मैंने व्यावसायिक नियमों की अनदेखी की, जिसका उपयोग एमडीएस में आयात करते समय डेटा को साफ़ करने के लिए किया जा सकता है। हालांकि, मैं इसे एक निश्चित प्लस मानता हूं कि ग्राहक के पास एक नया, बल्कि सरल है, लेकिन एक ही समय में लचीले टूल, मास्टर डेटा सर्विसेज, का उपयोग किया जा सकता है जो भविष्य में संदर्भ NSI के प्रसंस्करण और भंडारण से संबंधित समस्याओं को हल करने के लिए उपयोग किया जा सकता है।