कैसे एक व्यापार खुफिया प्रणाली बनाने के लिए और जलाऊ लकड़ी को तोड़ने नहीं

उचित व्यावसायिक निर्णय लेने के लिए, आपके पास कंपनी में मामलों की स्थिति के बारे में सबसे पूर्ण और विस्तृत जानकारी होनी चाहिए। लेकिन अक्सर ऐसी जानकारी वार्षिक और त्रैमासिक रिपोर्ट तक सीमित होती है।

यह, ज़ाहिर है, पर्याप्त नहीं है। प्रभावी विश्लेषण के लिए, उद्यम अक्सर व्यावसायिक खुफिया प्रणालियों (अंग्रेजी व्यापार खुफिया, इसके बाद - बीआई-सिस्टम) को लागू करते हैं। आज हम कुछ युक्तियों को साझा करना चाहते हैं जो आपकी कंपनी में एक बीआई प्रणाली बनाने में आपकी सहायता कर सकते हैं (और यह हमें एक साल पहले खुद मदद करेगा)।

डिज़ाइन

कच्चा डेटा रखें, स्लाइस नहीं

आपको कभी भी यह उम्मीद नहीं करनी चाहिए कि पर्याप्त निश्चित कार्यक्रम और रिपोर्ट होंगे। इसके विपरीत, प्रबंधक आपको अधिक से अधिक विस्तृत चार्ट बनाने के लिए कहेंगे। और बहुत सारे परिशोधन होंगे।

उदाहरण के लिए, हमें इस बारे में एक अनुरोध प्राप्त हुआ कि पिछले वर्ष के प्रत्येक महीने के लिए कैलिफोर्निया के 25 वर्ष तक के कितने समलैंगिक पुरुषों ने कितना पैसा खर्च किया। इसी तरह के प्रश्न का उत्तर देने के लिए तैयार रहने के लिए, हमें न केवल पूर्ण उपयोगकर्ता प्रोफाइल के साथ एक टेबल, बल्कि उनके भुगतान के साथ एक टेबल भी रखने की आवश्यकता है।

कच्चे डेटा का विश्लेषण करें, न कि तैयार स्लाइस

कच्चे डेटा का विश्लेषण करने का प्रयास करें। पूर्व-एकत्रित न करें। याद रखें: जैसे ही आप डेटा एकत्रीकरण करते हैं, आप जानकारी खो देते हैं।

उदाहरण के लिए, आपको न्यू यॉर्कर के लिए प्रति दिन नए संपर्कों की संख्या पर आंकड़े प्राप्त करने की आवश्यकता है। यदि आप डेटा का सीधे विश्लेषण स्वयं करते हैं, तो आप विशिष्ट उदाहरणों के साथ परिणामों की पुष्टि कर सकते हैं: कौन, कब और किसके साथ।

भूल जाओ यहाँ नहीं आविष्कार किया

याद रखें कि आप BI सिस्टम बनाने वाले पहले व्यक्ति नहीं हैं। और कई कार्यों के लिए, पहले से तैयार समाधान मौजूद हैं। इसलिए, अधिकांश विकास केवल डेटा एकत्र करने और विश्लेषण कार्यक्रमों को कॉन्फ़िगर करने के लिए उबाल कर सकते हैं।

आज लोग वेक्टरवाइज कॉलम डेटाबेस और पेंटाहो एनालिटिक फ्रंट-एंड का उपयोग करते हैं। इस प्रकार, लगभग सब कुछ डेटाबेस में डेटा लोड करने के लिए नीचे आता है।

ग्राहकों को याद रखें

आपके द्वारा डिज़ाइन की जाने वाली प्रणाली का उपयोग सामान्य प्रबंधकों द्वारा किया जाएगा, जिनके शब्द "पहली बार व्युत्पन्न" असहनीय नाराज़गी पैदा कर सकते हैं। डेटा का इंटरफ़ेस बेहद सरल और अस्पष्ट होना चाहिए। यही कारण है कि आपको इंटरफ़ेस को फिर से नहीं करना चाहिए। यह देखना बेहतर है कि आपके सामने क्या आविष्कार किया गया है।

कई बीआई उपकरण में डेमो पेज होते हैं जहां आप कार्रवाई में एक विशिष्ट टूल को देख सकते हैं। बीआई प्रणाली के भविष्य के उपयोगकर्ताओं से यह पूछना उचित है कि उनके द्वारा एक उपकरण को कितना समझा जाता है।

BI सिस्टम बनाने में देरी न करें

BI सिस्टम को डिजाइन करना, विकसित करना और कार्यान्वित करना एक लंबी और जटिल प्रक्रिया है। यह ऐसा मामला है जब 9 महिलाएं एक महीने में बच्चे को जन्म नहीं दे पाएंगी। बाईट में बीआई-सिस्टम का कार्यान्वयन अभी तक पूरा नहीं हुआ है, लेकिन पहले महत्वपूर्ण परिणाम शुरू होने के लगभग 9 महीने बाद हासिल किए गए थे। बीआई टीम में 3 लोग प्लस 1 सलाहकार शामिल थे।

डिज़ाइन

एसिंक्रोनस रूप से डेटा एकत्र करें

यदि आप उपयोगकर्ता व्यवहार डेटा एकत्र करना शुरू करना चाहते हैं, तो इसे एसिंक्रोनस रूप से करें। आप लॉग में लिख सकते हैं, आप Scribe को लिख सकते हैं। याद रखें कि एक वस्तु के बारे में डेटा संग्रह इस वस्तु के व्यवहार के साथ ध्यान देने योग्य हस्तक्षेप के बिना किया जाना चाहिए। और सिद्धांत रूप में, बीआई प्रणाली में खराबी को अध्ययन के तहत वस्तु में परिलक्षित नहीं किया जाना चाहिए।

उपयोगकर्ता के व्यवहार के बारे में जानकारी एकत्र करने के लिए बुनियादी ढांचे का विकास करते समय, हमें बड़ी मात्रा में संसाधित डेटा के बारे में पता था। और यह सभी डेटा एक डेटा वेयरहाउस में इकट्ठा करना आवश्यक था। बेशक, इस भंडार के संचालन में कोई समस्या साइट के उपयोगकर्ताओं के लिए अदृश्य होनी चाहिए। इसलिए, लॉग में प्राथमिक डेटा लिखने का फैसला किया गया था, और उसके बाद ही उन्हें अलग पृष्ठभूमि स्क्रिप्ट के साथ भंडारण में स्थानांतरित किया गया था। इसके बाद, लॉग और पार्सर को Scribe सेवा द्वारा बदल दिया गया।

सामान्यीकरण के बारे में भूल जाओ

डेटा को "डिनोमिनेट" करने से डरो मत। इसलिए, यदि आपके पास उपयोगकर्ताओं के साथ एक तालिका है और उनके भुगतान के साथ एक तालिका है, तो आपको उपयोगकर्ता-भुगतान जोड़े (दो तालिकाओं को जोड़ने का परिणाम) के साथ एक तालिका रखना उपयोगी हो सकता है। एक ओर, आपको हार्ड डेटा दोहराव मिलता है। दूसरी ओर, प्रत्येक अनुरोध के लिए जटिल "जॉइन" ऑपरेशन के बजाय, आपको अद्वितीय मानों की गणना का एक सरल ऑपरेशन मिलता है।

उपरोक्त तालिका के साथ काम करने की प्रभावशीलता के एक उदाहरण के रूप में, हम एक प्रश्न लेते हैं जो पिछले साल महिलाओं और पुरुषों द्वारा खर्च की गई राशि को बाहर कर देगा:

SELECT sum(money), gender FROM UserPayment WHERE gender IN ('M','F') and year(payment_date) = year(now()) GROUP BY 2 

इस क्वेरी को आसानी से "समानांतर" किया जा सकता है, क्योंकि सभी DBMS को निष्पादित करने की आवश्यकता होती है ताकि तालिका को एक पास में संसाधित किया जा सके।

डेटा स्ट्रीम देखें

सिस्टम में डेटा की आवाजाही का एक चित्र अपने लिए आकर्षित करना सुनिश्चित करें। सुनिश्चित करें कि कोई चक्र (फीडबैक) नहीं हैं।

बीआई सिस्टम से जानकारी प्राप्त करने के लिए जांच के तहत वस्तुओं को अनुमति न दें। उदाहरण के लिए, डेटा का विश्लेषण करने के बाद प्रबंधक उपयोगकर्ताओं के एक विशिष्ट समूह को मेल द्वारा अनुस्मारक भेजने का निर्णय लेता है। सीधे तौर पर, बीआई प्रणाली में प्राप्तकर्ताओं की सूची नहीं बनाई जानी चाहिए।

की शुरूआत

एकत्र डेटा की जाँच करें

एक बीआई प्रणाली को लागू करते समय, आने वाले डेटा की जांच करना आवश्यक है, और यह बहुत सावधानी से किया जाना चाहिए। उदाहरण के लिए, यदि आपको सिस्टम के उपयोगकर्ताओं के पैरामीटर मिलते हैं, तो पंजीकरण तिथियों, जन्मदिन आदि के वितरण की जांच करना सुनिश्चित करें। आदर्श रूप से, यह प्रत्येक स्तंभ में या स्तंभों के जोड़े में मूल्यों के वितरण की जांच करने के लायक है।

अक्सर नया डेटा जोड़ते समय, एक स्थिति होती है जहां सभी पंक्तियों में स्तंभ का मूल्य समान होता है। लगभग हमेशा कारण मानव कारक है - डेवलपर इस कॉलम के बारे में भूल गया।

अतिरिक्त डेटा नहीं होता है, पुनरावृत्तियां होती हैं

जब आप देखते हैं कि आपको सिस्टम में कौन से डेटा को आयात करने की आवश्यकता है, तो याद रखें कि कोई अतिरिक्त डेटा नहीं है। डेटा की पुनरावृत्तियाँ हैं। और दोहराव पर संदेह करने की जरूरत है। अतिरिक्त डेटा लेना बेहतर है और सुनिश्चित करें कि आपके पास अग्रिम में दोहराव से इनकार करने की तुलना में समान मूल्य हैं। यह सिस्टम त्रुटियों की पहचान करने में मदद करता है।

बैत में बीई-प्रणाली के कार्यान्वयन के दौरान कितनी त्रुटियां तय की गई थीं। ये उपयोगकर्ता प्रोफाइल में त्रुटियां थीं, और शहर डेटा में त्रुटियां, और यहां तक ​​कि वित्तीय डेटा में कुछ त्रुटियां भी थीं।

100% अनुपालन के लिए प्रयास न करें

विभिन्न स्रोतों से डेटा की तुलना और तुलना करते समय, 100% अनुपालन का पीछा न करें। यदि आप 95% मैच तक पहुँच चुके हैं, तो यह सबसे अधिक संभावना है। जब आप हर पैसा का पालन करने की आवश्यकता होती है तब भी आप एक लेखा प्रणाली नहीं बना रहे होते हैं।

बहुत बार, डेटा विसंगतियां वस्तुनिष्ठ कारणों से होती हैं, जैसे सिंक से बाहर का समय। उदाहरण के लिए, अपने स्वयं के "बिलिंग" और एक भुगतान प्रणाली में भुगतान के पंजीकरण का समय। 31 दिसंबर को 1 सेकंड का समय अंतर एक ही भुगतान के परिणामस्वरूप विभिन्न वर्षों के लिए हो सकता है।

निष्कर्ष

ये युक्तियां सार्वभौमिक नहीं हैं, आप उनमें से प्रत्येक के लिए एक अपवाद पा सकते हैं। उन्हें पूर्ण सत्य के रूप में समझने की आवश्यकता नहीं है। इसके विपरीत, आप जितने अधिक काउंटर-उदाहरण दे सकते हैं, बेहतर होगा कि आप इन नियमों के सार को समझ पाएंगे। और यदि आपके कुछ विशिष्ट प्रश्न हैं, तो हम उनका उत्तर देने का प्रयास करेंगे।

एलेक्सी अलेक्सा ए्रेमिखिन, डेवलपर