Microsoft StreamInsight - वास्तविक समय डेटा स्ट्रीम प्रसंस्करण

जैसा कि मैंने कहा, हमारी कंपनी वास्तविक समय डाटा प्रोसेसिंग कार्यों के साथ बहुत काम करती है। विभिन्न समस्याओं का समाधान करते हुए, हम बल्कि जिज्ञासु और दिलचस्प समाधानों का सामना कर रहे थे, जिसके बारे में कई बार बस किसी ने नहीं लिखा। यहां एक ऐसी दिलचस्प प्रणाली है जो आज हम आपको बताएंगे। माइक्रोसॉफ्ट ने इसे बनाया, इसे स्ट्रीमआईनाइट कहा जाता है और यह तथाकथित कॉम्प्लेक्स इवेंट प्रोसेसिंग पैटर्न का कार्यान्वयन है। हम आपको विस्तार से बताएंगे कि यह क्या है और यह अंदर क्यों आवश्यक है।

प्रविष्टि

एक लंबे समय से पहले, 1989 में, जब घास हरियाली थी, और आईटी में सब कुछ थोड़ा आसान था, लोग बस यह सोचना शुरू कर रहे थे कि डेटाबेस के लिए न केवल लिखना और पढ़ना अनुरोधों को पूरा करना अच्छा होगा, बल्कि किसी तरह मुश्किल भी होगा आने वाले डेटा पर प्रतिक्रिया दें। यह सब तथाकथित सक्रिय डेटाबेस सिस्टम के साथ शुरू हुआ, जो कुछ पूर्वनिर्धारित शर्तों को पूरा करने पर निर्देशों के निर्दिष्ट सेट को निष्पादित कर सकता था। यानी वास्तव में, यह बाहरी ट्रिगर के लिए अंतर्निहित प्रक्रियाओं का प्रक्षेपण था। इस विचार को विकसित करने के लिए 90 के दशक में डेटा स्ट्रीम मैनेजमेंट सिस्टम दिखाई दिया। उन्हें पहले से ही पता था कि आने वाले डेटा की निरंतर धाराओं के साथ कैसे काम करना है। यह पहले से ही दुर्लभ अनुरोध नहीं हो सकता है, लेकिन वास्तविक समय के डेटा की एक ईमानदार धारा है। लगभग उसी समय, लोगों ने सोचा कि कभी-कभी डेटाबेस में आने वाला डेटा ईवेंट नहीं होता है, बल्कि इन घटनाओं की बाहरी अभिव्यक्तियाँ होती हैं: सेंसर की रीडिंग जो उन्हें पंजीकृत करती हैं, सूचनाएं और सूचनाएं। ऐसी प्रणालियों को कॉम्प्लेक्स इवेंट प्रोसेसिंग कहा जाता था।

आने वाले डेटा का विश्लेषण करके, ऐसी प्रणाली दोनों घटनाओं का पता लगा सकती है (बाहरी डेटा और एम्बेडेड आंतरिक तर्क के आधार पर उनकी घटना के तथ्य का निर्धारण), और विश्लेषणात्मक मूल्यों की गणना (उदाहरण के लिए, एक निश्चित अवधि में होने वाली घटनाओं की औसत संख्या की गणना करके)। इस प्रकार, इन प्रणालियों के उपयोग का अर्थ है कि उनके आंतरिक तर्क के बारे में पता होना चाहिए कि "वास्तविक" घटनाएं बाहर हैं, और उन पर "आंख" के साथ आने वाले डेटा का विश्लेषण करें।

StreamInsight

स्ट्रीमइंसाइट परियोजना, जो माइक्रोसॉफ्ट रिसर्च के धनुष में उत्पन्न हुई थी, मूल रूप से इस विशेष पैटर्न का कार्यान्वयन था। एक ओर, कार्यों की एक पूरी श्रेणी है जो डेटा स्ट्रीम से निपटते हैं जिन्हें हल करने के लिए एक अलग (रिलेशनल डेटाबेस की तुलना में) दृष्टिकोण की आवश्यकता होती है। दूसरी ओर, हाल ही में, भंडारण उपकरणों के लिए कीमतों में परिमाण के आदेशों से गिरावट आई है, और कंपनियां सिस्टम के संचालन के विभिन्न पहलुओं पर डेटा की एक बड़ी मात्रा को बरकरार रखती हैं। इसके अलावा, व्यवसाय की भाषा में, इस डेटा का मूल्य कभी-कभी समय में तेजी से गिरता है: यदि आप किसी घटना पर प्रतिक्रिया करने का प्रबंधन नहीं करते हैं, तो आप अपना लाभ खो रहे हैं।

StreamInsight अनुप्रयोगों के निर्माण के लिए एक मंच है जो स्ट्रीमिंग डेटा के साथ काम करता है। अधिकांश प्रसंस्करण रैम में होता है, जो उच्च प्रवाह और निम्न विलंबता के लिए अनुमति देता है। इस प्लेटफ़ॉर्म का दिल इंजन है जिसमें तथाकथित घोषणात्मक LINQ में लिखित कतारें खड़ी हैं। किसी भी आने वाली घटना तुरंत इन कतारों में संसाधित हो जाती है।

सिस्टम आपको वह सब कुछ करने की अनुमति देता है जो "सही" सीईपी को करना चाहिए, और अधिक। उदाहरण के लिए:

• सभी प्रकार के अभिन्न मूल्यों को पढ़ें
• डेटा प्रवाह को संशोधित और फ़िल्टर करें, डुप्लिकेट घटनाओं को हटाएं
• जटिल ईवेंट पैटर्न का पता लगाएं
• एक बाहरी घटना की "अनुपस्थिति" को ट्रैक करें
• नवीनतम संस्करणों से आप समाचार पत्र प्रकाशित / सदस्यता ले सकते हैं

यह देखा जा सकता है कि शैक्षणिक सीईपी की तुलना में इस प्रणाली की संभावनाएं और अनुप्रयोग व्यापक हैं। इसी समय, वाणिज्यिक अनुप्रयोगों की सूची भी काफी बड़ी है: वेब एनालिटिक्स, लॉजिस्टिक्स एंड ऑपरेशनल एनालिसिस, बिजनेस ट्रेडिंग, मनी लॉन्ड्रिंग के मामलों का पता लगाना, कार्ड धोखाधड़ी, निगरानी व्यवसाय गतिविधि और सुरक्षा।
उपयोग के मामलों की अधिक पूरी सूची यहां पाई जा सकती है।

यहां, आइए बताते हैं, एक दिलचस्प उपयोगकर्ता का मामला, जिसमें एसआई माइंस संग्रहीत लॉग्स के डेटा का उपयोग करता है, और फिर यह वास्तविक समय डेटा स्ट्रीम में इन पैटर्नों का पता लगाता है:

वास्तुकला विवरण

आंतरिक SI डिवाइस का वर्णन करने वाला एक और सुंदर MSDN चित्र है:

जैसा कि पहले ही उल्लेख किया गया है, इंजन स्टैंडिंग क्यू पर आधारित है, लगातार इंजन के अंदर घूमता रहता है। एडेप्टर एक और बुनियादी घटक हैं: इनपुट और आउटपुट। वे हमें SI को बाहरी दुनिया से जोड़ने और सभी प्रकार के डेटा स्रोतों का उपयोग करने की अनुमति देते हैं। कुछ सबसे लोकप्रिय एडेप्टर को प्लेटफॉर्म के साथ वितरित किया जाता है, बाकी को सी # में लिखा जाना होगा।
Queues अंदर कैसे काम करता है, इसके बारे में आप निम्नलिखित दस्तावेज़ में सभी विवरणों के साथ पढ़ सकते हैं: गैलेक्सी इंटरसेइट गैलेक्सी पर सहयात्री । मैं समझने के लिए आवश्यक सामान्य तस्वीर का वर्णन करने की कोशिश करूंगा।

सबसे पहले, StreamInsight इंजन के अंदर सभी घटनाओं (यहां तक ​​कि परमाणु) की एक निश्चित अवधि, घटना डेटा और पेलोड (सार्थक भार) है। और इन घटनाओं के साथ काम करने वाले अधिकांश ऑपरेंड तथाकथित इवेंट विंडोज - टाइम विंडो पर विचार करते हैं जिसके अंदर डेटा ऑपरेशन होते हैं।



इस प्लेटफ़ॉर्म पर (LINQ का उपयोग करके), आप निम्न कार्य कर सकते हैं:

• ईवेंट चयन (फ़िल्टर)
• पेलोड (प्रोजेक्ट) गणना
• धागा सहसंबंध (शामिल)
• समूह और प्रवाह लागू करें
• समय खिड़कियों के अंदर एकत्रीकरण (योग, गणना, ...)
• रैंकिंग (टॉपके) टाइम विंडो के अंदर

एक महत्वपूर्ण बिंदु यह है कि एक क्यू से आउटपुट दूसरे क्यू में भेजा जा सकता है, जो डेटा प्रोसेसिंग के अधिक लचीले नियंत्रण की अनुमति देता है (उदाहरण के लिए, प्रकाशित / सदस्यता)

तैनाती और लागत

इस सब के साथ, StreamInsight एक बड़ी और भारी प्रणाली नहीं है जिसे विकसित बुनियादी ढांचे की आवश्यकता है। यह एक dll के रूप में एम्बेड करके सीधे आपके एप्लिकेशन में उपयोग किया जा सकता है। इस स्थिति में, प्रदर्शन सीमा केवल आवंटित रैम की राशि होगी। आप स्टैंड-अलोन मोड में भी अलग से StreamInsight इंजन शुरू कर सकते हैं। इस प्रकार, आप सिस्टम बना सकते हैं जिसमें उत्पाद को विभिन्न स्थानों पर उपयोग किया जाता है: फ़िल्टरिंग के लिए जानकारी के स्रोतों के पास, और धाराओं से आवश्यक डेटा निकालते समय प्रसंस्करण केंद्र में।


लेकिन लाइसेंस और लागत के साथ, सब कुछ इतना अच्छा नहीं है। StreamInsight केवल MS SQL सर्वर के हिस्से के रूप में बेची जाती है, जो कुछ प्रश्न उठाती है। यह इस तथ्य के बावजूद है कि एसआई किसी भी तरह से डेटाबेस इंजन पर निर्भर नहीं करता है और इन उत्पादों के बीच संबंध बल्कि सशर्त है। SI को MS SQL सर्वर से अलग से डाउनलोड किया जा सकता है, लेकिन आपको अभी भी मुख्य उत्पाद से सक्रियण कुंजी की आवश्यकता है। 2 संस्करण हैं: मानक और प्रीमियम। इसके बारे में यहाँ और पढ़ें। विपणक की एक स्पष्ट समस्या है: तकनीकी विभाग के लोग बड़ी तकनीक के साथ आए थे, लेकिन वे इसे अच्छी तरह से बेचने के लिए नहीं आ सके। नतीजतन, ऊपर की तस्वीर को लागू करने के लिए, आपको उचित मात्रा में MS SQL लाइसेंस खरीदना होगा। और ध्यान रखें कि यदि लाइसेंस एंटरप्राइज से कम है, तो आप स्ट्रीमआईनाइट इंजन के प्रदर्शन को कृत्रिम रूप से सीमित कर देंगे। कोई केवल यह आशा कर सकता है कि कुछ समय बाद स्थिति बदल जाएगी और आनुपातिक धन के लिए इस तकनीक का उपयोग करना संभव होगा।

ऑस्टिन - क्लाउड में स्ट्रीमआईनाइट

और हां, कुछ परिदृश्यों के लिए सास मोड में एक समान एनालिटिक्स का उपयोग करने की आवश्यकता है। Microsoft ने अपने Azure में उपयुक्त सेवा देने का प्रयास किया है। सच है, उत्पाद अभी भी बंद बीटा में है, और अधिकांश जानकारी एनडीए द्वारा बंद कर दी गई है। इसलिए यहां मैं केवल वही बताऊंगा जो मैंने खुले स्रोतों (बहुवचन पाठ्यक्रम, आदि) से सीखा।
सबसे पहले, एक उम्मीद है कि इस पहलू में स्ट्रीमआईनाइट एक उचित मूल्य के लिए सामान्य रूप से खरीदने में सक्षम होगा: फिर भी, यह बात एक पूर्ण डेटाबेस को नहीं खींचती है।
दूसरे, ऑस्टिन आने वाले डेटा को संसाधित करने के मामले में स्केलिंग का ध्यान रखता है: आपको यहां क्षैतिज स्केलिंग के बारे में सोचने की आवश्यकता नहीं है। बाकी संरचना समान है: इनपुट एडेप्टर, स्थायी प्रश्न, आउटपुट एडेप्टर।
तीसरा, मुख्य परिदृश्य निम्नलिखित है: डेटा का एक बादल है, हम उन्हें क्रंच करते हैं, आवश्यक ज्ञान खींचते हैं और इसे लगातार भंडारण में डालते हैं। इस प्रकार, इनपुट एडॉप्टर इसके पीछे स्केलिंग लोड बैलेंसर के साथ REST एंडपॉइंट है, और आउटपुट एडेप्टर सीधे एज़्योर स्टोरेज या एज़्योर एसक्यूएल में प्रसंस्करण परिणाम जोड़ सकते हैं।

इस सेवा का दायरा सामान्य रूप से क्लाउड के उपयोग के अनुरूप है:

• डेटा स्रोत भौगोलिक रूप से वितरित या क्लाउड में स्थित हैं
• लचीले, आसानी से स्केलेबल पावर की जरूरत
• डेटा की बड़ी मात्रा के अनियमित और शिखर प्रसंस्करण

जैसा कि मैंने पहले ही नोट किया है, अधिकांश सामग्रियां वर्तमान में NDA के अंतर्गत हैं, और मुझे Microsoft गोपनीय चिह्न के बिना कोई उपयोगी चित्र नहीं मिल सकते हैं। :)

संदर्भ:

वीडियो में सामान्य समीक्षा:
Microsoft StreamInsight: रियल-टाइम रिलेशनल डेटा स्ट्रीम से ज्ञान प्राप्त करना
एक महान दस्तावेज जो स्ट्रीमआईनाइट के लिए आंतरिक संरचना और प्रोग्रामिंग के सभी प्रकार के पहलुओं का वर्णन करता है।
ए हिचहाइकर गाइड टू स्ट्रीमआईनाइट क्वेरीज़
जानकारी का एक और बढ़िया स्रोत: सचमुच सभी दिलचस्प स्थानों के डेमो के साथ एक भुगतान किया गया वीडियो कोर्स:
Pluralsight कोर्स
आधिकारिक डेवलपर्स ब्लॉग:
StreamInsight की विकास टीम का आधिकारिक ब्लॉग।