माइथोलॉजी डेटा साइंस

भविष्य कंपनियों और लोगों का है जो डेटा को उत्पादों में बदलते हैं

मानवता कभी भी स्थिर नहीं रही है - अस्तित्व के कठोर कानून ने लगातार इसे आगे बढ़ने के लिए मजबूर किया है। मानव जाति के विकास के इतिहास में, क्रांतियां हमेशा हुई हैं - एक समाज को दूसरे द्वारा प्रतिस्थापित किया गया था, और अप्रचलित प्रौद्योगिकियों को अधिक उन्नत लोगों द्वारा प्रतिस्थापित किया गया था। नवीनतम सूचना क्रांति बीसवीं सदी के 80 के दशक में व्यक्तिगत कंप्यूटरों के आगमन से जुड़ी है। नई तकनीकों के उद्भव के परिणामस्वरूप जो सूचना को एक नए रूप में संचित करना संभव बनाती हैं - डिजिटल, एक सूचना समाज ने आकार लेना शुरू कर दिया है, औद्योगिक एक की जगह। सूचना समाज एक ऐसा समाज है जिसमें बहुमत जानकारी के उत्पादन, भंडारण, प्रसंस्करण और बिक्री में लगा हुआ है। एक औद्योगिक समाज की तुलना में, जहाँ वस्तुओं के उत्पादन और उपभोग के लिए सभी प्रयासों को निर्देशित किया जाता है, सूचना समाज बुद्धि और ज्ञान का उपभोग करता है, जिससे मानसिक श्रम में वृद्धि होती है। सूचना प्रौद्योगिकी का विकास व्यवस्थित रूप से समाज की संरचना को बदल रहा है, और निर्णय लेने की विधि को भी प्रभावित करता है। जो लोग सूचना के उत्पादन, प्रसारण और प्रसंस्करण के लिए प्रदान करते हैं, अर्थात्। सूचना और संचार प्रौद्योगिकियों के विशेषज्ञ। एक वोट के आधार पर बहुमत द्वारा बड़ी संख्या में लोगों के संबंध में सूचना समाज में निर्णय लिए जाते हैं। किसी घटना पर प्रतिक्रिया का समय कुछ ही मिनटों का होता है, और घटना स्वयं ही लगभग तुरंत ज्ञात हो जाती है। इसके बावजूद, कुछ सरकारें जो आधुनिक समाज में होने वाली विकासवादी प्रक्रियाओं को नहीं समझती हैं, नए समाज में सबसे मूल्यवान वस्तु तक पहुंच को प्रतिबंधित करने की कोशिश कर रही हैं - जानकारी। ऐसे लोग जो एक ऐसे समाज में पले-बढ़े हैं, जहां चर्चा के लिए विषय कृत्रिम रूप से सीमित हैं, और उनमें से कुछ निषिद्ध हैं, उन लोगों की तुलना में पूर्ण नहीं होंगे जो किसी भी जानकारी के लिए मुफ्त पहुंच वाले समाज में बड़े हुए हैं। आवश्यक सेंसरशिप को समाज द्वारा ही चलाया जाएगा - और ऐसे समाज के विकास का स्तर जितना अधिक होगा, स्व-सेंसरशिप का स्तर उतना ही अधिक होगा। यह अच्छा है अगर झटके और क्रांतियों के बिना समाज के सूचना मॉडल के लिए पूर्ण संक्रमण चिकनी है। यह वास्तव में बुरा है अगर हमें परेशान समय से गुजरना पड़ता है। खैर, हमारे पास भविष्य में घटनाओं के विकास का पालन करने का अवसर होगा। हालाँकि, मैं इस बारे में बात नहीं करना चाहता था।

सूचना समाज में मुख्य मूल्य और वस्तु जानकारी है, या बल्कि ज्ञान है। वर्तमान में, कंपनियों में संचित डेटा की मात्रा हर 18 महीने में दोगुनी हो जाती है और दोहरीकरण अवधि लगातार कम हो रही है। 2012 के लिए दुनिया में डिजिटल डेटा की कुल मात्रा लगभग 2.7 zettabytes है - ये 27 और 20 शून्य हैं। 2011 की तुलना में वृद्धि लगभग 50% है, और 2005 की तुलना में बीस गुना अधिक है। 2015 तक, यह 0.8 yottabytes - 10 ²⁴ की कुल डेटा मात्रा की भविष्यवाणी करता है।



यदि आप डेटा वॉल्यूम के विकास वक्र को देखते हैं, तो आप देख सकते हैं कि यह एक घातीय रूप लेता है। और, हालांकि इस डेटा का अधिकांश अनिवार्य रूप से डिजिटल वीडियो, फोटो और ऑडियो जानकारी है, पाठ डेटा की मात्रा अपेक्षाकृत अधिक है। यह आश्चर्यजनक नहीं है कि बिग डेटा, जो हाल ही में उत्पन्न हुआ है, को अब और अधिक बार सुना जा सकता है। यह निर्धारित करने के लिए कि कोई विशेष उपकरण या उत्पाद बिग डेटा फ़ील्ड से संबंधित है, यह अपेक्षाकृत सरल है - तीन V के नियम का उपयोग करना। यह वॉल्यूम - वॉल्यूम, वेग - गति, विविधता - विविधता है। यदि विचाराधीन वस्तु तीन V के नियम की परिभाषाओं के अंतर्गत आती है, तो यह बिग डेटा क्षेत्र से संबंधित है। विकासशील सूचना और संचार प्रौद्योगिकी की व्यापक विविधता से, इस समय तीन मुख्य रुझान हैं - वर्चुअलाइजेशन, क्लाउड, और बड़ी मात्रा में डेटा (बिग डेटा) के भंडारण और प्रसंस्करण से संबंधित क्षेत्र। और इससे पहले, डेटा अध्ययन और विश्लेषण का उद्देश्य था, लेकिन अब यह घटना वास्तव में वैश्विक स्तर पर पहुंच रही है। कोई भी किसी भी चीज़ के लिए डेटा वेयरहाउस में डेटा संग्रहीत नहीं करना चाहता है, जिससे उन्हें मृत वजन करने की अनुमति मिलती है। यदि हम DIKW के पदानुक्रमित सूचना मॉडल पर करीब से नज़र डालते हैं, तो हमें पता चलेगा कि डेटा खुद में कोई दिलचस्पी नहीं है। किसी भी मूल्य को प्राप्त करने से पहले, उन्हें कई चरणों से गुजरना होगा। अधिक सटीक होने के लिए, डेटा स्तर बहुत नींव पर है, DIKW मॉडल के अनुसार अगला चरण वह जानकारी है जो डेटा के संदर्भ में जोड़ता है, फिर ज्ञान आता है जिसे पहले से ही लागू किया जा सकता है और इसका कुछ मूल्य है, अंतिम चरण ज्ञान है, जो हमें डेटा से तथ्य प्राप्त करने की अनुमति देता है और निर्णय लेने का उनका आधार। DIKW मॉडल डेटा प्रबंधन की अवधारणा को रेखांकित करता है। हालाँकि, बड़ी मात्रा में डेटा के भंडारण और प्रसंस्करण के लिए तकनीकी आधार पहले से मौजूद है और इसे पूरी दुनिया में सक्रिय रूप से लागू किया जा रहा है, सैद्धांतिक क्षेत्र इसके पीछे है। यही कारण है कि तथाकथित डेटा साइंस - डेटा साइंस। डेटा विज्ञान शब्द दस साल पहले प्रोफेसर विलियम क्लीवलैंड द्वारा गढ़ा गया था, जिन्होंने सांख्यिकी के क्षेत्र के तकनीकी क्षेत्रों के विस्तार के लिए डेटा साइंस: ए एक्शन प्लान लिखा था। और इस वर्ष, EMC ने लास वेगास में पहला डेटा साइंस समिट 2012 आयोजित किया, जिसमें इस क्षेत्र में डेटा, परिभाषाओं और समस्याओं के साथ काम करने से संबंधित मुद्दों को संबोधित किया गया। वैसे, ईएमसी ने रूस में एक डेटा वैज्ञानिक रिक्ति भी खोली, जो इस क्षेत्र को विकसित करने में ईएमसी की रुचि को इंगित करता है।

इस लेख में, मैं डेटा साइंस शब्द के पीछे क्या छिपा है और डेटा वैज्ञानिक कौन हैं, इस पर बारीकी से विचार करना चाहूंगा।

वास्तव में, डेटा विज्ञान को वर्तमान में पूर्ण-विज्ञान नहीं माना जा सकता है, क्योंकि यह बड़ी मात्रा में डेटा के विश्लेषण के लिए विधियों और प्रौद्योगिकियों के संयोजन का एक मिशाल है। फिर भी, इसका जन्म हमारी आंखों के सामने होता है और वर्तमान में डेटा विज्ञान से संबंधित विशिष्ट प्रौद्योगिकियों और विधियों को कॉल करने के अधिकार के लिए पुनर्वितरण है, और इस विज्ञान के बहुत विषय के बारे में बहस भी है। व्यापक अर्थों में, डेटा विज्ञान वह है जो आपको डेटा सेट से ज्ञान निकालने की अनुमति देता है। डेटा विज्ञान सामान्य आंकड़ों से अधिक जटिल दृष्टिकोण में भिन्न होता है - सभी संभावित स्रोत विश्लेषण के लिए शामिल होते हैं, जिसमें न केवल सूखे आंकड़े के साथ तालिकाओं, बल्कि अन्य डेटा भी शामिल हैं।

यह महत्वपूर्ण रूप से इस क्षेत्र के विशेषज्ञों की खोज को जटिल बनाता है, क्योंकि वे बस अस्तित्व में नहीं हैं। विशेषज्ञों को दुर्लभ गुणों का संयोजन करना चाहिए: जिज्ञासा, गणितीय आंकड़ों का ज्ञान, सूचना प्रौद्योगिकी के क्षेत्र में एक व्यापक दृष्टिकोण, नई चीजों की खोज करने की क्षमता और इच्छा, बिग डेटा के क्षेत्र में नवीनतम उपलब्धियों से परिचित होना, विभिन्न प्रकार के डेटा को आकर्षित करने की क्षमता और उन्हें संसाधित करने के तरीके। माइकल लुकिडिस ने ओरेइली राडार में प्रकाशित अपने लेख "व्हाट इज डेटा साइंस" में डेटा वैज्ञानिकों के लिए अपनी आवश्यकताओं को बहुत अच्छी तरह से व्यक्त किया। इसके अलावा, इन आवश्यकताओं को नीचे दी गई तस्वीर में तीन हलकों के चौराहे पर दर्शाया जा सकता है:



इसके बावजूद, एक सफेद कोट में एक वैज्ञानिक को डेटा वैज्ञानिक का उल्लेख न करें, अपनी प्रयोगशाला में क्रांतिकारी प्रौद्योगिकियों का आविष्कार करें। सबसे अधिक संभावना है, एक डेटा वैज्ञानिक को एक व्यक्ति के रूप में चिह्नित करना बेहतर है, जो गणितीय आंकड़ों के तरीकों को जानता है, बुनियादी उपकरणों से परिचित है, एक व्यक्ति जो सूचना प्रौद्योगिकी के क्षेत्र में व्यापक दृष्टिकोण के साथ है, विशेष रूप से बिग डेटा, जो अतीत में इस क्षेत्र में सैद्धांतिक अनुसंधान में लगे हुए थे।

अंतिम डेटा साइंस समिट 2012 सम्मेलन में चर्चा के लिए मुख्य विषयों में से एक था दुनिया में ऐसे विशेषज्ञों की खोज से संबंधित विषय, साथ ही साथ उनकी भविष्य की संभावनाएं। यदि हम डेटा विकास की गतिशीलता, साथ ही साथ सूचना और संचार प्रौद्योगिकियों के तेजी से विकास को देखते हैं, तो यह निष्कर्ष निकालना आसान है कि भविष्य में ऐसे विशेषज्ञों की आवश्यकता केवल बढ़ेगी, और उनके लिए मांग लगातार बढ़ेगी। कुछ सरकारों ने पहले ही संभावना का आकलन कर लिया है और उचित कदम उठाए हैं- यूएस नेशनल साइंस फाउंडेशन ने बिग डेटा पर नए क्षेत्रों की घोषणा करते हुए वैज्ञानिक क्षेत्रों के साथ बिग डेटा विषयों की बराबरी की है, जो कि स्प्रिंग घोषणाओं की एक श्रृंखला के लिए समर्पित है।

एक डेटा वैज्ञानिक कौन है, इसका बेहतर विचार करने के लिए, मैं उन सवालों की एक सूची पेश करूंगा, जो इस रिक्ति के लिए आवेदक से पूछे जा सकते हैं। मुझे तुरंत यह कहना होगा कि दुर्भाग्य से, हमें परिचित और डेटा वैज्ञानिक के लिए सूची की आवश्यकता नहीं है :(

प्रश्न 1:

आप छोरों का उपयोग किए बिना R में एक मैट्रिक्स के स्तंभों के विचरण की गणना कैसे करते हैं?

प्रश्न 2:

मान लें कि आपके पास दो कॉलमों के साथ एक CSV फ़ाइल है: 1 - पहला नाम, 2 - अंतिम नाम। 1 कॉलम में अंतिम नामों और दूसरे कॉलम में पहले नामों के साथ CSV फ़ाइल बनाने के लिए एक स्क्रिप्टिंग भाषा का उपयोग करके कोड लिखें।

प्रश्न 3:

नक्शा / कमी को स्पष्ट करें, और फिर अपनी पसंदीदा प्रोग्रामिंग भाषा में इसका उपयोग करके एक सरल उदाहरण लिखें।

प्रश्न 4:

मान लीजिए कि आप Google हैं और विज्ञापनों के लिए क्लिक दर (CTR) का मूल्यांकन करना चाहेंगे। आपके पास 1000 अनुरोध हैं, जिनमें से प्रत्येक को 1000 बार कहा गया है। प्रत्येक अनुरोध 10 विज्ञापन दिखाता है और सभी विज्ञापन अद्वितीय हैं। प्रत्येक विज्ञापन के लिए CTR का अनुमान लगाएं।

प्रश्न 5:

मान लीजिए कि आपने 10 चर के साथ एक प्रतिगमन किया है, उनमें से एक 95% के विश्वास अंतराल पर महत्वपूर्ण है। आपको पता चलेगा कि 10% डेटा बेतरतीब ढंग से खो गया था और उनके Y मान हटा दिए गए थे। आप खोए हुए Y के मूल्यों की भविष्यवाणी कैसे करेंगे?

प्रश्न 6:

मान लें कि आपके पास बैंक की दो शाखाओं में से एक में जाने का अवसर है। पहली शाखा में 10 कैशियर हैं, जिनमें से प्रत्येक के पास 10 ग्राहकों की एक अलग लाइन है, 10 कैशियर की दूसरी शाखा में 100 ग्राहकों में एक आम लाइन है। आप किस विभाग का चयन करेंगे?

प्रश्न 7:

बताएं कि रैंडम वन एक सामान्य प्रतिगमन पेड़ से कैसे भिन्न होता है?