बिग डेटा डायलॉग्स

-हाँ!

-Zdorov। आप कैसे हैं जिंदा?

-मैं पकड़ रहा हूं। आप यह भी कह सकते हैं कि हंसमुख और हंसमुख। अच्छा, क्या हम एक आदेश देंगे? आपकी वर्तमान प्राथमिकताएँ क्या हैं - ग्रील्ड डोरैडो या बीफ़ फिंगर मिट?

- मुझे पता भी नहीं है। बल्कि, दूसरा। और आईटी समाधानों की बिक्री के दौरान चीजें कैसे चल रही हैं? गोदाम में "लोहा" लाने के लिए प्रबंधित करें? या एक कमी पहले ही बन चुकी है, और एक हाथ में दो से अधिक नहीं देना है?

-Practically। जल्द ही हम दो पारियों में काम करेंगे - सुबह हम बेचते हैं, शाम को हम जहाज (हंसते हुए)। बिग डेटा 2013 मंच पर ओपन सिस्टम द्वारा आयोजित किया गया था?



-नहीं, यात्रा करने में विफल। क्या कुछ दिलचस्प था, या फिर से उज्ज्वल भविष्य के बारे में बात की गई जो अगले दशक में हमें इंतजार कर रही है, अगर हर कोई बिग डेटा का उपयोग करना शुरू कर देता है?

- दुर्भाग्य से, मैं या तो नहीं था। और बिग डेटा के बारे में इस तरह के संदेह का कारण क्या है?

-सबसे पहले, इस तथ्य के साथ कि अब मार्केटिंग के घूंघट के पीछे बहुत अनाज देखना मुश्किल है, जिसमें से बिग डेटा को विकसित होना चाहिए और वास्तव में उपयोगी कुछ में विकसित करना चाहिए। IT से संबंधित किसी पत्रिका या ब्लॉग का प्रत्येक लेख निश्चित रूप से बिग डेटा के बारे में कुछ लेख या नोट पर आएगा, और इस लेख में वे उन चीजों के बारे में बात कर सकते हैं जो पूरी तरह से बिग डेटा से संबंधित नहीं हैं या इससे अप्रत्यक्ष रूप से संबंधित हैं।

-और आप इस विचार को अनुमति नहीं देते हैं कि बिग डेटा वास्तव में नया है, और मैं आईटी में अभिनव दिशा कहने से भी नहीं डरता?

-बेट डेटा के होते हैं, जो इसे "बड़े स्ट्रोक" में पेश करने की कोशिश करते हैं। सबसे पहले, यह डेटा भंडारण सॉफ्टवेयर है जिसमें डेटा लिखने और पढ़ने के लिए तंत्र है, जो कि एक सीआरयूडी जनरेटर है और मेटाडाटा को संग्रहीत करने के लिए यह समझने के लिए कि क्या लिखा है और कहां है। हार्डवेयर से इस सॉफ़्टवेयर के लिए जो आवश्यक है, वह केवल प्रोसेसिंग पावर और मेमोरी है। इसके अलावा, मेमोरी रैम के रूप में या हार्ड डिस्क के रूप में हो सकती है। क्या आपको लगता है कि प्रोसेसर और मेमोरी ऑपरेशन के मूल सिद्धांत 60 के दशक से बदल गए हैं?

-नहीं, सिद्धांत समान रहे, लेकिन परिमाण के आदेश से स्मृति की शक्ति और मात्रा में वृद्धि हुई। इसलिए, हर कोई कहता है कि बिग डेटा का युग आ गया है - अब टेराबाइट्स में डेटा की मात्रा को तुच्छ माना जाता है।

- ठीक है। बाजार में दिखाई देने वाली हार्ड ड्राइव, तेज और कैपेसिटिव, को शायद ही अभिनव कहा जा सकता है, क्योंकि पहले कंप्यूटर दिखाई देने पर भी उनमें काम के सिद्धांत निर्धारित किए गए थे। बेशक, तकनीकी भाग का आधुनिकीकरण किया जा रहा है - तकनीकी प्रक्रियाओं को कम किया जा रहा है, नए इंटरफेस दिखाई दे रहे हैं। प्रोसेसर के बारे में भी यही कहा जा सकता है - वे छोटे, तेज हो जाते हैं, लेकिन "अधिक अभिनव" नहीं। यही है, बिग डेटा के लिए उपयोग किए जाने वाले सभी हार्डवेयर अनिवार्य रूप से एक ही पुराने, अच्छे डिस्क और प्रोसेसर हैं, लेकिन अब फ्लैश डिस्क और मल्टी-कोर वाले संस्करण हैं जो मांगने वाले हैं।

सॉफ्टवेयर के बारे में क्या?

- यह वह जगह है जहां सिर्फ नवीनता का एक सा है - एक ही Hadoop, या इसके हिस्सों में से एक - HDFS। यह वितरित फ़ाइल सिस्टम के रूप में डेटा स्टोरेज प्रदान करता है और इसे एक्सेस का आयोजन करता है। पहले, यह वास्तव में नहीं हुआ था, हालांकि यहाँ तेरदता के प्रतिनिधि आपसे बहस कर सकते हैं। Hadoop के आगमन के साथ, सैकड़ों टेराबाइट की जानकारी को सहेजना और यहां तक ​​कि इससे कुछ जानकारी प्राप्त करना संभव हो गया - वैसे, यह दूसरा था।

-क्या मतलब?

- यह केवल डेटा को संग्रहीत करने और पढ़ने के लिए पर्याप्त नहीं है, आपको उन लोगों से भी निकालने की आवश्यकता है जो आपको आवश्यक हैं। फिर हडोप की दूसरी छमाही पॉप अप करती है - मैपरड्यूस, जो एचडीएफएस के लिए आवश्यक डेटा निकालने और संसाधित करने के लिए बस यही है। यहां नवाचार की कमी है - सुपर कंप्यूटर के साथ समानांतर कंप्यूटिंग दिखाई दी और यह विचार नया नहीं है। डौग कटिंग कुछ नया नहीं आया, लेकिन वितरित कंप्यूटिंग के लिए एक रूपरेखा विकसित की। यदि आप बड़े पैमाने पर समानांतर आर्किटेक्चर को देखते हैं, तो, फिर, 80 के दशक में टेराडाटा इसमें आया था। इसलिए, संक्षेप में, बिग डेटा में बहुत कम नवीनता है।

-उन्होंने अभी-अभी उसकी बात क्यों की?

आधुनिक "लौह" की तकनीकी विशेषताओं ने सैकड़ों टेर को संग्रहीत और संसाधित करना संभव बना दिया - पहले यह कल्पना करना भी मुश्किल था। सस्ते ड्राइव प्लस मल्टी-कोर प्रोसेसर।

-और क्या, सभी बिग डेटा में हाडोप शामिल हैं?

-कई लोग यह कहने का प्रयास करते हैं कि वे भी बिग डेटा हैं - सभी प्रमुख विक्रेताओं का कहना है कि उनके समाधान बिग डेटा के साथ काम करते हैं और बड़ी मात्रा में डेटा को संसाधित करने के लिए डिज़ाइन किए गए हैं। ओरेकल, ईएमसी, एचपी, आईबीएम, टेराडाटा और इतने पर। लेकिन बड़े और बड़े डेटा, Hadoop है, जो कुछ भी हो सकता है, यहां तक ​​कि Cloudera या Hortonworks, या शायद MapR। हालाँकि बिग डेटा के क्षेत्र में एक्सडाटा, ग्रीनप्लम, नेट्ज़्ज़ा, पेरासेल, वर्टिका, टेराडाटा जैसे कोई भी सर्वसम्मति और कई विशेषता नहीं हैं।

-क्या कारण?

-वे समय की उचित मात्रा में अपेक्षाकृत बड़ी मात्रा में डेटा, कई दसियों या सैकड़ों टेराबाइट्स को संसाधित कर सकते हैं।

-सभी मार्केटिंग किससे संबंधित है? क्या विक्रेता हडोप के विचार से प्रेरित हैं और इसके बारे में सभी को बताने की कोशिश कर रहे हैं?

- बिल्कुल नहीं। कोई इस व्यवसाय में निवेश की गई लागतों को फिर से प्राप्त करने की कोशिश कर रहा है, उदाहरण के लिए, ईएमसी ने ग्रीनप्लम, एचपी ने वर्टिका को खरीदा, आईबीएम ने नेट्ज़्ज़ा को खरीदा, एसएपी ने साइबेस को खरीदा - यह सब बहुत पैसा खर्च हुआ और अब आपको इन लागतों को फिर से भरने और लाभ कमाने की आवश्यकता है। इसलिए, सभी विक्रेता सम्मेलनों का आयोजन करते हैं, पत्रिकाओं में लेख लिखते हैं, प्रचारकों को नियुक्त करते हैं - यह सब संभावित ग्राहकों को समझाने के लिए विपणन योजना का हिस्सा है कि बिग डेटा का युग आ गया है और इसे खरीदने का समय है। और यह क्यों आवश्यक है, ग्राहक को खुद के साथ आना चाहिए, बाजार पर कोई तैयार समाधान नहीं हैं।

-और बड़ी एनालिटिक्स? बड़ी मात्रा में जानकारी का विश्लेषण करने के लिए बिग डेटा का उपयोग करना?

-और यह कैसे छोटे से अलग है? इस विश्लेषण के लिए उपयोग किए जाने वाले सभी गणितीय और सांख्यिकीय तरीकों का आविष्कार किया गया है और लंबे समय तक वर्णित किया गया है - इस क्षेत्र में मौलिक रूप से नया कुछ भी नहीं दिखता है। जैसा कि 20 वीं शताब्दी में विकसित गणितीय उपकरण का उपयोग किया गया था, इसलिए अब इसका उपयोग किया जाता है। इस तथ्य से कि सूचना की मात्रा भारी अनुपात तक पहुंच गई है, विश्लेषणात्मक तरीके नहीं बदले हैं। मुझे यह बड़ा विश्लेषिकी दिखाएँ ...

-हम्म… क्या आपने डाटा साइंस के बारे में कुछ सुना है?

-अगर कोर्स। जब सभी लोग डेटा साइंस के बारे में बात कर रहे हों, तो इसके बारे में जानना मुश्किल नहीं है। यह एक ही मार्केटिंग है, जो विज्ञान से संबंधित है। चलो एक डेटा विश्लेषण प्रक्रिया की कल्पना करते हैं, उदाहरण के लिए, मॉडल डेटा का उपयोग करके-> सूचना-> ज्ञान-> ज्ञान। तो इसका मतलब है - पहले हम डेटा प्राप्त करते हैं, हमारे मामले में यह सिर्फ बाइट्स का एक क्रम है। इस बाइट अनुक्रम में छिपे हुए मूल्य जानकारी हैं, और हम इसे मेटाडेटा का उपयोग करके प्राप्त करते हैं, उदाहरण के लिए, नाम इस कॉलम में संग्रहीत किए जाते हैं, और जन्म की तारीख उस कॉलम में होती है। अगले स्तर पर जाने के लिए - ज्ञान, हम जानकारी के लिए गणितीय और सांख्यिकीय तरीके लागू करते हैं और इसमें से कुछ ज्ञान निकालते हैं, उदाहरण के लिए, हम रूस में 60 से अधिक लोगों की संख्या का पता लगा सकते हैं। यह तथ्य हमें वर्तमान या अतीत की स्थिति के बारे में कुछ जानकारी देता है। हम इस जानकारी पर काम कर सकते हैं और भविष्य में इसका उपयोग कर सकते हैं। लेकिन आगे जाने के लिए, अगले स्तर पर - ज्ञान, हम पहले से ही अन्य तरीकों का उपयोग कर रहे हैं - तंत्रिका और अर्थ नेटवर्क, मशीन लर्निंग, फ़ज़ी लॉजिक, यानी कृत्रिम बुद्धिमत्ता से संबंधित सभी तरीके। बुद्धि हमें वर्तमान स्थिति की पूरी समझ देती है, अर्थात हम इस प्रश्न का उत्तर दे सकते हैं: "हमारे पास रूस में 60 वर्ष से अधिक उम्र के लोग क्यों हैं" या कोई अन्य प्रश्न जिसका उत्तर डेटा में छिपा है। हम पूर्वानुमान और संभावनाएं भी बना सकते हैं। डेटा साइंस विभिन्न क्षेत्रों से तरीकों और दृष्टिकोणों का एक संयोजन है - यहां मशीन लर्निंग है, यहां डेटा माइनिंग है, यहां कृत्रिम बुद्धिमत्ता, साधारण गणित, विशेषज्ञ प्रणाली, आनुवंशिक एल्गोरिदम और इतने पर, हमें डेटा प्राप्त करने की प्रक्रिया को समझने की समझ दी गई है। जो ज्ञान है। वास्तव में एक बहुत ही दिलचस्प बात है, जो हाल ही में उत्पन्न हुई है और अपने रास्ते की शुरुआत में है। मैं इस क्षेत्र में नवीनतम विकासों के साथ रुचि रखता हूं।

-और कुछ मूलभूत रूप से नया डेटा साइंस के साथ दिखाई दिया?

- अभी नहीं। जो लोग खुद को डेटा वैज्ञानिक कहते हैं, वे सेट से विभिन्न तरीकों को लागू करने की कोशिश कर रहे हैं जो लंबे समय से मानव जाति के लिए जाने जाते हैं और परिणाम को देखते हैं। कभी-कभी काफी मजेदार चीजें सामने आती हैं। वैसे, इन्फोग्राफिक्स की वापसी का एक कारण यह है कि अब आप बड़ी मात्रा में डेटा संसाधित कर सकते हैं और कुछ तथ्यों और घटनाओं को एक निश्चित क्षेत्र में रंग चार्ट और ग्राफ़ के रूप में प्रस्तुत कर सकते हैं। इसमें एक निश्चित योग्यता डेटा साइंस की है। मैं यह भी नोट करना चाहता था कि इस दिशा के विकास की गति अधिक है। टेक्स्ट और ग्राफिक जानकारी, वीडियो और ऑडियो को संसाधित करने में कुछ सफलताएँ हैं। पाठ में निहित सिमेंटिक लोड की पहचान, बौद्धिक खोज, भाषण मान्यता - यह सब अब मशीन लर्निंग और डेटा साइंस के जंक्शन पर है। वही अल्फा डॉग पहले से ही जंगल के माध्यम से चल रहा है और हर पेड़ में नहीं चिपकता है।

डेटा साइंस अभी लोकप्रिय क्यों हुआ?

- फिर से, तकनीकी क्षमताएं दिखाई दी हैं। अब 70 के दशक के मानकों के अनुसार हर घर में एक सुपर कंप्यूटर है। स्मार्टफोन में 8 कोर अब किसी को आश्चर्यचकित नहीं करते हैं। और यहां तक ​​कि एक छात्र भी दर्जनों टेराबाइट्स के लिए डिस्क खरीदने का खर्च उठा सकता है।

-विस्तृत, डाटा साइंस के साथ यह स्पष्ट है। फिर भी, बिग डेटा के आसपास बनाई गई मार्केटिंग प्रचार को अलग रखने के लिए, क्या इसका कोई व्यावहारिक उपयोग है?

-अगर कोर्स। हर दिन उत्पन्न होने वाले डेटा की मात्रा बहुत बड़ी है। अब यहां तक ​​कि एक प्रकाश बल्ब का एक आईपी पता है, अधिक सटीक रूप से एक मैक, और यदि आप चाहें तो आप इसमें से कुछ संकेतक ले सकते हैं। आप घर पर भी बिग डेटा की व्यवस्था कर सकते हैं - रोशनी के लिए आवश्यक संकेतक सेट करें, उदाहरण के लिए, 300 लक्स के लिए, एक बाहरी सेंसर से सौर रोशनी का मूल्य लें और बल्ब की शक्ति को समायोजित करें ताकि रोशनी हमेशा 300 लक्स हो। उसी समय, खपत की गई धारा का माप लें - यदि आप वर्ष के दौरान इस तरह के मापों को जमा करते हैं, तो आप समझ सकते हैं कि आपको अगले वर्ष के लिए कितनी बिजली की आवश्यकता है, साथ ही साथ जब प्रकाश पूरी शक्ति पर था, और जब बिल्कुल भी उपयोग नहीं किया गया हो। यह केवल एक सुंदर इन्फोग्राफिक बनाने के लिए बना हुआ है - और यह वह है, आप बिग डेटा में हैं (हंसते हुए)। वास्तव में, बिग डेटा के मुख्य व्यावसायिक अनुप्रयोग अब उपयोगिताओं, रियल एस्टेट बाजार, परिवहन और रसद, वेयरहाउसिंग, चिकित्सा, सरकार, वित्त और बीमा में देखे जाते हैं। इन क्षेत्रों में, उत्पन्न डेटा का प्रवाह बहुत बड़ा है और आप इसे अपने उद्देश्यों के लिए उपयोग करने का प्रयास कर सकते हैं। वैज्ञानिक उद्देश्यों या पूर्वेक्षण के लिए, बिग डेटा का उपयोग हर जगह किया जा सकता है, कोई प्रतिबंध नहीं है। लेकिन यहाँ कठिनाई यह है कि बिग डेटा के लिए कोई पूर्ण, पूर्ण व्यावसायिक समाधान नहीं है, यह आप पर निर्भर है कि आप स्वयं इसके साथ कैसे आएँ। इस संबंध में सबसे उन्नत अपने TheSmarterCity और SmarterPlanet परियोजनाओं के साथ आईबीएम है - ये निश्चित रूप से, शक्तिशाली चीजें हैं।

- यह रोमांचक लगता है, बेशक, लेकिन क्या पहले से ही परियोजनाएं हैं जहां यह वास्तव में काम करता है? सामान्य तौर पर, रूस में बिग डेटा के साथ के रूप में?

-आप जानते हैं, यह प्रकट होने लगता है - सभी बड़े विक्रेताओं ने अपना हार्डवेयर यहां लाया है और उनके बारे में बात करते हैं - ओरेकल बिग डेटा उपकरण, ईएमसी ग्रीनप्लाम एचडी और ईएमसी ग्रीनप्लूम एमआर, आईबीएम बिगआईनाइट्स, टेराडाटा एस्टरडाटा।

-और क्या लोग हैं जो पहले से ही जानते हैं कि उनके साथ कैसे काम करना है? डेटा विश्लेषण को समझने वाले जाविस?

- हां, लेकिन ज्यादा नहीं। वैसे, बिग डेटा के साथ काम करने के लिए, आपको जावा जानने की आवश्यकता नहीं है। वही क्लोदेरा इम्पाला पहले ही बीटा संस्करण के रूप में जारी किया जा चुका है, इसलिए वास्तविक समय में नियमित एसक्यूएल, इसके अलावा, बिग डेटा के साथ काम करना जल्द ही संभव होगा। हालांकि आर को अभी भी अध्ययन करने की आवश्यकता है ...

-और इनमें से कितने लोग?

-अधिक लोगों का कहना है कि वे बिग डेटा के क्षेत्र में काम करते हैं, लेकिन वास्तव में यह नहीं समझते हैं कि यह क्या है। वास्तव में जानकार लोगों को उंगलियों पर गिना जा सकता है - मेरा मतलब है यहां, रूस में।

-यह सब किससे मिलता है? क्या इंटीग्रेटर्स बिग डेटा के बारे में जानते हैं?

- जब तक कंपनियां अपने दम पर बिग डेटा को लागू करती हैं। लेकिन, आश्चर्यजनक रूप से, इंटीग्रेटर्स भी जाग गए और उनमें से कुछ ने इस दिशा में एक विभाग खोला और लोग उनमें भी दिखाई दिए। IBS, Nvision, टेक्नोसर्व, FORS। आप हँसेंगे, लेकिन आयतेको में भी एक बड़ा डेटा चलन खुल गया है, हालाँकि ऐसा लगता है, राज्य एजेंसियों को इसकी आवश्यकता क्यों है? अब तक, उन्होंने प्रेस में हाई-प्रोफाइल कार्यान्वयन और परियोजनाओं के बारे में नहीं लिखा है, लेकिन चीजें धीरे-धीरे चल रही हैं। उसी Sberbank ने अपने R & D केंद्र में बिग डेटा लाइन खोली और वहां कुछ अध्ययन कर रही है। यह संभव है कि एक दो साल में वे बिग डेटा का इस्तेमाल अपने उद्देश्यों के लिए करेंगे।