Google प्लेटफ़ॉर्म 10+ साल

डेटा का भंडारण और प्रसंस्करण एक ऐसा कार्य है जिसे मानवता बदलती सफलता के साथ हजारों वर्षों से हल कर रही है। इस समस्या को हल करने से जुड़ी समस्याएं न केवल डेटा की भौतिक मात्रा ( वॉल्यूम ) के साथ जुड़ी हैं, बल्कि इस डेटा की परिवर्तनशीलता की दर ( वेग ) और डेटा स्रोतों की विविधता ( विविधता ) के साथ भी हैं - जो कि उनके लेखों में गार्टनर विश्लेषकों [11, 12] "3 वी" के रूप में नामित।

कंप्यूटर साइंस ने हाल ही में बिग डेटा समस्या का सामना किया है जो निजी कंपनियों, सरकारों और वैज्ञानिक समुदाय को आईटी से समाधान की प्रतीक्षा कर रहे हैं।

और एक कंपनी पहले से ही दुनिया में दिखाई दी है, जो अलग-अलग सफलता के साथ 10 वर्षों के लिए बिग डेटा की समस्या का सामना कर रही है। मेरी राय में (क्योंकि मज़बूती से बताने के लिए हमें खुले डेटा की ज़रूरत है, जो स्वतंत्र रूप से उपलब्ध नहीं है), कोई भी वाणिज्यिक या गैर-वाणिज्यिक संगठन कंपनी की तुलना में बड़ी मात्रा में डेटा संचालित नहीं करता है।

Hadoop प्लेटफॉर्म के विचारों के साथ-साथ HBase, Apache Giraph, Apache Drill जैसे Hadoop इकोसिस्टम के कई घटकों में इस कंपनी का मुख्य योगदान था।

आपने अनुमान लगाया, यह Google के बारे में है।

Google बिग डेटा टाइमलाइन

परंपरागत रूप से, Google में "बिग डेटा" समाधान के विकास के इतिहास को 2 अवधियों में विभाजित किया जा सकता है:

• पहली अवधि ( 2003-2008 ): इस अवधि के दौरान सिद्धांतों और अवधारणाओं का एक सेट वर्णित किया गया था जो अब बड़ी मात्रा में डेटा (कमोडिटी उपकरणों पर) प्रसंस्करण की दुनिया में मानक हैं।
  
• दूसरी अवधि ( 2009 से वर्तमान तक ): डेटा प्रोसेसिंग प्रौद्योगिकियों का वर्णन किया गया था, जो कि उच्च संभावना के साथ, निकट भविष्य में "बिग डेटा" कार्यों को हल करने के लिए उपयोग किया जाएगा।
  

2003-2008

इस अवधि के दौरान, Google इंजीनियरों ने अपनी समस्याओं को हल करने के लिए Google द्वारा उपयोग किए जाने वाले 3 प्रणालियों के बारे में स्वतंत्र रूप से उपलब्ध शोध पत्रों का वर्णन और प्रकाशन किया:

• Google फ़ाइल सिस्टम (GFS) - वितरित फ़ाइल सिस्टम [1];
• बिगटेबल [3] - एक उच्च-प्रदर्शन डेटाबेस डेटा के पेटाबाइट्स के भंडारण पर केंद्रित है;
• MapReduce [2] - एक सॉफ्टवेयर मॉडल जिसे बड़ी मात्रा में डेटा के वितरण के लिए डिज़ाइन किया गया है।

बिग डेटा उद्योग के विकास में पहले कदम पर Google द्वारा प्रकाशित कार्य का प्रभाव बहुत कठिन है।
Google द्वारा वर्णित अवधारणाओं के कार्यान्वयन का सबसे प्रसिद्ध उदाहरण है हडॉप मंच। तो एचडीएफएस फाइल सिस्टम का प्रोटोटाइप जीएफएस है ; HBase वास्तुकला के पीछे के विचार BigTable से आते हैं ; और Hadoop MapReduce गणना ढांचे ( YARN के बिना) एक समान Google MapReduce ढांचे में सन्निहित सिद्धांतों का कार्यान्वयन है।

2008 में शुरू होने वाला Hadoop प्लेटफ़ॉर्म कई वर्षों में लोकप्रियता हासिल करेगा और 2010-2011 तक बिग डेटा के साथ काम करने के लिए वास्तविक मानक बन जाएगा।

अब Hadoop बिग डेटा की दुनिया में पहले से ही एक "लोकोमोटिव" है और इस IT सेगमेंट पर इसका बहुत बड़ा प्रभाव है। लेकिन एक समय में, Google द्वारा वर्णित बिग डेटा प्लेटफॉर्म के निर्माण के लिए आर्किटेक्चरल दृष्टिकोण पर हडोप का समान प्रभाव था ।

Google प्लेटफ़ॉर्म स्वयं इस समय को विकसित कर रहा है, अधिक से अधिक नई आवश्यकताओं के अनुकूल है, खोज इंजन में नई सेवाएं हैं, जिनमें उन लोगों को शामिल किया गया है जिनकी प्रकृति बैच मोड के बजाय एक इंटरैक्टिव प्रोसेसिंग मोड के अनुरूप है ; चंक आकार (GFS में क्लस्टर) सभी डेटा प्रकारों के कुशल भंडारण के लिए उपयुक्त नहीं थे ; भू से संबंधित आवश्यकताएं थीं - वितरित लेनदेन के लिए वितरण और समर्थन ।

2009-2010 तक, Google और शैक्षणिक वातावरण दोनों में, उन्होंने 2003 से 2008 तक Google इंजीनियरों द्वारा वर्णित बिग डेटा प्लेटफॉर्म के निर्माण के लिए दृष्टिकोण के सेट के फायदे और सीमाओं का पर्याप्त विस्तार से अध्ययन किया। हाँ, और Google प्लेटफ़ॉर्म 2009 की अवधि तक विकसित और विकसित हुआ।

2009-2013

तो, (सशर्त रूप से) Google में बिग डेटा प्लेटफ़ॉर्म के विकास का दूसरा चरण - 2009-2013 - निम्नलिखित सॉफ्टवेयर सिस्टम कंपनी के शोधकर्ताओं द्वारा अलग-अलग डिग्री के विवरण के साथ वर्णित किए गए थे:

• Colossus (GFS2) एक वितरित फ़ाइल प्रणाली है जो GFS [10] का विकास है।
  
• स्पैनर डेटा वर्जनिंग के समर्थन के साथ एक स्केलेबल जियो-डिस्ट्रीब्यूटेड स्टोरेज है, जो बिगटेबल [8] का विकास है।
  
• डरमेल निकट-वास्तविक समय (निकट-वास्तविक-समय) मोड में प्रसंस्करण अनुरोधों के लिए एक स्केलेबल सिस्टम है, जिसे संबंधित रीड-ओनली डेटा [4] का विश्लेषण करने के लिए डिज़ाइन किया गया है।
  
• Percolator वृद्धिशील डेटा प्रोसेसिंग का एक प्लेटफ़ॉर्म है, जिसका उपयोग Google खोज अनुक्रमित [9] को अपडेट करने के लिए किया जाता है।
  
• कैफीन GFS2, अगली पीढ़ी (पुनरावृत्त) MapReduce और अगली पीढ़ी BigTable [6] का उपयोग करते हुए एक Google खोज सेवाओं का बुनियादी ढांचा है।
  
• प्रागेल एक स्केलेबल, फॉल्ट सहनशील और वितरित ग्राफ प्रोसेसिंग सिस्टम [7] है।
  
• फोटॉन स्ट्रीमिंग डेटा [5] को संसाधित करने के लिए एक स्केलेबल, दोष-सहिष्णु और भू-वितरित प्रणाली है।
  

Google प्लेटफ़ॉर्म श्रृंखला के बाद के लेखों में, हम ऊपर दिए गए अधिकांश आंतरिक Google सॉफ़्टवेयर उत्पादों के बारे में चर्चा करेंगे जिनके साथ Google ने स्टोरिंग, स्ट्रक्चरिंग और खोज डेटा की समस्याओं को हल करने, स्पैम का पता लगाने, प्रासंगिक विज्ञापन सेवाओं में विज्ञापन प्रदर्शित करने की दक्षता बढ़ाने और डेटा स्थिरता बनाए रखने की समस्याओं को हल किया है। सोशल नेटवर्क Google+ आदि पर।

एक निष्कर्ष के बजाय

समापन के बजाय, मैं एक ऐसे व्यक्ति को उद्धृत करूंगा, जिसने बिग डेटा उद्योग के भविष्य की भविष्यवाणी करने की अपनी क्षमता को पहले ही साबित कर दिया है, क्लेयर्डा के सीईओ माइक ओल्सन:

यदि आप जानना चाहते हैं कि बड़े पैमाने पर, उच्च-प्रदर्शन डेटा प्रसंस्करण क्या है
बुनियादी ढांचा भविष्य की तरह लग रहा है, मेरी सलाह होगी कि अभी जो Google शोध पत्र आ रहे हैं, उन्हें पढ़ें।
- माइक ओल्सन, क्लूडेरा के सीईओ

चक्र तैयार करने के लिए उपयोग किए जाने वाले स्रोतों की सूची

मुख्य स्रोत

• [१] संजय गेमावत, हॉवर्ड गोबीऑफ, शुन-टेक लेउंग। Google फ़ाइल सिस्टम। ACM SIGOPS ऑपरेटिंग सिस्टम की समीक्षा, 2003।
  
• [२] जेफरी डीन, संजय गेमावत। MapReduce: बड़े समूहों पर डेटा प्रोसेसिंग सरल। OSDI, 2004 की कार्यवाही।
  
• [३] फे चैंग, जेफरी डीन, संजय गेमावत, विल्सन सी। हेसिह, डेबोरा ए। व्लाच, एट अल। बिगटेबल: संरचित डेटा के लिए एक वितरित संग्रहण प्रणाली। OSDI, 2006 की कार्यवाही।
  
• [४] सर्गेई मेलनिक, एंड्रे गुबारेव, जिंग जिंग लॉन्ग, जेफ्री रोमर, एट अल। Dremel: वेब-स्केल डेटासेट का इंटरएक्टिव विश्लेषण। VLDB बंदोबस्ती की कार्यवाही, 2010।
  
• [५] राजगोपाल अनंतनारायणन, वेंकटेश बस्कर, सुमित दास, आशीष गुप्ता, हाइफ़ेंग जियांग, तियानहाओ किउ, एट अल। फोटॉन: फॉल्ट-टॉलरेंट एंड स्केलेबल जॉइनिंग ऑफ कंटीन्यूअस डेटा स्ट्रीम्स, 2013।
  
• [६] हमारा नया खोज सूचकांक: कैफीन। Google आधिकारिक ब्लॉग।
  
• [Gor] ग्राज़ोरेज़ माल्विकेज़, मैथ्यू एच। ऑस्टर्न, आरट जेसी बीसी, जेम्स सी। डेहर्ट, इलन हॉर्न, एट अल। प्रीगेल: लार्ज-स्केल ग्राफ प्रोसेसिंग के लिए एक सिस्टम। डेटा के प्रबंधन पर 2010 के अंतर्राष्ट्रीय सम्मेलन की कार्यवाही, 2010।
  
• [Cor] जेम्स सी। कॉर्बेट, जेफरी डीन, माइकल एपस्टीन, एंड्रयू फेक्स, क्रिस्टोफर फ्रॉस्ट, जे जे फुरमैन, एट अल। स्पैनर: Google का ग्लोबली-डिस्ट्रिब्यूटेड डेटाबेस। OSDI, 2012 की कार्यवाही।
  
• [९] डैनियल पेंग, फ्रैंक डाबेक। बड़े पैमाने पर वृद्धिशील प्रसंस्करण वितरित लेनदेन और अधिसूचनाओं का उपयोग करते हुए। ऑपरेटिंग सिस्टम डिजाइन और कार्यान्वयन, 2010 पर 9 वीं USENIX संगोष्ठी की कार्यवाही।
  
• [१०] एंड्रयू फिकस। भंडारण वास्तुकला और चुनौतियां। Google संकाय शिखर सम्मेलन, 2010।
  

अतिरिक्त स्रोत

• [११] डगलस, एल ३ डी डेटा मैनेजमेंट: डेटा वॉल्यूम, वेग और विविधता को नियंत्रित करना। गार्टनर, 2001।
  
• [१२] क्रिस्टी पेटे, लॉरेंस गोसाडफ। गार्टनर 'बिग डेटा' चैलेंज को हल करते हुए कहते हैं कि डेटा के बस प्रबंध संस्करणों से अधिक है। गार्टनर, 2011।
  
• [१३] गुणात्मक परिवर्तनों के गुणात्मक लोगों के संक्रमण का कानून। मुक्त विश्वकोश विकिपीडिया।
  
• [१४] Google BigQuery Google डेवलपर्स
  
• [१५] संसाधन लेख ०x ode.in : {बिग डेटा, क्लाउड कम्प्यूटिंग, एचपीसी} ब्लॉग।
  

दिमित्री पेटुखोव,
एमसीपी, पीएचडी छात्र , आईटी लाश,
लाल रक्त कोशिकाओं के बजाय कैफीन के साथ एक व्यक्ति।