आपको Hadoop की आवश्यकता नहीं है - आपके पास इतना डेटा नहीं है

उन्होंने मुझसे पूछा: "आपके पास बड़े डेटा और Hadoop के साथ कितना अनुभव है?" मैंने जवाब दिया कि मैं अक्सर Hadoop का उपयोग करता हूं, लेकिन शायद ही कभी - कुछ टीबी से अधिक के डेटा संस्करणों के साथ। मैं बड़े डेटा के लिए नया हूं - मैं विचारों को समझता हूं, कोड लिखा है, लेकिन गंभीर पैमाने पर नहीं।

अगला सवाल था: "क्या आप हाडोप में एक साधारण समूह और राशि बना सकते हैं?" बेशक मैं कर सकता हूं, और मैंने एक डेटा प्रारूप का उदाहरण पूछा।

उन्होंने मुझे सभी 600 एमबी डेटा के साथ एक फ्लैश ड्राइव सौंप दिया (हां, यह सभी डेटा था, नमूना नहीं)। मुझे समझ नहीं आया कि क्यों, लेकिन वे मेरे समाधान की तरह नहीं थे जिसमें pandas.read_csv था और कोई Hadoop नहीं था।

Hadoop आपको सीमित करता है। Hadoop आपको केवल एक प्रकार की गणना करने की अनुमति देता है, जो छद्म कोड में इस तरह दिखता है:

Scala: collection.flatMap( (k,v) => F(k,v) ).groupBy( _._1 ).map( _.reduce( (k,v) => G(k,v) ) )

SQL: SELECT G(...) FROM table GROUP BY F(...)

कुछ साल पहले, मैंने पहले ही इसे इस तरह समझाया:

उद्देश्य: पुस्तकालय में पुस्तकों की संख्या की गणना करना।

नक्शा: आप विषम रेजिमेंटों की गिनती करते हैं, और मैं भी (जितने अधिक लोग हमारे पास हैं, उतनी ही तेजी से हम इस भाग को पूरा करेंगे)।

कम करें: हम एक साथ मिलेंगे और हम में से प्रत्येक द्वारा प्राप्त राशियों को जोड़ेंगे।

इस गणना में आपके द्वारा परिवर्तित की जा सकने वाली एकमात्र चीज़ F(k,v) और G(k,v) । खैर, मध्यवर्ती गणना के प्रदर्शन (और यह सबसे सुखद प्रक्रिया नहीं है) का अनुकूलन करें। बाकी सब कुछ सख्ती से तय है।

हडूप की आवश्यकता है कि सभी गणना परिवर्तन, समूहन और एकत्रीकरण के माध्यम से की जाए। ऐसी गणनाओं के अनुक्रमों को अभी भी अनुमति है। कई गणना इस Procrustean बिस्तर में फिट नहीं है। इसका उपयोग करने का एकमात्र कारण यह है कि यह आपको भारी मात्रा में डेटा की गणना करने की अनुमति देता है। सबसे अधिक संभावना है, आपका डेटा छोटे परिमाण के कई आदेश हैं। लेकिन इस तथ्य के कारण कि Hadoop और बड़ा डेटा फैशनेबल शब्द हैं, आधी दुनिया बिना किसी आवश्यकता के इस बिस्तर में आने के लिए कड़ी मेहनत कर रही है।

लेकिन मेरे पास सैकड़ों मेगाबाइट डेटा है! आप उन्हें एक्सेल में लोड नहीं कर सकते हैं!

एक्सेल के लिए बहुत बड़ा डेटा नहीं है। उनके लिए कई बेहतरीन उपकरण हैं। मेरा पसंदीदा पंडों है , जो न्यूमपी पर आधारित है। त्वरित प्रसंस्करण के लिए सुविधाजनक प्रारूप में आप सैकड़ों मेगाबाइट को मेमोरी में लोड कर सकते हैं। मेरे तीन साल पुराने लैपटॉप पर, कुछ ही समय में NumPy 100,000,000 फ़्लोटिंग-पॉइंट संख्याओं को गुणा करता है। मतलब और आर भी ऐसे उद्देश्यों के लिए अच्छे हैं।

इसके अलावा, सैकड़ों मेगाबाइट अक्सर एक साधारण पायथन स्क्रिप्ट के लिए उत्तरदायी होते हैं जो एक फ़ाइल लाइन को लाइन से पढ़ता है, परिणामों को संसाधित करता है, और उन्हें किसी अन्य फ़ाइल पर लिखता है।

और मेरे पास 10 जीबी है!

मैंने अभी नया लैपटॉप खरीदा है। इसमें 16 जीबी रैम की कीमत मेरे लिए $ 141.98 है, और 256 जीबी एसएसडी की कीमत एक और $ 200 (लेनोवो द्वारा प्रीइंस्टॉल्ड) है। इसके अलावा, यदि आप 10-गीगाबाइट सीएसवी को पंडों में लोड करते हैं, तो यह अक्सर कम मेमोरी लेता है, इस तथ्य के कारण कि "17284932583" जैसे संख्यात्मक तार 4 या 8 बाइट्स में पूर्णांक के रूप में लोड होते हैं, और फ्लोटिंग-पॉइंट संख्या के रूप में "284572452.2435723" । खैर, सबसे खराब स्थिति में, यह एक ही समय में सब कुछ मेमोरी में लोड करने के लिए काम नहीं करेगा।

और मेरे पास 100 जीबी / 500 जीबी / 1 टीबी है!

एक 2 टीबी हार्ड ड्राइव की कीमत $ 94.99, एक 4 - $ 169.99 हार्ड ड्राइव है। अपने आप को खरीदें और उस पर Postgres लगाएं।

Hadoop << SQL और Python

अपनी गणनाओं को व्यक्त करने के संदर्भ में, Hadoop SQL से कड़ाई से नीचा है। ऐसी कोई गणना नहीं है जिसे Hadoop में लिखा जा सकता है, लेकिन SQL में या साधारण पायथन स्क्रिप्ट में ऐसी स्क्रिप्ट लिखना असंभव है जो फ़ाइलों को लाइन द्वारा पढ़ती है।

एसक्यूएल एक साधारण क्वेरी भाषा है जिसमें कम से कम अमूर्तता का रिसाव होता है, जो प्रोग्रामर और व्यावसायिक विश्लेषकों दोनों द्वारा व्यापक रूप से उपयोग किया जाता है। SQL में क्वेरी आमतौर पर बहुत सरल हैं। इसके अलावा, वे आमतौर पर बहुत तेज़ी से निष्पादित करते हैं - यदि आपका डेटाबेस सही ढंग से अनुक्रमित है, तो प्रश्नों को शायद ही कभी एक सेकंड से अधिक लेने की आवश्यकता होती है।

Hadoop में अनुक्रमित की कोई अवधारणा नहीं है। Hadoop केवल पूरी तरह से तालिकाओं को स्कैन कर सकता है। हडोप टपका हुआ अमूर्तताओं से भरा है - आखिरी जगह में मैंने जावा मेमोरी त्रुटियों से लड़ने में अधिक समय बिताया और विश्लेषण से ही विखंडन दर्ज किया (काफी सरल) जो मैं करना चाहता था।

यदि आपका डेटा SQL टेबल के रूप में संरचित नहीं है (उदाहरण के लिए: सादा पाठ, JSON, बायनेरी), तो आमतौर पर यह केवल एक छोटा पायथन या रूबी स्क्रिप्ट लिखने के लिए पर्याप्त होता है ताकि डेटा लाइन को लाइन से संसाधित किया जा सके। ऐसे मामलों में जहां SQL कार्य के लिए खराब रूप से अनुकूल है, Hadoop प्रोग्रामिंग की दृष्टि से कम कष्टप्रद होगा, लेकिन सरल स्क्रिप्ट पर इसका कोई लाभ नहीं है।

कार्यक्रम के लिए और अधिक कठिन होने के अलावा, हाडोप सरल विकल्पों की तुलना में लगभग हमेशा धीमा है। एसक्यूएल के तर्कसंगत उपयोग के कारण एसक्यूएल प्रश्नों को बहुत जल्दी निष्पादित किया जा सकता है - शामिल होने की गणना करने के लिए, पोस्टग्रेक्यूएल बस इंडेक्स को देखें (यदि कोई है, तो निश्चित रूप से) और आवश्यक कुंजी मूल्य देखें। Hadoop को एक पूर्ण तालिका स्कैन की आवश्यकता होती है, इसके बाद एक पूर्ण प्रकार होता है। डेटा को कई मशीनों में विभाजित करके सॉर्टिंग को तेज किया जा सकता है, लेकिन दूसरी तरफ, आपको उन पर डेटा भेजना होगा। बाइनरी डेटा प्रोसेसिंग के मामले में, Hadoop को NameNode को कई कॉल्स की आवश्यकता होगी, जैसे कि पायथन स्क्रिप्ट को फाइल सिस्टम के लिए कई कॉल्स की आवश्यकता होगी।

और मेरे पास 5 से अधिक टीबी डेटा है!

ठीक है, मैं केवल सहानुभूति कर सकता हूं - यहां आप हडोप के बिना नहीं कर सकते। कुछ अन्य उचित विकल्प हैं (हालांकि कई हार्ड ड्राइव वाले बड़े सर्वर पर्याप्त हो सकते हैं), और उनमें से अधिकांश बहुत अधिक महंगे हैं। आपको कई अन्य विकल्पों की आवश्यकता नहीं है (कई हार्ड ड्राइव वाले बड़े सर्वर अभी भी खेल में हो सकते हैं), और आपके अधिकांश अन्य विकल्प बहुत अधिक महंगे हैं।

Hadoop का एकमात्र लाभ इसकी मापनीयता है। यदि आपके पास एक टेबल है जिसमें कई टेराबाइट डेटा हैं, तो Hadoop एक अच्छा विकल्प हो सकता है। यदि आपके पास ऐसी कोई तालिका नहीं है, तो एक प्लेग के रूप में Hadoop से बचें। यह इसके लायक नहीं है, और आपको कम प्रयास और कम समय में, पारंपरिक तरीकों का पालन करने के साथ परिणाम मिलेंगे।

पुनश्च। विज्ञापन

मेरे पास एक स्टार्टअप है जिसका लक्ष्य डेटा विश्लेषण (बड़े और छोटे दोनों), वास्तविक समय की सिफारिशों और प्रकाशकों और ई-कॉमर्स साइटों के लिए अनुकूलन प्रदान करना है। यदि आप एक बीटा उपयोगकर्ता बनना चाहते हैं, तो stucchio@gmail.com पर लिखें।

इसके अलावा, मैं एक सलाहकार हूं। यदि आपकी कंपनी को क्लाउड में बिग डेटा के साथ काम करने के लिए रणनीति की आवश्यकता है, तो मैं मदद कर सकता हूं। लेकिन मैं आपको तुरंत चेतावनी देता हूं - यह पूरी तरह से संभव है कि मैं आपको पंडों को दिखाऊं और आपको तुरंत हडोप से छेड़खानी करने के बजाय एक तुलना प्रदान करूं।

पी पी एस। Hadoop एक बेहतरीन टूल है

मेरे पास Hadoop के खिलाफ कुछ भी नहीं है। मैं नियमित रूप से उन कार्यों के लिए इसका उपयोग करता हूं जो इसके बिना करना मुश्किल होगा। (टिप: मैं हाइव और पिग के बजाय स्कैल्डिंग पसंद करता हूं। यह आपको स्कैला (एक अच्छी प्रोग्रामिंग भाषा) का उपयोग करने की अनुमति देता है और आसानी से अंतर्निहित मैपराइड को छिपाए बिना कॉन्टेनेटेड कार्यों को लिख सकता है।) हडोप एक महान उपकरण है जो प्रसिद्ध परिदृश्यों से समझौता करता है और विशिष्ट उपयोग परिदृश्यों पर केंद्रित है। । मैं सिर्फ 500 एमबी बिग डेटा को संसाधित करने के लिए क्लाउड में एक Hadoop मशीन को चुनने से पहले आपको गंभीरता से सोचने के लिए मनाने की उम्मीद करता हूं।