HBase लोडिंग के माध्यम से बड़े डेटासेट लोड कर रहा है

हाय साथियों!
मैं अपने अनुभव को HBase का उपयोग करके साझा करना चाहता हूं, अर्थात् बल्क लोडिंग के बारे में बात करना। यह एक अन्य डेटा लोडिंग विधि है। यह आम तौर पर सामान्य दृष्टिकोण (क्लाइंट के माध्यम से तालिका में लेखन) से अलग है। एक राय है कि बल्क लोड की मदद से आप बड़ी मात्रा में डेटा को बहुत जल्दी लोड कर सकते हैं। यह वही है जो मैंने फैसला किया।

और इसलिए, पहली चीजें पहले। थोक भार के माध्यम से लोड तीन चरणों में होता है:

• हम एचडीएफएस में डेटा फाइलें डालते हैं
• हम MapReduce कार्य शुरू करते हैं, जो स्रोत डेटा को सीधे HFile प्रारूप फ़ाइलों में परिवर्तित करता है, इसलिए HBase ऐसी फ़ाइलों में अपना डेटा संग्रहीत करता है।
• हम बल्क लोड फ़ंक्शन शुरू करते हैं जो HBase तालिका में प्राप्त फ़ाइलों को (बाइंड) भर देगा।

इस मामले में, मुझे इस तकनीक को महसूस करने और इसे संख्याओं में समझने की आवश्यकता थी: गति के बराबर क्या है, यह फाइलों की संख्या और आकार पर कैसे निर्भर करता है। ये संख्याएं बाहरी स्थितियों पर भी निर्भर हैं, लेकिन सामान्य लोडिंग और बल्क लोडिंग के बीच के आदेशों को समझने में मदद करती हैं।

स्रोत डेटा:

Cloudera CDH4, HBase 0.94.6-cdh4.3.0 द्वारा प्रबंधित क्लस्टर।
CentOS / 4CPU / RAM 8GB / HDD 50GB कॉन्फ़िगरेशन में तीन वर्चुअल होस्ट (हाइपरविजर पर)
टेस्ट डेटा को विभिन्न आकारों के CSV फ़ाइलों में संग्रहीत किया गया था, जिसमें कुल मात्रा 2GB, 3.5GB, 7.1GB और 14.2GB है
परिणामों के बारे में सबसे पहले:

थोक लोडिंग


दर:

• अधिकतम 29.2 एमबी / सेकंड या 58K आरईसी / सेकंड (3.5 जीबी 28 फाइलों में)
• औसत 27 एमबी / सेकंड या 54K आरईसी / सेकंड (वास्तविकता के करीब काम करने की गति)
• न्यूनतम 14.5 एमबी / सेकंड या 29K आरईसी / सेकंड (100 फ़ाइलों में 2 जीबी)
• 1 फ़ाइल 100 से 20% अधिक तेज़ी से अपलोड होती है

एक रिकॉर्ड का आकार (पंक्ति): 0.5Kb
MapReduce नौकरी प्रारंभिक समय: 70 सेकंड
स्थानीय फ़ाइल सिस्टम से HDFS में फ़ाइलों का समय डाउनलोड करें:

• 3.5GB / 1 फ़ाइल - 65 सेकंड
• 7.5GB / 100 - 150 सेकंड
• 14.2G / 1 फ़ाइल - 285 सेकंड

ग्राहकों के माध्यम से डाउनलोड करें:

डाउनलोड 8 थ्रेड्स के साथ 2 मेजबानों से किया गया था।
एक ही समय में मुकुट पर शुरू हुआ ग्राहक, सीपीयू लोड 40% से अधिक नहीं था
पिछले मामले की तरह एक रिकॉर्ड (पंक्ति) का आकार 0.5Kb था।

परिणाम क्या है?

मैंने अल्ट्रा-फास्ट डेटा लोड करने के तरीके के रूप में बल्क लोड के बारे में बात के मद्देनजर इस परीक्षण को लागू करने का निर्णय लिया। यह कहने योग्य है कि आधिकारिक दस्तावेज में हम केवल नेटवर्क और सीपीयू पर लोड को कम करने के बारे में बात कर रहे हैं। जैसा हो सकता है वैसा हो, मुझे गति में लाभ नहीं दिखता। टेस्ट से पता चलता है कि बल्क लोड केवल 1.5 गुना तेज है, लेकिन यह मत भूलो कि यह एम / आर की नौकरी के प्रारंभिककरण को ध्यान में रखे बिना है। इसके अलावा, डेटा को एचडीएफएस तक पहुंचाया जाना चाहिए, इसमें कुछ समय भी लगेगा।
मुझे लगता है कि यह बल्क लोड को केवल डेटा लोड करने के एक और तरीके के रूप में मानता है, आर्किटेक्चरली अलग (कुछ मामलों में बहुत सुविधाजनक)।

और अब कार्यान्वयन के लिए

सैद्धांतिक रूप से, सब कुछ काफी सरल है, लेकिन व्यवहार में कई तकनीकी बारीकियां हैं।

//  Job job = new Job(configuration, JOB_NAME); job.setJarByClass(BulkLoadJob.class); job.setMapOutputKeyClass(ImmutableBytesWritable.class); job.setMapOutputValueClass(Put.class); job.setMapperClass(DataMapper.class); job.setNumReduceTasks(0); job.setInputFormatClass(TextInputFormat.class); job.setOutputFormatClass(HFileOutputFormat.class); FileInputFormat.setInputPaths(job, inputPath); HFileOutputFormat.setOutputPath(job, new Path(outputPath)); HTable dataTable = new HTable(jobConfiguration, TABLE_NAME); HFileOutputFormat.configureIncrementalLoad(job, dataTable); // ControlledJob controlledJob = new ControlledJob( job, null ); JobControl jobController = new JobControl(JOB_NAME); jobController.addJob(controlledJob); Thread thread = new Thread(jobController); thread.start(); . . . //   output setFullPermissions(JOB_OUTPUT_PATH); //  bulk-load LoadIncrementalHFiles loader = new LoadIncrementalHFiles(jobConfiguration); loader.doBulkLoad( new Path(JOB_OUTPUT_PATH), dataTable ); 

• MapReduce Job उपयोगकर्ता के अधिकारों के साथ आउटपुट फाइल बनाता है, जिसकी ओर से इसे लॉन्च किया गया था।
• थोक लोड हमेशा hbase उपयोगकर्ता की ओर से शुरू किया जाता है, इसलिए यह इसके लिए तैयार की गई फ़ाइलों को नहीं पढ़ सकता है, और इस अपवाद के साथ क्रैश हो जाता है: org.apache.hadoop.security.AccessControlException: अनुमति अस्वीकृत: उपयोगकर्ता = hasease

इसलिए, आपको hbase उपयोगकर्ता की ओर से Job चलाना चाहिए या आउटपुट फ़ाइलों को अधिकार देना चाहिए (यह वास्तव में मैंने क्या किया है)।

• आपको सही ढंग से HBase तालिका बनाना होगा। डिफ़ॉल्ट रूप से, यह एक क्षेत्र के साथ बनाया जाता है। यह इस तथ्य की ओर जाता है कि केवल एक reducer बनाया जाता है और रिकॉर्डिंग केवल एक नोड तक जाती है, इसे 100% लोड करता है, जबकि अन्य धूम्रपान करते हैं।
  इसलिए, एक नई तालिका बनाते समय, आपको पूर्व-विभाजन करना चाहिए। मेरे मामले में, तालिका को पूरे क्लस्टर में समान रूप से बिखरे हुए 10 क्षेत्रों में विभाजित किया गया था।

 //    - HTableDescriptor descriptor = new HTableDescriptor( Bytes.toBytes(tableName) ); descriptor.addFamily( new HColumnDescriptor(Constants.COLUMN_FAMILY_NAME) ); HBaseAdmin admin = new HBaseAdmin(config); byte[] startKey = new byte[16]; Arrays.fill(startKey, (byte) 0); byte[] endKey = new byte[16]; Arrays.fill(endKey, (byte)255); admin.createTable(descriptor, startKey, endKey, REGIONS_COUNT); admin.close(); 

• MapReduce Job आउटपुट डायरेक्टरी को लिखता है, जिसे हम उसे बताते हैं, लेकिन साथ ही कॉलम परिवार के समान नाम की उपनिर्देशिका भी बनाते हैं। वहां फाइलें बनाई जाती हैं

सामान्य तौर पर, यह सब है। मैं कहना चाहता हूं कि यह एक कठिन परीक्षण है, बिना मुश्किल अनुकूलन के, इसलिए यदि आपको कुछ जोड़ना है, तो मुझे सुनकर खुशी होगी।

सभी प्रोजेक्ट कोड GitHub: github.com/2anikulin/hbase-bulk-load पर उपलब्ध है