PHP में 1000 थ्रेड्स में डेटा की टेराबाइट्स को कैसे संभालना है - Hadoop / MapReduce

सभी को नमस्कार!

बिग्रेड के बारे में पहले से ही सुना है? खैर, हां, वेब बढ़ रहा है, अधिक डेटा है और उन्हें नियंत्रण में रखने की आवश्यकता है और समय-समय पर विश्लेषण किया जाता है। डेटाबेस लोड के तहत फट गया, रिलेशनल सिद्धांत कार्य के साथ काफी सामना नहीं करता है, एक समाधान की आवश्यकता है। विपणन सक्रिय रूप से ऊपर से कुचलता है, और तेज कोनों के साथ लोहा - नीचे से और आत्महत्या की स्मैक।

इस पोस्ट में मैं पीएचपी में 1000 = थ्रेड्स में कैसे = = टेराबाइट्स को हैंडल करने के बारे में संक्षिप्त सैद्धांतिक निष्कर्ष के साथ विशिष्ट कार्य व्यंजनों और कोड के टुकड़े देने की कोशिश करूंगा। ताकि आप समय बर्बाद किए बिना और सिद्धांत के साथ अपने सिर को दबाए बिना समस्या को ले और हल कर सकें।

हालांकि, यदि आप अचानक मिचली और चक्कर आते हैं, तो आप अब पढ़ नहीं सकते हैं - लेकिन सुंदर पक्षियों की प्रशंसा करें और उपरोक्त के बारे में भूल जाएं। लेकिन सतर्क रहें, बिगडाता कल उठा सकता है और दरवाजा खटखटा सकता है ;-)

जैसा कि आमतौर पर किया जाता है

वेब पर हमेशा की तरह। जब तक यह फट न जाए तब तक डेटा को डेटाबेस में जोड़ें। यदि यह फट जाता है, तो MySQL शार्पिंग, पार्टिशनिंग के बारे में बातचीत, रैम में मल्टी-मास्टर क्लस्टर के बारे में याद रखें।

यदि यह मदद नहीं करता है, तो NoSQL समाधान की खोज और कार्यान्वयन जैसे कि रेडिस या डायनमोएडी जैसी क्लाउड सेवा शुरू होती है । यह स्वयं स्फिंक्स वॉल्यूम डेटा के लिए एक अच्छा खोज इंजन साबित हुआ है।

अवचेतन रूप से, गणना प्रगति पर है - इसे डेटाबेस में सहेजें और फिर जानकारी का विश्लेषण करें। और यह अक्सर काम करता है। लेकिन हमेशा नहीं ... और यह "हमेशा नहीं" आम होता जा रहा है।

और भी अधिक डेटा, ऑनलाइन विश्लेषण की आवश्यकता है

व्यवसाय का जवाब देना हमेशा संभव नहीं होता है - एक दिन प्रतीक्षा करें, लॉग / डेटा का विश्लेषण करें और अंक दें। लाइव तीर के साथ उपकरणों पर स्थिति का प्रबंधन करने के लिए व्यवसाय के लिए ऑनलाइन संख्याओं का होना अक्सर महत्वपूर्ण होता है।


पायलटों के लिए एक होटल में दिन में एक बार काले बक्से में दर्ज जानकारी का विश्लेषण करके एक हवाई जहाज को नियंत्रित करने की कल्पना करना डरावना है। :-)



जब डेटा प्रवाह और भी अधिक तीव्र हो जाता है या व्यावसायिक तर्क के लिए डेटा पर वर्तमान जानकारी की उपलब्धता की आवश्यकता होती है जिसे अभी तक संसाधित नहीं किया गया है ... तो हम "स्ट्रीम विश्लेषण" जैसे टूल का उपयोग कर सकते हैं:
1) पिनबा
2) अमेज़न Kinesis
3) nginx / ragel के आधार पर स्ट्रीम पार्सर

कागज के एक टुकड़े और एक पेंसिल के साथ इनमें से प्रत्येक अमूल्य उपकरण को कम से कम एक बार समझना उपयोगी है, और कम से कम एक रात के लिए मैनुअल और प्रोटोटाइप के साथ "नींद" के लिए और भी अधिक उपयोगी है।


मैं विशेष रूप से सेटअप में आसानी और संचालन में आसानी और न्यूनतम भार के लिए पिनबा को सिंगल आउट करना चाहूंगा । Js नेविगेशन टाइमिंग एपीआई के आधार पर अपने क्लाइंट के ब्राउज़र में एक वेब एप्लिकेशन के प्रदर्शन पर आंकड़ों के संग्रह को व्यवस्थित करने के लिए - 30 लाइनों पर PHP में 2 फ़ाइलों में किया जाता है।

जब ऑनलाइन डेटा का विश्लेषण करना संभव नहीं है, तो संचित डेटा और संबंधित एल्गोरिदम के समानांतर विश्लेषण के समाधान की तलाश शुरू होती है।

डेटा सरणियों के समानांतर प्रसंस्करण

वस्तुओं की एक सूची है, मान लें कि ये s3 क्लाउड में फाइलें हैं, जिनमें से आपके पास लाखों हैं। कोई फर्क नहीं पड़ता कि हम क्लाउड पर कैसे भरोसा करते हैं, आपको समय-समय पर इन फाइलों को दूसरे क्लाउड / सर्वर पर अपलोड करने की आवश्यकता होती है। प्रत्येक फ़ाइल एन्क्रिप्ट की जाती है, संपीड़ित होती है, अन्य ऑपरेशन होते हैं और कॉपी किए जाते हैं।

प्रकृति में कई समान कार्य हैं:

• छवि प्रसंस्करण
• XSLT फ़िल्टर के माध्यम से XML दस्तावेज़ प्रसंस्करण
• लॉग प्रसंस्करण
• छंटाई

ये कार्य सामान्य विभाजन के अंतर्गत आते हैं और एल्गोरिथ्म को जीतते हैं:
- हम कार्यों को भागों में वितरित करते हैं
- हम प्रत्येक भाग को अलग-अलग और अन्य भागों के साथ समानांतर में संसाधित करते हैं
- एकत्रीकरण के माध्यम से परिणाम गठबंधन


PHP के लिए, आप इस समस्या को हल करने की कोशिश कर सकते हैं जैसे कि RabbitMQ और / या Gearman का उपयोग करके - लेकिन असाधारण स्थितियों को सुलझाने के लिए आपको बहुत परेशान करना पड़ेगा, एक आम फाइल सिस्टम को तेज करना, 20 सर्वर पर क्लस्टरिंग करना, आदि।

इसलिए, यदि आपका कार्य एक सर्वर पर 30 PHP थ्रेड्स में हल किया जा सकता है, तो सूचीबद्ध उपकरण आमतौर पर पर्याप्त हैं। हालांकि, यदि आप "बदकिस्मत" हैं और एक घंटे में कुछ टेराबाइट्स संसाधित करने और लोहे को देने की आवश्यकता है, तो आप कितना लेते हैं, एक समाधान है :-)

हां, हां, निश्चित रूप से यह हैडोप है , जो ऊपर की लड़कियों के फोटो के साथ परस्पर संबंधित मैपरेड्यूस प्रतिमान को लागू करता है; ;-)

जो आगे पढ़ने के लिए बहुत आलसी है और वह नुस्खा जानना चाहेगा, यहाँ मूल समस्या और हादो पर इसके समाधान का एक उदाहरण है:

आपको bucket1 s3 से bucket2 s3 में 10 मिलियन फ़ाइलों को संपीड़ित करने, एन्क्रिप्ट करने और स्थानांतरित करने की आवश्यकता है।
यदि आप सर्वर पर PHP टूल्स करते हैं, तो आप अधिकतम 20-30 PHP थ्रेड्स कांटा कर सकते हैं, जिन्हें प्रत्येक अपनी प्रक्रिया में निष्पादित करेगा। और इसमें कई सप्ताह लगेंगे। और डेटा की मात्रा बढ़ रही है और एक सिस्टम समाधान की आवश्यकता है।
यदि आप Hadoop के साथ भी ऐसा करते हैं, तो कार्य एक घंटे में पूरा किया जा सकता है, लेकिन बड़ी संख्या में लोहे के टुकड़ों पर। यदि आप प्रत्येक पर 15 थ्रेड्स के साथ लोहे के टुकड़ों की एक उचित संख्या चुनते हैं, तो आप 2 दिन मिल सकते हैं।
यानी यदि छह महीने में प्रसंस्करण के लिए फ़ाइलों की संख्या 10 मिलियन से 50 मिलियन तक बढ़ जाती है, तो आपको केवल लोहे के टुकड़ों की संख्या में वृद्धि करते हुए, Hadoop क्लस्टर लॉन्च कॉन्फ़िगरेशन में केवल एक अंक को बदलने की आवश्यकता होगी।
क्या यह सुंदर और व्यवस्थित नहीं है? :-)

Hadoop

सामान्य तौर पर, यह एक बड़ा उत्पाद है और शायद 24/7 सप्ताह तक मैनुअल पढ़ने के लिए पर्याप्त नहीं है - लेकिन इसकी आवश्यकता नहीं है। हम आपको और हमारे समय की बचत करते हुए कुशलतापूर्वक और तेज़ी से इस तकनीक का उपयोग करना सीखेंगे।

स्थापना

जावा सॉफ़्टवेयर स्थापित करने के अलावा, आपको एक संकुल फ़ाइल सिस्टम को कॉन्फ़िगर करने की भी आवश्यकता होगी। क्यों और कैसे क्लस्टर नोड्स साझा फ़ाइलों का आदान-प्रदान करेंगे? लेकिन हम मुश्किल हो जाएंगे - हम अमेज़न में Hadoop क्लस्टर लॉन्च करेंगे। सब कुछ पहले से ही कॉन्फ़िगर और स्थापित है।

नक्शा तैयार करना और स्क्रिप्ट कम करना

यहाँ पोस्ट में सबसे दिलचस्प है। Hadoop आपको किसी भी भाषा में स्क्रिप्ट का उपयोग करने की अनुमति देता है - और फ़ाइल को bash में सॉर्ट करता है या PHP / Python / Perl में प्रोसेस करता है।

लिपियों को मानक इनपुट से पढ़ा जाता है और मानक आउटपुट के लिए लिखा जाता है। खैर, क्या आसान हो सकता है?

2 स्क्रिप्टर्स होने चाहिए: मैपर, रेड्यूसर।

यदि आपको एन सर्वर पर कार्य को समानांतर करने की आवश्यकता है - तो बस एक मैपर लिखें।

मैपर उदाहरण

#!/usr/bin/php <?php error_reporting(-1); set_time_limit(0); ini_set('memory_limit', '2048M'); gc_enable(); require '/usr/share/php/aws.phar'; $fp=fopen("php://stdin","r"); while (true) { $line=stream_get_line($fp,65535,"\n"); //    : , , ,  ... } echo "s3 copied direct\t".$copy_count."\n"; echo "s3 copied precond\t".$copy_precond_count ."\n"; echo "s3 src not found\t".$s3_src_not_found ."\n"; 

यदि एकत्रित आंकड़ों की जरूरत नहीं है, तो दूसरी स्क्रिप्ट की जरूरत नहीं है। यदि आवश्यक हो, तो reducer लिखें:

Reducer उदाहरण

 #!/usr/bin/php <?php error_reporting(-1); ini_set('memory_limit', '1024M'); set_time_limit(0); gc_enable(); $ar_reduce = array(); while (($line = fgets(STDIN)) !== false) { $line = str_replace("\n","",$line); $ar_line = explode("\t", $line); if ( !isset($ar_reduce[$ar_line[0]]) ) $ar_reduce[$ar_line[0]] = 0; $ar_reduce[$ar_line[0]] += intval($ar_line[1]); } foreach ($ar_reduce as $key=>$value) { echo $key."\t".$value."\n"; } ?> 

क्लस्टर सर्वर प्रारंभ

क्योंकि हमारी स्क्रिप्ट PHP में हैं, आपको क्लस्टर में प्रत्येक सर्वर पर चलने वाली एक इनिशियलाइज़ेशन स्क्रिप्ट तैयार करने की आवश्यकता है:

 sudo apt-get -y update sudo apt-get -y install libssh2-php sudo apt-get -y install php5-curl sudo rm -f /etc/php5/cli/conf.d/suhosin.ini sudo mkdir -p /usr/share/php cd /usr/share/php sudo wget https://github.com/aws/aws-sdk-php/releases/download/2.5.0/aws.phar ... 

PHP में स्क्रिप्ट अपलोड करें और क्लाउड (s3) को बैश करें

 for FILE in bkp_s3_folder_hadoop_bootstrap.sh bkp_s3_folder_hadoop_mapper.php bkp_s3_folder_hadoop_reducer.php; do s3cmd -c /root/.s3cfg-key put /home/project/cron_jobs/$FILE s3://# #/code/ done 

एस 3 में प्रसंस्करण के लिए डेटा अपलोड करें

उदाहरण के लिए, s3cmd का उपयोग करते हुए, हम s3 में एक फ़ोल्डर में प्रसंस्करण के लिए स्रोत डेटा अपलोड करते हैं। यह डेटा अपने आप क्लस्टर के बाहर फैल जाता है। आप जितना चाहें उतना डेटा अनलोड कर सकते हैं और क्लस्टर को उनके साथ पीड़ित होने दे सकते हैं।

एक क्लस्टर में डेटा प्रोसेसिंग शुरू करना

और अंत में, ऐसा स्वादिष्ट व्यवहार - हम अपने डेटा को संसाधित करने के लिए एक क्लस्टर लॉन्च करते हैं।

 D=$(date +"%Y-%m-%d_%H-%M-%S") /opt/aws/emr/elastic-mapreduce --create --stream \ --name myproject_$D \ --step-name step_$D \ --with-termination-protection \ --step-action CANCEL_AND_WAIT \ --ami-version '2.4.2' \ --bootstrap-action '#    , . #' \ --bootstrap-action 's3://elasticmapreduce/bootstrap-actions/configure-hadoop' \ --args "-m,mapred.map.max.attempts=20,-m,mapred.tasktracker.map.tasks.maximum=15,-m,mapred.task.timeout=600000" \ --input 's3://#     #/input/' \ --mapper 's3://# #/code/# mapper#.php' \ --reducer 's3://# #/code/# reducer#.php' \ --output 's3://#  #/output_'$D \ --log-uri 's3://#  #/logs/' \ --num-instances 5 \ --master-instance-type m1.small \ --slave-instance-type m1.xlarge \ --key-pair 'myproject_mapreduce' 

क्लस्टर प्रसार के लिए लोहे के टुकड़ों की सही संख्या चुनना महत्वपूर्ण है - अधिक, बेशक। इस उदाहरण में, हम एक सर्वर पर 15 से अधिक प्रक्रियाओं को स्थापित नहीं करते हैं। आप अधिक कर सकते हैं, यह रैम की मात्रा पर निर्भर करता है, लेकिन सावधान रहें - हम इसकी खपत की निगरानी करते हैं।

क्लस्टर से बाहर काम करने के बाद, आप लॉग में एकत्रित आंकड़े देख सकते हैं, लॉग भी s3 पर अपलोड किए जाएंगे।

आमतौर पर प्रसंस्करण की गति, जो पहले हफ्तों के लिए किया गया था, अज़ेस को प्रेरित करता है और आईटी-निरंतरता के बारे में जागरूकता के एक नए स्तर पर ले जाता है "300 स्पार्टन्स" :-) के अंतिम भाग से भी बदतर नहीं है। :-)

परिणाम

नतीजतन, आपके पास 2 PHP स्क्रिप्ट द्वारा प्रबंधित एक व्यावसायिक उपकरण है। सर्वरों की संख्या (--num-instances 5) सीधे लोड डेटा सरणी की प्रसंस्करण गति को प्रभावित करती है। सिद्धांत रूप में, कोई भी 10 थ्रेड्स के साथ 100 सर्वर शुरू करने से मना करता है और डेटा कतार की तुलना में बहुत तेजी से प्रसंस्करण करता है, जो नौकरी की कतार का उपयोग करके एकल सर्वर पर किया जा सकता है।

इस तकनीक का उपयोग एक सरल और समझने योग्य तरीके से, हमारी एक परियोजना पर , हमने s3 में लाखों वस्तुओं के प्रसंस्करण समय को 2 सप्ताह से घटाकर 2 दिन कर दिया।

सहकर्मी, यदि आपके कोई प्रश्न हैं, तो कृपया टिप्पणियों में पूछें और हमारे सम्मेलनों में भाग लें - हम अपने अनुभव को साझा करने में प्रसन्न होंगे। और बिगडाटा पर वेब परियोजनाओं और जीत के कार्यान्वयन में सभी को शुभकामनाएँ!