गियरमैन - कतार सर्वर: PHP परियोजनाओं में उपयोग करें

बहुत पहले नहीं था कि गियरमैन कतार सर्वर के साथ काम करने के सामान्य सिद्धांतों का वर्णन करने वाला एक अद्भुत लेख था। मैं सामग्री को जारी रखना चाहूंगा, इसे व्यावहारिक अनुप्रयोग के कुछ विवरणों के साथ पूरक करके, अर्थात्:
- स्थापना और सर्वर प्रबंधन
- कतार प्रबंधन - क्या और कैसे संभव है
- गियरमैन के साथ काम करने के लिए PECL और PEAR php एक्सटेंशन
- सर्वर की निगरानी
- कोड उदाहरण
- बैचों में डेटा ट्रांसफर
- PHP में समानांतर कंप्यूटिंग का संगठन

रुचि रखते हैं? मैं कटौती के लिए कहता हूं

सामग्री की प्रस्तुति शुरू करने से पहले, यह कहा जाना चाहिए कि यह कहाँ से आया है। यह कई परियोजनाओं में व्यावहारिक अनुप्रयोग (सभी धीमे दूरस्थ साइटों के साथ काम करने से संबंधित), प्रलेखन और चर्चा के अंश, बस कुछ टिप्पणियों और अमूर्त विचारों का संकलन है। बेशक, गलतियाँ, विवादास्पद फैसले और विवादास्पद विचार हो सकते हैं - लेखक किसी भी आलोचना और सुधार के लिए आभारी होगा।

सामग्री

गियरमैन डेटा जीवनचक्र
गियरमैन स्थापना और नियंत्रण
सर्वर स्थिति की निगरानी

गियरमैन को पुनरारंभ करने पर कतार का भाग्य
पूरी कतार को रीसेट करें और एक विशिष्ट कार्य की कतार को रीसेट करें
कार्यकर्ता पुनः आरंभ करें

गियरमैन के साथ काम करने के लिए PECL और REAR php एक्सटेंशन
नाशपाती Net_Gearman
पेकल गियरमैन
पीक गियरमैन स्थापित करें

सबसे आसान ग्राहक और कार्यकर्ता (+ वीडियो)
ग्राहक के साथ आंशिक डेटा स्थानांतरण और अतिरिक्त डेटा विनिमय (+ वीडियो)
पृष्ठभूमि कार्य और प्राथमिकता
गियरमैन (+ वीडियो) का उपयोग करके PHP में समानांतर कंप्यूटिंग

गियरमैन डेटा जीवनचक्र

विवरण में जाने से पहले, हम फिर से सर्वर के साथ काम का वर्णन करेंगे।
सबसे सरल उदाहरण है। PHP में f-and को कॉल करना और निष्पादित करना कैसे होता है:



तुच्छ। अब वही है, लेकिन कतार सर्वर का उपयोग कर:



संक्षेप में: एक स्क्रिप्ट जिसे फ़ंक्शन ("क्लाइंट") के परिणामों / कार्यों की आवश्यकता होती है, वह सर्वर (रजिस्टरों) को फ़ंक्शन का नाम और उसके तर्क भेजता है - सर्वर पर एक कार्य ("कार्य") बनाया जाता है।

यदि एक हैंडलर इस नाम ("कार्यकर्ता") के साथ एक फ़ंक्शन के लिए सर्वर पर पंजीकृत है और यह वर्तमान में नि: शुल्क है, प्रसंस्करण के लिए डेटा और फ़ंक्शन का नाम इसे कार्य ("नौकरी") के रूप में भेजा जाता है।
यदि ऐसे फ़ंक्शन के लिए एक कार्यकर्ता पंजीकृत नहीं है या व्यस्त है, तो कार्य कतार में है और प्रसंस्करण के लिए इंतजार कर रहा है।

प्रसंस्करण के बाद, कार्यकर्ता पास करता है जो गियरमैन के पास लौटता है। कतार सर्वर यह देखता है कि किस क्लाइंट ने समान नाम और इस तरह के डेटा के साथ कार्य को पंजीकृत किया है, और कार्यकर्ता को इसका परिणाम भेजता है (यह है यदि क्लाइंट ने कार्य को पृष्ठभूमि के रूप में पंजीकृत नहीं किया है। यदि कार्य पृष्ठभूमि के रूप में पंजीकृत है, तो क्लाइंट को कुछ भी नहीं भेजा जाता है। ।

ऑपरेशन के इस सिद्धांत से तुरंत क्या होता है?

1. गियरमैन के साथ काम करने में चार वस्तुएं शामिल हैं: ग्राहक, कार्य, कार्यकर्ता, नौकरी । सभी वस्तुओं का विवरण कार्यालय में है। PHP साइट ।

2. प्रेषित डेटा - दोनों क्लाइंट से सर्वर पर, और कार्यकर्ता से वापस - यह केवल एक लाइन है, और केवल एक है। यदि आपको कई तर्क पारित करने की आवश्यकता है या स्ट्रिंग नहीं - उदाहरण के लिए एक सरणी - क्रमांकन की आवश्यकता है।

हालाँकि, उपरोक्त सभी केवल एक संक्षिप्त दोहराया गया है। प्रलेखन और पहले से प्रकाशित सामग्री। अब बारी है।

गियरमैन स्थापना और नियंत्रण

अगर कोई बड़ी जरूरत है, तो आप विंडोज पर गियरमैन सर्वर शुरू कर सकते हैं, जावा में इसका कार्यान्वयन है:
https://launchpad.net/gearman-java

लेकिन हम लिनक्स के तहत काम करने पर विचार करेंगे (निम्नलिखित उदाहरण डेबियन के लिए हैं)।
सर्वर स्थापना सुचारू रूप से चलती है और इसमें विशेषताएं नहीं होती हैं:

योग्यता गियरमैन-नौकरी-सर्वर स्थापित करें

एक सफल स्थापना के बाद, सर्वर को आदि / init.d / गियरमैन-जॉब-सर्वर से सरल और स्पष्ट कमांड के साथ नियंत्रित किया जाता है:
{शुरुआत | बंद करो | पुनरारंभ | बल-पुनः लोड}
सर्वर के लिए डिफ़ॉल्ट होस्ट लोकलहोस्ट है, पोर्ट 4730 है

सर्वर स्थिति की निगरानी

सर्वर पर क्या हो रहा है, यह देखने की हमेशा जरूरत होती है: कौन से कार्य पंजीकृत हैं, कतार में कितने हैं, प्रत्येक कार्य के लिए कितने श्रमिक पंजीकृत हैं।
यह कंसोल से कमांड के साथ किया जा सकता है
(प्रतिध्वनि स्थिति) | netcat 127.0.0.1 4730

गियरमैन को पुनरारंभ करने पर कतार का भाग्य

सवाल तुरंत उठता है: यदि आप इसे हारा-गिरी के साथ फिर से शुरू करते हैं, तो एक चल रहे सर्वर पर कतार का क्या होगा?
डिफ़ॉल्ट स्थापना में, कतार को मेमोरी में संग्रहीत किया जाता है, सर्वर को पुनरारंभ करने से सर्वर को भेजे गए सभी कार्यों को रद्द कर दिया जाएगा, और सर्वर पर सभी श्रमिकों के पंजीकरण को रद्द कर दिया जाएगा। इसी समय, "सर्वर के साथ खोया कनेक्शन" जैसे अपवाद श्रमिकों के लिए उत्पन्न होते हैं।
डेटाबेस के लिए कतार को बचाया जा सकता है, MySQL, PostgreSQL, SQLite समर्थित हैं। इस तरह की कतार को कैसे व्यवस्थित किया जाए यह कार्यालय में अच्छी तरह से लिखा गया है। ऑनलाइन:
http://gearman.org/index.php?id=manual:job_server#persistent_queues

यह ध्यान में रखा जाना चाहिए कि भले ही आप कतार को बचाते हैं, जब सर्वर को पुनरारंभ किया जाता है, तो कार्य संचालकों - श्रमिकों - अभी भी सर्वर को "गिराना" होगा, और आपको या तो उन्हें फिर से चालू करना होगा, या श्रमिकों में ऐसी स्थिति का पूर्वाभास करना होगा।

पूरी कतार को रीसेट करें और एक विशिष्ट कार्य की कतार को रीसेट करें

यदि डेटाबेस में कतार संग्रहीत नहीं है, तो सर्वर को पुनरारंभ करना, जैसा कि ऊपर बताया गया है, पूरी कतार को रीसेट कर देगा। यदि कतार डेटाबेस में संग्रहीत है, तो सर्वर को पुनरारंभ करने के अलावा, संबंधित तालिका को साफ़ करने के लिए - सभी या चुनिंदा रूप से आवश्यक है। याद रखें कि सर्वर को फिर से शुरू करना ग्राहकों और श्रमिकों दोनों में अपवादों को फेंक देगा।

हालाँकि, एक स्थिति उत्पन्न हो सकती है जब आपको केवल एक कार्य के लिए कतार को रीसेट करने की आवश्यकता होती है। उदाहरण: हम 100 साइटों को पार्स करते हैं, एक ने जवाब देना बंद कर दिया, इस साइट से डेटा प्राप्त करने के लिए कतार में 1,000 कार्य थे, अन्य सभी साइटों के डेटा कतार सर्वर के माध्यम से बिना किसी समस्या के स्वीकार किए जाते हैं। आपको केवल रुकी हुई साइट पर कतार छोड़ने की आवश्यकता है।
ऐसा करने का सबसे आसान और सबसे दर्दनाक तरीका एक नकली कार्यकर्ता शुरू करना है जो कतार सर्वर पर एक ही नाम के साथ एक कार्य को पंजीकृत करेगा, लेकिन जल्दी से NULL, एक खाली स्ट्रिंग, या जो कुछ भी आपको पसंद है - मुख्य चीज तेज है। यह कार्यकर्ता सभी लंबित कार्यों को पूरा करेगा, कतार को साफ किया जाएगा।

कार्यकर्ता पुनः आरंभ करें

इसकी आवश्यकता क्यों हो सकती है? खैर, स्पष्ट स्थिति के अलावा जब कार्यकर्ता जमे हुए है और यह संदेह में नहीं है, एक और भी है, बहुत बार-बार।
स्थिति: कार्यकर्ता चल रहा है, सर्वर पर अपने कार्यों को पंजीकृत किया। यदि इस समय आप कार्यकर्ता कोड में परिवर्तन करते हैं, तो आप इसे कितना भी बचाएं, कतार सर्वर से कोड उस समय संसाधित किया जाएगा जब कार्य पंजीकृत किया गया था।
प्रभावी होने के लिए कोड में परिवर्तन के लिए - अर्थात्, सर्वर से कार्यों के लिए पहले से ही परिवर्तित कोड द्वारा संसाधित किया जाना चाहिए, कार्यकर्ता को फिर से शुरू करना होगा, अर्थात वर्तमान कार्यकर्ता की स्क्रिप्ट को रोकना होगा और फिर से चलाना होगा। विधियां तुच्छ हैं: मैन्युअल रूप से, बैश स्क्रिप्ट का उपयोग करते हुए, कार्यकर्ता में फ़ंक्शन के प्रसंस्करण के लिए प्रदान करें जैसे कि एग्जिट_वर्कर और इसे ताज से लॉन्च करना आदि।

गियरमैन के साथ काम करने के लिए PECL और REAR php एक्सटेंशन

Php में गियरमैन कतार सर्वर के साथ काम करने के लिए, आप दो एक्सटेंशन विकल्पों का उपयोग कर सकते हैं: pecl गियरमैन और नाशपाती NetGGman

इन एक्सटेंशनों के बीच एक बुनियादी अंतर है।

नाशपाती Net_Gearman

नाशपाती Net_Gearman केवल कुछ php फाइलें हैं। और वह सब है। सर्वर पर स्थापित करना बहुत सरल है:
नाशपाती स्थापित करें Net_Gearman चैनल: //pear.php.net/Net_Gearman-0.2.3
आप इसे सर्वर पर स्थापित भी नहीं कर सकते हैं - बस संग्रह को अनज़िप करें, कनेक्शन एसीसी को लागू करें। कक्षाएं और यह वह है - आप इसका उपयोग कर सकते हैं, जैसे उदाहरण के लिए

function __autoload($className){ //  pear Net_Gearman,  Net_Gearman_Job if(strstr($className, 'Net_Gearman_') and !strstr($className, 'Net_Gearman_Job_')){ $className = str_replace('Net_Gearman_', '', $className); include_once PATH_TO_PEAR_NET_GEARMAN.$className.'.php'; } //  pear Net_Gearman_Job if(strstr($className, 'Net_Gearman_Job_')){ $className = str_replace('Net_Gearman_Job_', '', $className); include_once PATH_TO_PEAR_NET_GEARMAN.'Job/'.$className.'.php'; } } 

यह, वैसे, एक ही डेनवर या ओपनसेवर का उपयोग करके php में गियरमैन के साथ काम करना संभव बनाता है।

वर्तमान संस्करण एक अल्फ़ा रिलीज़ दिनांक 2009 है। लेकिन यह डरावना नहीं है: आवश्यक फ़ाइलों को संपादित करने के लिए कोई भी परेशान नहीं करता है, कोई अतिरिक्त घटकों / पुस्तकालयों का उपयोग नहीं किया जाता है।
तिथि के बावजूद, लाइब्रेरी php5.3 पर कार्यात्मक है। * और इसमें संशोधन की आवश्यकता नहीं है।

सवाल यह है कि यह सब खुशी गियरमैन सर्वर के साथ कैसे बातचीत करती है? सॉकेट के माध्यम से, सर्वर को कमांड भेजना (यहां आधिकारिक साइट पर सर्वर के साथ बातचीत का विवरण है )

हम नाशपाती का एक महत्वपूर्ण विवरण नोट करते हैं Net_Gearman: पुस्तकालय में सर्वर की निगरानी और (आंशिक रूप से) इसे प्रबंधित करने का एक साधन है, जो इसे संभव बनाता है, उदाहरण के लिए, निगरानी के लिए उपरोक्त स्क्रिप्ट।

पेकल गियरमैन

सभी लाभों के बावजूद, नाशपाती Net_Gearman पुस्तकालय का इंटरफ़ेस खराब है और, जैसा कि उन्होंने इसे कहीं रखा है, कुछ अजीब है। इसके अलावा, IDE - phpStorm, उदाहरण के लिए, Net_Gearman वर्ग ( सुविधाजनक काम के लिए, आपको बैसाखी को कसने की आवश्यकता नहीं है ) और pecl गियरमैन काम के उपयोग के लिए बेहतर अनुकूल है।
Pecl गियरमैन और नाशपाती Net_gearman के बीच मुख्य अंतर यह है कि pecl गियरमैन सीधे सर्वर से इंटरैक्ट नहीं करता है - यह libgearman C लाइब्रेरी के लिए एक आवरण है।

पीक गियरमैन स्थापित करें

मैं वास्तव में इसे तुरंत पसंद करना चाहूंगा:
pecl स्थापित गियरमैन
लेकिन वह काम नहीं करेगा। स्थापना के अंत में, एक संदेश यह बताता है कि libgearman संस्करण 0.21 और उच्चतर की आवश्यकता है, ऐसी लाइब्रेरी की असेंबली इसके साथ कुछ और कार्रवाई करती है, और यह सब सफल नहीं हो सकता है।
इंटरनेट पर, pecl-gearman-0.7.0 पुस्तकालय स्थापित करने के लिए कई सिफारिशें हैं, लेकिन इसमें बग है - यह एक सेगमेंटेशन त्रुटि के साथ दुर्घटना की संभावना है।
कई परीक्षणों के माध्यम से, यह पाया गया कि यह 0.8.1 संस्करण स्थापित करने में बिना किसी समस्या के काम करता है
यहाँ debian6 / php5.3 * "स्क्रैच से" के लिए इंस्टॉलेशन ऑर्डर है, सर्वर से शुरू होता है (debian7 / php5.4 के लिए यह प्रकाशन देखें):

 aptitude install gearman-job-server aptitude install php5-dev aptitude install php-pear aptitude install make aptitude install libgearman-dev cd /tmp pecl download gearman-0.8.1 tar -xvf gearman-0.8.1.tgz cd gearman-0.8.1 phpize ./configure make make test make install echo 'extension=gearman.so' > /etc/php5/conf.d/gearman.ini 

अब आप एक वास्तविक परियोजना में पुस्तकालय की सभी सुंदरता का सुरक्षित रूप से उपयोग कर सकते हैं। IDE में pecl गियरमैन के लिए कक्षाएं शामिल हैं, आगे कोई कार्रवाई की आवश्यकता नहीं है। नीचे दिए गए सभी उदाहरण pecl गियरमैन एक्सटेंशन का उपयोग करते हैं।

उदाहरण

सबसे आसान ग्राहक और कार्यकर्ता

ग्राहक

 <?php $client = new GearmanClient(); /* -  true   ,     .       echo(''),               */ $client->addServer('192.168.68.4'); $client->setTimeout(29000); /*true/false     */ $haveGoodServer = $client->echo(''); var_dump($haveGoodServer); $data = 'slon yooo'; /*     Gearman   */ $res = $client->do('function_revert_string_and_caps', $data); /*  ,     ,     */ echo $res; 

एक कार्यकर्ता

 <?php $worker = new GearmanWorker(); $worker->addServer('192.168.68.4'); /*  ,    - function_revert_string_and_caps,      - 'revCaps*/ $worker->addFunction('function_revert_string_and_caps', 'revCaps'); /* .       */ $worker->work(); /*      -   */ //while($worker->work()){}; //   - ,   - - job function revCaps($job){ /*  job ,  */ $content = $job->workload(); return mb_strtoupper(strrev($content)); } 

उदाहरण वीडियो

आंशिक डेटा स्थानांतरण और ग्राहक के साथ अतिरिक्त डेटा विनिमय

क्लाइंट में डू ऑपरेशन का उपयोग करना हमेशा सुविधाजनक नहीं होता है, साधारण कॉलबैक f का उपयोग करके सर्वर से आने वाले कार्यों और प्रसंस्करण डेटा को जोड़ना अक्सर बेहतर होता है।
इसके अलावा, यदि डेटा भागों में प्रसारित होता है, तो यह संसाधित भागों की संख्या प्रदर्शित करने के लिए समझ में आता है - उदाहरण के लिए, एक प्रगति बार के लिए।
ग्राहक

 <?php $client = new GearmanClient(); $client->addServer('192.168.68.4'); $data = ''; /* .     */ $client->addTask('function_serial_send', $data); /*,  -        */ $client->setCreatedCallback('createTask'); /*   - -   */ function createTask(GearmanTask $task){ echo "Start data from ".$task->jobHandle()."\n"; } /*,  -    */ $client->setDataCallback('getData'); /* -    */ function getData(GearmanTask $task){ echo "received:".$task->data()."\n\n"; } /*,  -    Complete -    */ $client->setCompleteCallback('stopTask'); /*- -     */ function stopTask(){ echo "task Stop\n"; exit; } /*,  -      */ $client->setStatusCallback('getStatus'); /*    %*/ function getStatus(GearmanTask $task){ echo "Handled: ".$task->taskNumerator() / $task->taskDenominator()*(100)."%\n"; } /*   -    . :       - callback -      */ $client->runTasks(); 

एक कार्यकर्ता

 <?php $worker = new GearmanWorker(); $worker->addServer('192.168.68.4'); $worker->addFunction('function_serial_send', 'sendDataAndStatus'); /* -   ,  worker  */ while($worker->work()){} function sendDataAndStatus(GearmanJob $job){ $arr = array('one','two', 'three', 'four', 'five'); $i = 1; foreach ($arr as $diggo){ /*   -    1,5 2,5  ..   - Numerator,   “”,  Denumenator - “”.     ,    long*/ $job->sendStatus($i, count($arr)); /*  */ $job->sendData($diggo); echo "send data: ".$diggo, "\n"; $i++; sleep(1); } /*   -       */ $job->sendComplete(''); } 

इस उदाहरण के लिए रन वीडियो:

पृष्ठभूमि कार्य और प्राथमिकता

कार्य की स्थिति सामान्य या पृष्ठभूमि (सिंक्रोनस / एसिंक्रोनस) है और इसके निष्पादन की प्राथमिकता क्लाइंट में निर्धारित है। यदि कार्य को पृष्ठभूमि के रूप में सर्वर में जोड़ा जाता है, तो क्लाइंट वास्तव में सर्वर पर इसे "थ्रो" करता है और इसके आगे के भाग्य में कोई दिलचस्पी नहीं है। यदि कार्य सामान्य है, तो क्लाइंट को सर्वर से इसके पूरा होने के परिणाम की उम्मीद है।
पृष्ठभूमि कार्यों के लिए, उपसर्ग पृष्ठभूमि का उपयोग किया जाता है।
प्राथमिकताओं के लिए तीन स्तर हैं - सामान्य (उपसर्ग के बिना), निम्न / उच्च अनुपात। निम्न / उच्च, उदाहरण के लिए, addTaskHighBackground विधि - एक उच्च प्राथमिकता के साथ एक पृष्ठभूमि कार्य जोड़ें।
यह सब कार्यालय में अच्छी तरह से चित्रित है । GearmanClient में प्रलेखन

गियरमैन का उपयोग करके PHP में समानांतर कम्प्यूटिंग

क्षुधावर्धक के लिए, ज़ाहिर है, सबसे स्वादिष्ट।
इस उदाहरण का कोड कुछ स्वैच्छिक है, इसलिए यह प्रदान नहीं किया गया है, लेकिन इसमें कुछ भी सैन्य नहीं है: ग्राहक कतार सर्वर पर 4 + कार्य जोड़ता है, 4 श्रमिक प्रक्रिया कार्य करते हैं।
कार्य स्वयं यैंडेक्स ट्रांसलेट एपीआई का उपयोग करके पाठ के टुकड़ों का अनुवाद कर रहे हैं, एक पूरे के रूप में पूरा कार्य रूसी से यूक्रेनी में गॉडफादर पुस्तक का अनुवाद कर रहा है।
ये रहा वीडियो: