PHP नेटवर्क सर्वर प्रदर्शन

क्या आपने घर के बने शराब के साथ मैकडॉनल्ड्स में एक बंदूक रैंप पर तला हुआ पिगलेट ऑर्डर करने की कोशिश की है, और मिठाई के लिए, मेज पर आपके बगल की लड़की, भोजन के दौरान सुखद बातचीत के लिए? इसके बारे में भी नहीं सोचा था ?? यह बात है - लेख सिर्फ इस बारे में है, एक प्रोग्रामर और आलस्य ड्राइविंग प्रगति की रूढ़ियों के बारे में। लेकिन गंभीरता से - लेख में हम पीएचपी में कई घंटों में कई उच्च-प्रदर्शन नेटवर्क सर्वर के लिए एक बहुत उपयोगी लिखेंगे। मैं पूरी तरह से गंभीर हूँ :-)

अच्छे पुराने दिनों में ...

अच्छे पुराने दिनों में, जब लोग प्रकृति के करीब थे, सुखद कड़वाहट के साथ ताज़ी बीयर की ख़ुशबू आती थी और महिलाओं को उत्तम गंध आती थी - प्रोग्रामर हार्डवेयर के करीब थे और सी में लिखा था और प्रेरणा के क्षणों में, कोडांतरक में। लेकिन शायद सबसे महत्वपूर्ण बात - प्रोग्रामर समझ गए कि tcp क्या है, यह udp से कैसे भिन्न होता है, और सिस्टम कॉल इंटरफ़ेस के माध्यम से ऑपरेटिंग सिस्टम के कर्नेल के साथ प्रभावी ढंग से कैसे बातचीत करता है।

आलस आता है ...

लेकिन आलस्य ने अपने टोल ले लिया और विकास के लिए एक दृष्टिकोण धीरे-धीरे बन गया - द लॉर्ड ऑफ द रिंग्स से काल्पनिक अमूर्त दुनिया की विचारधारा के करीब।

लोगों ने एक काल्पनिक दुनिया की वस्तुओं को बनाना शुरू कर दिया, कार्यक्रमों में संदेशों का आदान-प्रदान करने वाली दार्शनिक अवधारणाएं, और अधिक से अधिक खुद को वास्तविकता और प्रकृति से दूर करना शुरू कर दिया। और C ++ में रहते हुए भी वे संकेत के माध्यम से प्रकृति के साथ अकेले रहने की कोशिश करते थे और स्मृति के साथ नियंत्रित काम करते थे, जावा और C # आलस्य में अपने टोल ले लिया और प्रोग्रामर खुद को एक आदर्श लेकिन रबर महिलाओं और गैर-मादक बीयर के प्रभावी ब्रह्मांड से दूर पाया। दर्शनशास्त्र सभी प्रकार की फ़ाइल प्रणालियों या अनिवार्य अपवाद हैंडलिंग (जावा) के साथ काम करने के लिए एक सार्वभौमिक एपीआई बनाने में खो गया।

और अब इसे देखने के लिए भी डरावना है: डेवलपर्स आमतौर पर इस हद तक "खराब" होते हैं कि वे कंपाइलर्स का उपयोग नहीं करते हैं :: कई सिस्टम कमजोर टाइपिंग वाली भाषाओं जैसे पायथन / पीएचपी में बनाए जाते हैं - जो न केवल ओईएस का समर्थन करते हैं, बल्कि इतने शक्तिशाली हैं कि किसी फ़ंक्शन को कुशलता से एक फ़ाइल को एक चर में लोड करने की अनुमति दें :-)

प्रोसेसर और धागे

90 के दशक में प्रोसेसर स्तर पर OOP के लिए हार्डवेयर समर्थन में कई दृढ़ विश्वास था, ऐसा नहीं हुआ। लेकिन आलस्य प्रभाव जारी रखता है और हमें अब प्रोग्रामिंग भाषा थ्रेड्स के प्रभावी कार्यान्वयन में विश्वास करता है - प्रोसेसर कोर के प्रजनन के तरीके को ध्यान में रखते हुए। यानी मैं तनाव नहीं चाहता और सिर्फ "नया सूत्र" लिखूंगा और सब कुछ कुशलतापूर्वक और तेज़ी से काम करेगा।

इस बीच ...

इस बीच, नेग्नेक्स शैली में प्रभावी सी समाधान दुनिया भर में ले रहे हैं, उत्पादक NoSQL समाधान बनाए जा रहे हैं , जो हार्डवेयर के करीब हैं, और जब यह गति, उत्पादकता की बात आती है - मस्तिष्क आलस्य और विज्ञापन के साथ जुनूनी चाल और महसूस करना शुरू कर देता है - कुछ सही नहीं है! थ्रेड्स के बारे में "वे झूठ बोलते हैं" - वे बहुत कुशलता से काम नहीं करते हैं, यहां तक ​​कि बहुराष्ट्रीय ग्रंथियों पर भी। हालांकि सैद्धांतिक रूप से - उन्हें होना चाहिए!

मूल को भूल गए ...

डेवलपर से अब नज़दीकी और शटडाउन के बीच के अंतर या प्रक्रिया और प्रवाह के अंतर के बारे में पूछें ... और अधिक से अधिक बार आप देखेंगे कि आपके नाखूनों को स्पष्ट रूप से काटने का क्या मतलब है :-) लेकिन एक उपयोगी सर्वर लिखने के लिए, आपको यह समझने की आवश्यकता है कि ऑपरेटिंग सिस्टम कैसे काम करता है। नेटवर्क प्रोटोकॉल हैं, चीजों की प्रकृति को आम तौर पर कैसे व्यवस्थित किया जाता है, और वास्तविक बीयर क्या है! :-)

यह एक प्रोग्रामिंग भाषा नहीं है

और कोई बात नहीं, मेरा विश्वास करो, आप किस प्रोग्रामिंग भाषा में एक उपयोगी नेटवर्क सर्वर बनाने जा रहे हैं। यह महत्वपूर्ण है - आप कितनी गहराई से समझते हैं कि आप क्या करने जा रहे हैं और आपके विज्ञापन और खुद के तकनीकी आलस्य के खिलाफ क्या प्रतिरक्षा है।

कनेक्शन संभालना

लोग, जब वे प्रकृति के करीब थे, जानते थे कि नेटवर्क सॉकेट्स को कुशलता से कैसे संसाधित किया जाए। बेशक, ऑपरेटिंग सिस्टम के कर्नेल को ऐसा करना चाहिए और आपको किसी घटना के घटित होने की सूचना देनी चाहिए:
1) एक नया सॉकेट एक सुनने के कनेक्शन में आया ( सुनो ) - और इसे प्रसंस्करण में लिया जा सकता है ( स्वीकार करें )
2) आप प्रक्रिया को अवरुद्ध किए बिना सॉकेट से पढ़ सकते हैं ( पढ़ें )।
3) आप प्रक्रिया को अवरुद्ध किए बिना सॉकेट को लिख सकते हैं ( लिख सकते हैं )।

भौतिक कानूनों की दुनिया में, प्रसंस्करण यौगिकों के अन्य तरीके, जैसे कि धागे का एक गुच्छा बनाना या मुझे बहाना, लेकिन कभी-कभी वे आलस्य और पूर्णतावाद के कारण ऐसा करते हैं, प्रक्रियाएं, अधिक धीरे-धीरे काम करती हैं और बहुत अधिक स्मृति का उपभोग करती हैं। और यद्यपि अक्सर "बहाने" जैसे: "यह प्रोग्रामर को सिखाने की तुलना में लोहे के एक और टुकड़े को खरीदने के लिए सस्ता है, कैसे एसिंक्रोनस रूप से डीमुल्टिप्लेक्स सॉकेट्स को संसाधित करने के लिए" काम करते हैं, कभी-कभी आप खुद को ऐसी स्थिति में पाते हैं जहां आपको वर्तमान उपकरणों के लिए कुशलता से समस्या को हल करने की आवश्यकता होती है - परिमाण के 1-2 ऑर्डर द्वारा लागत को कम करना।
यह इस सिद्धांत से है कि प्रसिद्ध नगीनेक्स काम करता है, ऑपरेटिंग सिस्टम की कई प्रक्रियाओं द्वारा हजारों कनेक्शनों का प्रसंस्करण करता है।

यह अभी भी मेरे लिए एक रहस्य बना हुआ है कि लगभग 10 साल पहले एक ही जावा में दिखने के बावजूद, सर्वर समस्याओं के समाधान के लिए पुस्तकालयों को "नगनेक्स शैली में" - यह अभी भी उचित वितरण नहीं मिला और आवेदन धाराओं के बावजूद "अंजीर" में जारी है। इस दृष्टिकोण के सभी मृत अंत और बेकार! :-)

हर कोई ऐसा क्यों नहीं करता?

बस आलस्य :-) हालांकि यह भी माना जाता है कि एक अलग प्रक्रिया में 50 लाइनों की तुलना में एक प्रोग्रामिंग दृष्टिकोण से demultiprexed सॉकेट्स की अतुल्यकालिक प्रसंस्करण बहुत मुश्किल है। लेकिन नीचे मैं दिखाऊंगा कि कैसे PHP पर भी एक समान सर्वर लिखना है, जो अन्य कार्यों के लिए थोड़ा तेज है, काफी सरल है।

PHP और सॉकेट

PHP में "देशी महंगे" BSD सॉकेट्स का समर्थन है। लेकिन यह विस्तार, दुर्भाग्य से, ssl / tls का समर्थन नहीं करता है।
इसलिए, आपको स्ट्रीम इंटरफ़ेस - धाराओं में चढ़ने की आवश्यकता है , जो प्रकृति से थोड़ा अलग है और एक स्वस्थ जीवन शैली है, जो अमूर्तता से भरा है, "goblins और necromorphs"। यदि आप एक फावड़ा लेते हैं और भूसी का एक गुच्छा छोड़ते हैं, तो आप इस इंटरफ़ेस के पीछे नेटवर्क सॉकेट देख सकते हैं और उनके साथ काफी प्रभावी ढंग से काम कर सकते हैं।

कोड के टुकड़े

मैं नेटवर्क सर्वर का संपूर्ण स्रोत कोड नहीं दूंगा, लेकिन कोड के प्रमुख भागों से चलता हूं। सामान्य तौर पर, सर्वर, PHP को फिर से जमा किए बिना एक प्रक्रिया में 1024 खुले सॉकेट्स तक रखता है, लगभग 18-20MB (यह C मानकों के अनुसार dofiga है, लेकिन मेरा विश्वास करो, वहाँ PHP स्क्रिप्ट हैं जो गीगाबाइट खाते हैं) और केवल एक प्रोसेसर कोर को तनाव देते हैं (हाँ, syscpu काफ़ी बड़ा है, लेकिन इसके बिना भी)। यदि आप PHP का पुनर्निर्माण करते हैं, तो चयन बड़ी संख्या में सॉकेट के साथ काम कर सकता है।

सर्वर कोर

सर्वर कोर कार्य:
1) कार्यों की सरणी की जाँच करें
2) प्रत्येक काम के लिए, एक कनेक्शन बनाएं
3) जांचें कि कार्य में सॉकेट को प्रक्रिया को अवरुद्ध किए बिना पढ़ा या लिखा जा सकता है
4) नौकरी से मुक्त संसाधन (सॉकेट, आदि)
5) नौकरी जोड़ने के लिए नियंत्रण सॉकेट से कनेक्शन को स्वीकार करें - प्रक्रिया को अवरुद्ध किए बिना

सरल शब्दों में, हम सॉकेट्स के साथ काम करने के लिए सर्वर के कोर को भरते हैं (उदाहरण के लिए, साइटों पर जाएं और डेटा एकत्र करें, आदि) और कर्नेल एक बार में एक प्रक्रिया में सैकड़ों नौकरियों के लिए शुरू होता है।

कार्य

कार्य OOP प्रकार FSM की शब्दावली में एक वस्तु है। ऑब्जेक्ट के अंदर एक रणनीति है - आइए कहते हैं: "इस पते पर जाएं, एक अनुरोध बनाएं, एक प्रतिक्रिया डाउनलोड करें, पर्स, आदि। शुरुआत और अंत में वापसी, NoSQL में परिणाम लिखें। ” यानी आप एक सरल सामग्री लोडिंग से कई शाखाओं के साथ लोड परीक्षण की एक जटिल श्रृंखला के लिए एक कार्य बना सकते हैं - और यह सब, मुझे याद है, कार्य ऑब्जेक्ट में रहता है।
इस कार्यान्वयन में कार्य को पोर्ट 8000 पर एक अलग कंट्रोल सॉकेट के माध्यम से सेट किया जाता है - json ऑब्जेक्ट्स को tcp सॉकेट पर लिखा जाता है और फिर सर्वर कोर में उनके आंदोलन की शुरुआत होती है।

प्रसंस्करण नौकरियों और सॉकेट का सिद्धांत

मुख्य बात यह नहीं है कि नेटवर्क सॉकेट में जानकारी पढ़ने या लिखने के दौरान फ़ंक्शन प्रतिक्रिया में प्रतीक्षा करने के लिए सर्वर प्रक्रिया को लॉक करने की अनुमति न दें, जबकि नियंत्रण सॉकेट के लिए एक नए कनेक्शन की प्रतीक्षा करें या कहीं जटिल गणना / छोरों में। इसलिए, सभी जॉब सॉकेट्स को सिलेक्ट सिस्टम कॉल में चेक किया जाता है और OS कर्नेल हमें केवल तभी सूचित करता है जब इवेंट होता है (या टाइमआउट द्वारा)।

while (true) { $ar_read = null; $ar_write = null; $ar_ex = null; //    ,     $ar_read[] = $this->controlSocket; foreach ($this->jobs as $job) { //job cleanup if ( $job->isFinished() ) { $key = array_search($job, $this->jobs); if (is_resource($job->getSocket())) { //""   stream_socket_shutdown($job->getSocket(),STREAM_SHUT_RDWR); fclose($job->getSocket()); } unset($this->jobs[$key]); $this->jobsFinished++; continue; } //  ""   ,      if ($job->isSleeping()) continue; //    if ($job->getStatus()=='DO_REQUEST') { $socket = $this->createJobSocket($job); if ($socket) { $ar_write[] = $socket; } //      } else if ($job->getStatus()=='READ_ANSWER') { $socket = $job->getSocket(); if ($socket) { $ar_read[] = $socket; } //      } else if ( $job->getStatus()=='WRITE_REQUEST' ) { $socket = $job->getSocket(); if ($socket) { $ar_write[] = $socket; } } } //              30  $num = stream_select($ar_read, $ar_write, $ar_ex, 30); 

इसके अलावा, जब घटना हुई और ओएस ने हमें सूचित किया, तो हम गैर-अवरोधक मोड में सॉकेट को संसाधित करना शुरू करते हैं। हां, आप कार्यों की सरणी के बायपास को आगे बढ़ा सकते हैं, सॉकेट नंबर द्वारा कार्यों को अनुक्रमित कर सकते हैं और 10ms जीत सकते हैं - लेकिन अभी के लिए ..., आपने अनुमान लगाया, बहुत आलसी :-)

  if (is_array($ar_write)) { foreach ($ar_write as $write_ready_socket) { foreach ($this->getJobs() as $job) { if ($write_ready_socket == $job->getSocket()) { $dataToWrite = $job->readyDataWriteEvent(); $count = fwrite($write_ready_socket , $dataToWrite, 1024); //        $job->dataWrittenEvent($count); } } } } if (is_array($ar_read)) { foreach ($ar_read as $read_ready_socket) { ///// command processing /// //    ,   if ($read_ready_socket == $this->controlSocket) { $csocket = stream_socket_accept($this->controlSocket); //  -   ,    .   . if ($csocket) { $req = ''; while ( ($data = fread($csocket,10000)) !== '' ) { $req .= $data; } //      $this->processCommand(trim($req), $csocket); stream_socket_shutdown($csocket, STREAM_SHUT_RDWR); fclose($csocket); } continue; /// ///// } else { //        $data = fread($read_ready_socket , 10000); foreach ($this->getJobs() as $job) { if ($read_ready_socket == $job->getSocket()) { //   .   ,   . $job->readyDataReadEvent($data); } } } } } } 

सॉकेट स्वयं भी गैर-अवरुद्ध मोड में शुरू किया गया है, झंडे सेट करना महत्वपूर्ण है, दोनों! STREAM_CLIENT_ASYNC_CONNECT | STREAM_CLIENT_CONNECT:

  private function createJobSocket(BxRequestJob $job) { //Check job protocol if ($job->getSsl()) { //https $ctx = stream_context_create( array('ssl' => array( 'verify_peer' => false, 'allow_self_signed' => true ) ) ); $errno = 0; $errorString = ''; //      30-60,  -  TCP-   ,    ,   ...  $socket = stream_socket_client('ssl://'.$job->getConnectServer().':443',$errno,$errorString,30,STREAM_CLIENT_ASYNC_CONNECT|STREAM_CLIENT_CONNECT,$ctx); if ($socket === false) { $this->log(__METHOD__." connect error: ". $job->getConnectServer()." ". $job->getSsl() ."$errno $errorString"); $job->connectedSocketEvent(false); $this->connectsFailed++; return false; } else { $job->connectedSocketEvent($socket); $this->connectsCreated++; return $socket; } } else { //http ... 

ठीक है, चलो कार्य के कोड को देखते हैं - यह आंशिक उत्तर / अनुरोधों के साथ काम करने में सक्षम होना चाहिए। सबसे पहले, हम सर्वर कोर को बताएं कि हम सॉकेट को क्या लिखना चाहते हैं।

 //    function readyDataWriteEvent() { if (!$this->dataToWrite) { if ($this->getParams()) { $str = http_build_query($this->getParams()); $headers = $this->getRequestMethod()." ".$this->getUri()." HTTP/1.0\r\nHost: ".$this->getConnectServer()."\r\n". "Content-type: application/x-www-form-urlencoded\r\n". "Content-Length:".strlen($str)."\r\n\r\n"; $this->dataToWrite = $headers; $this->dataToWrite .= $str; } else { $headers = $this->getRequestMethod()." ".$this->getUri()." HTTP/1.0\r\nHost: ".$this->getConnectServer()."\r\n\r\n"; $this->dataToWrite = $headers; } return $this->dataToWrite; } else { return $this->dataToWrite; } } 

अब हम एक अनुरोध लिखते हैं, यह निर्धारित करते हुए कि कितना शेष है।

 //      ,      function dataWrittenEvent($count) { if ($count === false ) { //socket was reset $this->jobFinished = true; } else { $dataTotalSize = strlen($this->dataToWrite); if ($count<$dataTotalSize) { $this->dataToWrite = substr($this->dataToWrite,$count); $this->setStatus('WRITE_REQUEST'); } else { //     ,      $this->setStatus('READ_ANSWER'); } } } 

अनुरोध प्राप्त करने के बाद, हमने जवाब पढ़ा। जब जवाब पूरी तरह से पढ़ा जाए तो समझना जरूरी है। आपको पढ़ने का समय निर्धारित करने की आवश्यकता हो सकती है - मुझे इसकी आवश्यकता नहीं थी।

 //    ,           function readyDataReadEvent($data) { ////////// Successfull data read ///// if ($data) { $this->body .= $data; $this->setStatus('READ_ANSWER'); $this->bytesRead += strlen($data); ///// ////////// } else { //////////           ///// ////////// redirect if ( preg_match("|\r\nlocation:(.*)\r\n|i",$this->body, $ar_matches) ) { $url = parse_url(trim($ar_matches[1])); $this->setStatus('DO_REQUEST'); } else if (...) { //    ,     $this->jobFinished = true; ... } else if (...) { $this->setSleepTo(time()+$this->sleepInterval); $this->sleepInterval *=2; $this->retryCount--; $this->setStatus('DO_REQUEST'); } $this->body = ''; ... 

अंतिम टुकड़े में, हम अपनी रणनीति के अनुसार एफएसएम को प्रत्यक्ष रूप से निर्देशित कर सकते हैं, नौकरी के लिए विभिन्न विकल्पों को लागू कर सकते हैं।
टास्क क्लास लिखने के समय, यह महसूस करना कि आप नगीनेक्स के लिए एक प्लगइन लिख रहे थे;;

परिणाम

आप देखते हैं, केवल एक पीएचपी प्रक्रिया में सैकड़ों और हजारों नौकरियों और सॉकेट्स के साथ एक साथ काम करने की समस्या को हल करना कितना सरल और संक्षिप्त रूप से संभव था। और कल्पना करें, अगर हम इस सर्वर के लिए बढ़ाते हैं कि कितनी PHP प्रक्रियाएं, सर्वर पर कितने कर्नेल - हां, ये हजारों सेवा वाले क्लाइंट हैं। और प्रोसेसर संदर्भ और बढ़ी हुई स्मृति आवश्यकताओं की धाराओं और अक्षम स्विचिंग के साथ कोई बगीचा नहीं है। PHP सर्वर प्रक्रिया में केवल 20MB मेमोरी की खपत होती है, और एक घोड़े की तरह काम करता है :-)

परिणाम

यह समझते हुए कि ऑपरेटिंग सिस्टम की कर्नेल हमें नेटवर्क सॉकेट के प्रभावी प्रसंस्करण को कैसे ला सकती है, हमने इसे अनुकूलित किया और एक उच्च-प्रदर्शन PHP सर्वर को लागू किया - एक प्रक्रिया में सैकड़ों खुले नेटवर्क सॉकेट की सेवा। यदि आवश्यक हो, तो आप PHP को फिर से जोड़ सकते हैं और एक प्रक्रिया में हजारों सॉकेट को संसाधित कर सकते हैं।
अपने ज्ञान के चक्र का विस्तार करें, रूढ़ियों के जुए के तहत आलसी न बनें - यहां तक ​​कि कम-टाइप की गई स्क्रिप्टिंग भाषाओं का उपयोग करके आप उत्पादक सर्वर बना सकते हैं - मुख्य बात यह जानना है कि प्रयोग करने के लिए कैसे और नहीं डरना है :-) सभी को शुभकामनाएं!