AMQP। Nginx से सीधे RabbitMQ को संदेश भेजना (एम्बेडेड पर्ल)

हम अपने उत्पादों में एएमक्यूपी का उपयोग करते हैं। यह सुविधाजनक है, यह आपको बेहतर पैमाने पर ले जाने की अनुमति देता है और आपको एक जटिल प्रणाली में नए मॉड्यूल और एक्सटेंशन को जोड़ने की अनुमति देता है। एक दलाल के रूप में, RabbitMQ का उपयोग किया जाता है। नगनेक्स का उपयोग फ्रंटेंड के रूप में किया जाता है। कुछ समय पहले तक, हर जगह हमने एक ब्रोकर के साथ काम करने के लिए php-amqp और librabbitmq-0.0.1 का गुच्छा इस्तेमाल किया। लेकिन व्यवस्था के कुछ हिस्सों में, यह हमें बेमानी लग रहा था।

कार्य

रैबिटएमक्यू ब्रोकर को सीधे सामने के छोर से संदेश भेजना सीखें, php को दरकिनार करें। जब भी संभव हो अतुल्यकालिक। प्रोग्रामिंग और ड्राइविंग बैसाखी को कम करें।
मैं तुरंत एक आरक्षण करूँगा जो हम सिस्टम के बहुत ही सेवा भाग को अनुकूलित करना चाहते थे, जो कुछ आंकड़े उत्पन्न करता है, डेटा को आगे स्थानांतरित करता है और इससे अधिक कुछ नहीं करता है। कोई सामग्री नहीं है और उपयोगकर्ता को कुछ भी देने की आवश्यकता नहीं है। धीमे बैकएंड भी नहीं हैं और कुछ भी कहीं भी अवरुद्ध नहीं है।

हल करने के तरीके।

Nginx के लिए बहुत सारे मॉड्यूल लिखे गए हैं। हम पहले से ही ओपनएस्टी असेंबली से मॉड्यूल का उपयोग करने की योजना या उपयोग करते हैं।
लेकिन विशेष रूप से एमक्यूपी के साथ काम करने के लिए लगभग कुछ भी तैयार नहीं है।
इंटरनेट भी लगभग खाली है, यह विषय 2010 में लोकप्रिय था, लेकिन इस साल यह भी मर गया।
0MQ के लिए एक Nginx मॉड्यूल और RabbitMQ के लिए एक प्लगइन है, जो बनाया गया है, लेकिन काम नहीं करता है। और फिर से, 2010।

- आप Nginx के लिए अपना खुद का मॉड्यूल लिख सकते हैं।
- आप लुआ का उपयोग कर सकते हैं, लेकिन कोई तैयार बाँध नहीं हैं, आपको लिखना होगा।
- आप कुछ और उपयोग कर सकते हैं, उदाहरण के लिए इस तरह के कार्य के लिए इसे तेज और तेज करें।
लेकिन यह सब लंबा है और हम अभी भी प्रोग्रामर नहीं हैं)))

पर्ल में लिबरराबबिटक के लिए एक आवरण पाया गया। सौभाग्य से, nginx एम्बेडेड पर्ल कर सकते हैं।

हम सभी डिबेट में पैकेज करते हैं, इस विशेष मॉड्यूल के निर्माण के लिए कोई समस्या नहीं थी nginx = 1.2.4।
आपको बस यह सुनिश्चित करने की आवश्यकता है कि --with-http_perl_module कुंजी का उपयोग किया जाए। और यह कि इकट्ठे मॉड्यूल की फाइलें रास्तों में खोजी जाती हैं। उदाहरण के लिए, यह इस तरह निकला:
objs/src/http/modules/perl/blib/lib/nginx.pm usr/lib/perl/5.14
objs/src/http/modules/perl/blib/arch/auto/nginx/nginx.so usr/lib/perl/5.14/auto/nginx


नेट :: RabbitMQ हम यहाँ से ले गए ।

Nginx.conf का एक टुकड़ा

 http { perl_modules /etc/nginx/perl; perl_require rmqsux.pm; ... 

Testite.conf का टुकड़ा

 server { listen 80; server_name test01.dev; location / { perl rmqsux::amqppull; } } 

उदाहरण लिपि:

 whoareyou@test01:/etc/nginx/perl# cat rmqsux.pm package rmqsux; use nginx; use Net::RabbitMQ; use vars; rmqsux::connectmyrabbit; sub try (&@) { my($try,$catch) = @_; eval { &$try }; if ($@) { local $_ = $@; &$catch; } } sub catch (&) { $_[0] } sub connectmyrabbit { try { $mq = Net::RabbitMQ->destroy(); } catch { $mq = Net::RabbitMQ->new(); }; $mq->connect("192.168.1.100", { user => "test", password => "test", vhost => "testhost" }); $mq->channel_open(1); } sub disconnectmyrabbit { $mq->disconnect(); my $r = shift; $r->send_http_header("text/html"); $r->print("disconnected\n<br/>"); $r->status(200); } sub amqppull { my $r = shift; try { $mq->publish(1, "test", "qawsed"); } catch { rmqsux::connectmyrabbit; $mq->publish(1, "test", "oops died here"); }; $r->send_http_header("text/html"); return OK if $r->header_only; $r->print("send completed\n<br/>"); $r->status(200); $r->flush; } 1; __END__ 

सिंथेटिक टेस्ट में फेल हो गया । आप अधिक गंध कर सकते हैं, लेकिन खरगोशमेक को विशेष रूप से ट्यून किया जाना चाहिए।

 silenkov@sn00p:/home$ ab -c 300 -n 100000 http://test01.dev/ This is ApacheBench, Version 2.3 <$Revision: 655654 $> Copyright 1996 Adam Twiss, Zeus Technology Ltd, http://www.zeustech.net/ Licensed to The Apache Software Foundation, http://www.apache.org/ Benchmarking test01.dev (be patient) Completed 10000 requests Completed 20000 requests Completed 30000 requests Completed 40000 requests Completed 50000 requests Completed 60000 requests Completed 70000 requests Completed 80000 requests Completed 90000 requests Completed 100000 requests Finished 100000 requests Server Software: nginx Server Hostname: test01.dev Server Port: 80 Document Path: / Document Length: 20 bytes Concurrency Level: 300 Time taken for tests: 10.402 seconds Complete requests: 100000 Failed requests: 0 Write errors: 0 Total transferred: 13500000 bytes HTML transferred: 2000000 bytes Requests per second: 9613.40 [#/sec] (mean) Time per request: 31.206 [ms] (mean) Time per request: 0.104 [ms] (mean, across all concurrent requests) Transfer rate: 1267.39 [Kbytes/sec] received Connection Times (ms) min mean[+/-sd] median max Connect: 0 14 126.9 2 3007 Processing: 1 14 30.0 9 1543 Waiting: 1 13 30.0 8 1543 Total: 3 29 136.8 11 3230 Percentage of the requests served within a certain time (ms) 50% 11 66% 15 75% 16 80% 16 90% 20 95% 49 98% 56 99% 1009 100% 3230 (longest request) 

पुनरावृत्तियों की संख्या में, परिणाम 5% के भीतर भिन्न होते हैं।

Php + librabbitmq के एक समूह ने हमें 300-600 आरपीएस दिए, लेकिन यह मुख्य रूप से php श्रमिकों की अंतिम संख्या का मामला है।

समस्याएं हैं:
- लोड के तहत, कनेक्ट अक्सर टूट जाता है, इसलिए स्क्रिप्ट में इतनी मुश्किल चाल) हम इस त्रुटि के लिए सीमा निर्धारित नहीं कर पाए हैं। 6000 आरपीएस तक, कुछ भी निश्चित रूप से फटा नहीं है।
- यह स्पष्ट नहीं है कि क्या यह अतुल्यकालिक रूप से काम करेगा? आप लुआ पर सब कुछ फिर से लिख सकते हैं, तो यह निश्चित रूप से होगा।
- एक पूरे के रूप में इस दृष्टिकोण की समस्याएं अभी तक स्पष्ट नहीं हैं।
- इस मशीन के लिए एक नियंत्रण तंत्र की जरूरत है। Nginx अभी भी किसी भी बैकएंड से तेज है। वह कम से कम एक लाख आरपीएस रहता है, लेकिन बैकएंड चला गया है। limit_req_zone यहां उपयुक्त लगता है, लेकिन आपको लोड प्रोफ़ाइल के लिए फट का चयन करने की आवश्यकता है।

सामान्य तौर पर प्रदर्शन बहुत भाता है। संदेश खो नहीं रहे हैं, चौथे दिन कुछ भी लीक नहीं हुआ है। अब सभी परीक्षण समाप्त हो जाएंगे, हम उपभोग करना जारी रखेंगे। वहां आपको सब कुछ पार्स करने की जरूरत है और इसे पोस्टग्रेज में रटना है, नग्नेक्स में भी यह मॉड्यूल है और इसके साथ सब कुछ ठीक है।

कृपया साइकिल के बारे में टिप्पणियों से बचना चाहिए। सिस्टम के ऐसे हिस्सों पर हमारे पास बहुत सारे आरपीएस और बहुत कम संसाधन हैं, हमें कुछ इस तरह का आविष्कार करना होगा।

हम भी किसी भी मदद और सलाह के लिए खुश होंगे!