🐪 ↪️ 👨🏾‍🔬 Asyncio का उपयोग करने के उदाहरण: HTTPServer ?; 🕟 🏇🏽 🔪

बहुत समय पहले, अजगर 3.4 का एक नया संस्करण चैंज में जारी किया गया था जिसमें बहुत सारे "गुडी" शामिल थे। उनमें से एक एसिंको मॉड्यूल है, जिसमें एसिंक्रोनस नेटवर्क एप्लिकेशन लिखने के लिए उपयुक्त बुनियादी ढांचा है। कोरटाइन्स अवधारणा के लिए धन्यवाद, अतुल्यकालिक अनुप्रयोग कोड समझने और बनाए रखने में आसान है।

एक साधारण टीसीपी (इको) सर्वर के उदाहरण का उपयोग करते हुए लेख में, मैं यह दिखाने की कोशिश asyncio कि asyncio क्या खाया जाता asyncio और मैं इस मॉड्यूल के "घातक दोष" को समाप्त करने का asyncio , अर्थात् एक अतुल्यकालिक HTTP सर्वर कार्यान्वयन की कमी।

परिचय

एक प्रत्यक्ष प्रतियोगी और "भाई" बवंडर ढांचा है, जिसने खुद को अच्छी तरह से स्थापित किया है और अच्छी तरह से लायक लोकप्रियता प्राप्त करता है। हालांकि, मेरी राय में, asyncore सरल, अधिक तार्किक और विचारशील दिखता है। हालांकि, यह आश्चर्य की बात नहीं है, क्योंकि हम एक मानक भाषा पुस्तकालय के साथ काम कर रहे हैं।

आप कहेंगे कि आप पहले पायथन में अतुल्यकालिक सेवाएं लिख सकते थे और आप सही होंगे। लेकिन इसके लिए तीसरे पक्ष के पुस्तकालयों और / या कॉलबैक प्रोग्रामिंग शैली का उपयोग आवश्यक था। पाइथन के इस संस्करण में पूर्णता के लिए लाया गया कोरटाइन अवधारणा, आपको केवल मानक भाषा पुस्तकालयों की क्षमताओं का उपयोग करके रैखिक अतुल्यकालिक कोड लिखने की अनुमति देता है।

मैं तुरंत एक आरक्षण करना चाहता हूं जो मैंने लिनक्स के तहत यह सब लिखा था, हालांकि, उपयोग किए जाने वाले सभी घटक क्रॉस-प्लेटफॉर्म हैं और विंडोज के तहत भी काम करना चाहिए। लेकिन पायथन 3.4 की आवश्यकता है।

EchoServer

इको सर्वर का एक उदाहरण मानक प्रलेखन में है, लेकिन यह निम्न-स्तरीय एपीआई "ट्रांसपोर्ट और प्रोटोकॉल" को संदर्भित करता है। "रोजमर्रा" के उपयोग के लिए, उच्च-स्तरीय एपीआई "स्ट्रीम" की सिफारिश की जाती है। इसमें कोई नमूना टीसीपी सर्वर कोड नहीं है, हालांकि, निम्न-स्तरीय एपीआई से उदाहरण का अध्ययन किया गया है और दोनों मॉड्यूल के स्रोत कोड को देखते हुए, एक साधारण टीसीपी सर्वर लिखना मुश्किल नहीं है।

 import asyncio import logging import concurrent.futures @asyncio.coroutine def handle_connection(reader, writer): peername = writer.get_extra_info('peername') logging.info('Accepted connection from {}'.format(peername)) while True: try: data = yield from asyncio.wait_for(reader.readline(), timeout=10.0) if data: writer.write(data) else: logging.info('Connection from {} closed by peer'.format(peername)) break except concurrent.futures.TimeoutError: logging.info('Connection from {} closed by timeout'.format(peername)) break writer.close() if __name__ == '__main__': loop = asyncio.get_event_loop() logging.basicConfig(level=logging.INFO) server_gen = asyncio.start_server(handle_connection, port=2007) server = loop.run_until_complete(server_gen) logging.info('Listening established on {0}'.format(server.sockets[0].getsockname())) try: loop.run_forever() except KeyboardInterrupt: pass # Press Ctrl+C to stop finally: server.close() loop.close()

सब कुछ काफी स्पष्ट है, लेकिन कुछ बारीकियां हैं जो ध्यान देने योग्य हैं।

  server_gen = asyncio.start_server(handle_connection, port=2007) server = loop.run_until_complete(server_gen)

पहली पंक्ति सर्वर को स्वयं नहीं बनाती है, लेकिन एक जनरेटर, जिसे जब asyncio पहली बार एक्सेस करता है और asyncio निर्दिष्ट मापदंडों के अनुसार टीसीपी सर्वर बनाता है और आरंभ करता है। दूसरी पंक्ति इस तरह की अपील का एक उदाहरण है।

  try: data = yield from asyncio.wait_for(reader.readline(), timeout=10.0) if data: writer.write(data) else: logging.info('Connection from {} closed by peer'.format(peername)) break except concurrent.futures.TimeoutError: logging.info('Connection from {} closed by timeout'.format(peername)) break

फंक्शन- reader.readline() इनपुट स्ट्रीम से डेटा की अतुल्यकालिक रीडिंग करता है। लेकिन डेटा को पढ़ने के लिए प्रतीक्षा करना समय में सीमित नहीं है, अगर आपको इसे टाइमआउट द्वारा रोकने की आवश्यकता है, तो आपको asyncio.wait_for() में coroutine फ़ंक्शन कॉल को लपेटने की आवश्यकता है। इस स्थिति में, सेकंड में निर्दिष्ट समय अंतराल बीत जाने के बाद, concurrent.futures.TimeoutError अपवाद को उठाया जाएगा, जिसे आवश्यक रूप से संभाला जा सकता है।
यह reader.readline() कि reader.readline() इस उदाहरण में गैर-रिक्त मान देता है, की आवश्यकता है। अन्यथा, क्लाइंट द्वारा कनेक्शन काट दिए जाने के बाद (सहकर्मी द्वारा कनेक्शन रीसेट), खाली मान पढ़ने और वापस करने का प्रयास अनिश्चित काल तक जारी रहेगा।

लेकिन OOP का क्या?

OOP भी ठीक है। यह @ asyncio.coroutine डेकोरेटर में coroutine फ़ंक्शन कॉल का उपयोग करने के तरीकों को लपेटने के लिए पर्याप्त है। एपीआई में कॉरआउट के रूप में कौन से कार्य चलते हैं, यह स्पष्ट रूप से निर्दिष्ट है। नीचे एक उदाहरण दिया गया है जो इको सेवर वर्ग को लागू करता है।

 import asyncio import logging import concurrent.futures class EchoServer(object): """Echo server class""" def __init__(self, host, port, loop=None): self._loop = loop or asyncio.get_event_loop() self._server = asyncio.start_server(self.handle_connection, host=host, port=port) def start(self, and_loop=True): self._server = self._loop.run_until_complete(self._server) logging.info('Listening established on {0}'.format(self._server.sockets[0].getsockname())) if and_loop: self._loop.run_forever() def stop(self, and_loop=True): self._server.close() if and_loop: self._loop.close() @asyncio.coroutine def handle_connection(self, reader, writer): peername = writer.get_extra_info('peername') logging.info('Accepted connection from {}'.format(peername)) while not reader.at_eof(): try: data = yield from asyncio.wait_for(reader.readline(), timeout=10.0) writer.write(data) except concurrent.futures.TimeoutError: break writer.close() if __name__ == '__main__': logging.basicConfig(level=logging.DEBUG) server = EchoServer('127.0.0.1', 2007) try: server.start() except KeyboardInterrupt: pass # Press Ctrl+C to stop finally: server.stop()

जैसा कि आप पहले और दूसरे मामले में देख सकते हैं, कोड रैखिक और पूरी तरह से पठनीय है। और दूसरे मामले में, इसके अलावा, कोड एक स्व-निहित वर्ग में बनाया गया है।

HTTP सर्वर

इस सब से निपटने के बाद, अनैच्छिक रूप से कुछ और पर्याप्त करने की इच्छा होती है। asyncio मॉड्यूल हमें ऐसा अवसर प्रदान करता है। इसके विपरीत, उदाहरण के लिए, tornado , एक HTTP सर्वर लागू नहीं है। जैसा कि वे कहते हैं, इस चूक को ठीक करने की कोशिश नहीं करना एक पाप है :)

अपने सभी वर्गों जैसे कि HTTPRequest, इत्यादि के साथ खरोंच से एक संपूर्ण HTTP सर्वर लिखना एक खेल नहीं है, यह देखते हुए कि WSGI प्रोटोकॉल के शीर्ष पर काम करने के लिए तैयार फ्रेमवर्क के टन हैं। उन लोगों को पता है कि WSGI एक तुल्यकालिक प्रोटोकॉल है। यह सच है, लेकिन आप environ और अनुरोध निकाय के लिए डेटा को अतुल्यकालिक रूप से पढ़ सकते हैं। WSGI के परिणाम आउटपुट को जनरेटर के रूप में अनुशंसित किया जाता है, और यह asyncio में इस्तेमाल होने वाले asyncio अवधारणा के साथ अच्छी तरह से फिट बैठता है।

सामग्री की वापसी के साथ सब कुछ सही ढंग से करने वाली चौखटों में से एक बोतल है । इसलिए, उदाहरण के लिए, यह पूरी तरह से नहीं बल्कि जनरेटर के माध्यम से भागों में फ़ाइल की सामग्री को देता है। इसलिए, मैंने इसे विकसित WSGI सर्वर के परीक्षण के लिए चुना और परिणाम से संतुष्ट था। उदाहरण के लिए, डेमो एप्लिकेशन एक ही समय में कई क्लाइंट कनेक्शनों को बड़ी फ़ाइल देने में काफी सक्षम था।

मैं पूरी तरह से देख सकता हूं कि मेरे गितुब पर क्या हुआ। न तो परीक्षण, और न ही प्रलेखन अभी तक हैं, लेकिन बोतल के ढांचे का उपयोग करके एक डेमो एप्लिकेशन है। यह एक विशिष्ट निर्देशिका में फाइलों की एक सूची प्रदर्शित करता है और चयनित एक को अतुल्यकालिक मोड में देता है, आकार की परवाह किए बिना। इसलिए यदि आप फिल्मों की इस सूची में फेंकते हैं, तो आप एक छोटी वीडियो होस्टिंग आयोजित कर सकते हैं :)

मैं चेरीपी विकास टीम को एक विशेष धन्यवाद कहना चाहूंगा, मैंने अक्सर उनके कोड को देखा और पूरी तरह से कुछ लिया ताकि "अपनी खुद की बाइक" के साथ न आऊं।

नमूना आवेदन देखें

 import bottle import os.path from os import listdir from bottle import route, template, static_file root = os.path.abspath(os.path.dirname(__file__)) @route('/') def index(): tmpl = """<!DOCTYPE html> <html> <head><title>Bottle of Aqua</title></head> </body> <h3>List of files:</h3> <ul> % for item in files: <li><a href="/files/{{item}}">{{item}}</a></li> % end </ul> </body> </html> """ files = [file_name for file_name in listdir(os.path.join(root, 'files')) if os.path.isfile(os.path.join(root, 'files', file_name))] return template(tmpl, files=files) @route('/files/<filename>') def server_static(filename): return static_file(filename, root=os.path.join(root,'files')) class AquaServer(bottle.ServerAdapter): """Bottle server adapter""" def run(self, handler): import asyncio import logging from aqua.wsgiserver import WSGIServer logging.basicConfig(level=logging.ERROR) loop = asyncio.get_event_loop() server = WSGIServer(handler, loop=loop) server.bind(self.host, self.port) try: loop.run_forever() except KeyboardInterrupt: pass # Press Ctrl+C to stop finally: server.unbindAll() loop.close() if __name__ == '__main__': bottle.run(server=AquaServer, port=5000)

डब्लूएसजीआई सर्वर कोड लिखते समय, मैंने किसी भी बारीकियों को नोटिस नहीं किया, जिसे asyncio मॉड्यूल के लिए जिम्मेदार ठहराया जा सकता है। एकमात्र क्षण, यह ब्राउज़रों की एक विशेषता है (उदाहरण के लिए, क्रोम) अनुरोध को रीसेट करने के लिए अगर यह देखता है कि यह एक बड़ी फ़ाइल प्राप्त करना शुरू कर देता है। जाहिर है, यह बड़ी फ़ाइलों को डाउनलोड करने के लिए अधिक अनुकूलित तरीके से स्विच करने के लिए किया गया था, क्योंकि उसके बाद अनुरोध दोहराया जाता है और फ़ाइल को सामान्य रूप से स्वीकार किया जाना शुरू होता है। लेकिन पहले खारिज अनुरोध एक ConnectionResetError अपवाद को फेंक देता है यदि उस पर फ़ाइल अपलोड पहले से ही StreamWriter.write() फ़ंक्शन को कॉल करके शुरू हो गया है। इस मामले को StreamWriter.close() साथ संभाला और बंद किया जाना चाहिए।

उत्पादकता

बेंचमार्क के लिए, मैंने घेराबंदी की उपयोगिता को चुना। परीक्षण विषय "हमारे रोगी" थे (उर्फ एक्वा :) एक bottle के साथ संयोजन में, एक bottle के साथ संयोजन के रूप में काफी लोकप्रिय वेट्रेस डब्लूएसजीआई सर्वर और निश्चित रूप से टॉरनेडो भी। एक ऐप के रूप में सबसे छोटा संभव हेलोवर्ड था। निम्नलिखित मापदंडों के साथ किए गए परीक्षण: 100 और 1000 एक साथ कनेक्शन; 13 बाइट्स और किलोबाइट के लिए परीक्षण की अवधि 10 सेकंड; 13 मेगाबाइट के लिए परीक्षण की अवधि 60 सेकंड; लौटे डेटा के आकार के लिए तीन विकल्प, क्रमशः 13 बाइट्स, 13 किलोबाइट और 13 मेगाबाइट। नीचे परिणाम है:

100 सुगम उपयोगकर्ता	13 बी (10 सेकंड)		13 Kb (10 सेकंड)		13 एमबी (60 सेकंड)
100 सुगम उपयोगकर्ता	लाभ उठाएं।	ट्रांस / सेकंड	लाभ उठाएं।	ट्रांस / सेकंड	लाभ उठाएं।	ट्रांस / सेकंड
एक्वा + बोतल	100.0%	835.24	100.0%	804.49	99.9%	26.28
वेट्रेस + बूटले	100.0%	707.24	100.0%	642.03	100.0%	8.67
बवंडर	100.0%	2282.45	100.0%	2071.27	100.0%	15.78

1000 सुगम उपयोगकर्ता	13 बी (10 सेकंड)		13 Kb (10 सेकंड)		13 एमबी (60 सेकंड)
1000 सुगम उपयोगकर्ता	लाभ उठाएं।	ट्रांस / सेकंड	लाभ उठाएं।	ट्रांस / सेकंड	लाभ उठाएं।	ट्रांस / सेकंड
एक्वा + बोतल	99.9%	800.41	99.9%	777.15	60,2%	26.24
वेट्रेस + बूटले	94.9%	689.23	99.9%	621.03	37,5%	8.89
बवंडर	100.0%	1239.88	100.0%	978.73	55.7%	14.51

मैं क्या कह सकता हूं? बवंडर निश्चित रूप से आगे बढ़ता है, लेकिन "हमारा रोगी" बड़ी फ़ाइलों पर आगे लगता है और अधिक कनेक्शनों पर सापेक्ष प्रदर्शन में सुधार किया है। इसके अलावा, उन्होंने आत्मविश्वास से वेट्रेस (इसकी चार बाल प्रक्रियाओं के साथ कोर की संख्या के साथ) को दरकिनार किया, जो डेवलपर्स के बीच खराब तरीके से नहीं है। मैं यह नहीं कह सकता कि मेरा परीक्षण 100% पर्याप्त है, लेकिन यह शायद एक मूल्यांकन के रूप में फिट होगा।

अपडेट किया गया: मैंने प्रतिक्रिया शरीर के 13 मेगाबाइट के लिए अजीब संख्या देखी। और वास्तव में, 10 सेकंड में परीक्षण संभवतया शुरू नहीं हुआ :) जो संख्या मुझे 60 सेकंड की परीक्षण अवधि के साथ मिली थी, उसके लिए सही है।

दूसरी तालिका के अंतिम स्तंभ के लिए घेराबंदी उपयोगिता उदाहरण और पूर्ण परिणाम

 $ siege -c 1000 -b -t 60S http://127.0.0.1:5000/ ** SIEGE 2.70 ** Preparing 1000 concurrent users for battle. Transactions: 1570 hits Availability: 60.18 % Elapsed time: 59.84 secs Data transferred: 20410.00 MB Response time: 5.56 secs Transaction rate: 26.24 trans/sec Throughput: 341.08 MB/sec Concurrency: 145.80 Successful transactions: 1570 Failed transactions: 1039 Longest transaction: 20.44 Shortest transaction: 0.00 $ siege -c 1000 -b -t 60S http://127.0.0.1:5001/ ** SIEGE 2.70 ** Preparing 1000 concurrent users for battle. The server is now under siege... Lifting the server siege... done. Transactions: 526 hits Availability: 37.49 % Elapsed time: 59.20 secs Data transferred: 6838.00 MB Response time: 16.05 secs Transaction rate: 8.89 trans/sec Throughput: 115.51 MB/sec Concurrency: 142.58 Successful transactions: 526 Failed transactions: 877 Longest transaction: 42.43 Shortest transaction: 0.00 $ siege -c 1000 -b -t 60S http://127.0.0.1:5002/ ** SIEGE 2.70 ** Preparing 1000 concurrent users for battle. The server is now under siege... Lifting the server siege... done. Transactions: 857 hits Availability: 55.65 % Elapsed time: 59.07 secs Data transferred: 11141.00 MB Response time: 20.14 secs Transaction rate: 14.51 trans/sec Throughput: 188.61 MB/sec Concurrency: 292.16 Successful transactions: 857 Failed transactions: 683 Longest transaction: 51.19 Shortest transaction: 3.26

Outro

एक अतुल्यकालिक वेब सर्वर जो asyncio का उपयोग कर asyncio है उसे जीवन का अधिकार है। गंभीर परियोजनाओं में ऐसे सर्वरों के उपयोग के बारे में बात करना बहुत जल्दी संभव है, लेकिन परीक्षण के बाद, डेटाबेस और की-वैल्यू स्टोर के लिए asyncio ड्राइवरों के आगमन के साथ चल रहा है - यह अच्छी तरह से संभव हो सकता है।