बवंडर v2, या एएसटी पैच में अतुल्यकालिक कॉल का सबसे छोटा रिकॉर्ड

def func(who): print "Hello, %s!" % who func() 

 FunctionDef( name='func', #   args=arguments( #   args=[Name(id='who', ctx=Param())], vararg=None, kwarg=None, defaults=[]), body=[ #   Print(dest=None, values=[ BinOp(left=Str(s='Hello %s!'), op=Mod(), right=Name(id='who', ctx=Load()))], nl=True)], decorator_list=[]), #  Expr(value=Call( #   func=Name(id='func', ctx=Load()), #   args=[], #   keywords=[], # kv  starargs=None, # *args  kwargs=None)) # **kwargs  

ट्रेनिंग

 mkdir tornado-shortgen cd tornado-shortgen/ virtualenv .env source .env/bin/activate pip install tornado 

 import tornado.ioloop import tornado.web import tornado.gen import os class Handler(web.RequestHandler): @asynchronous @gen.engine @shortgen def get_short(self): (result, status) << self.db.posts.find_e({'name': 'post'}) @asynchronous @gen.engine def get(self): (result, status) = yield gen.Task(self.db.posts.find_e, {'name': 'post'}) application = tornado.web.Application([ (r"/", Handler), ]) if __name__ == "__main__": application.listen(8888) tornado.ioloop.IOLoop.instance().start() 

परिवर्तन कार्यान्वयन

 $ python >>> import ast >>> print ast.dump(ast.parse(open("shortgen_test.py").read())) 

 FunctionDef( name='get_short', args=arguments(args=[Name(id='self', ctx=Param())], vararg=None, kwarg=None, defaults=[]), body=[ Expr(value=BinOp( #   2-  left=Tuple( #   -   elts=[Name(id='result', ctx=Load()), Name(id='status', ctx=Load())], ctx=Load()), op=LShift(), #    right=Call( #   -   self.db.posts.find_e func=Attribute( value=Attribute( value=Attribute( value=Name(id='self', ctx=Load()), attr='db', ctx=Load()), attr='posts', ctx=Load()), attr='find_e', ctx=Load()), args=[Dict(keys=[Str(s='name')], values=[Str(s='post')])], #       keywords=[], starargs=None, kwargs=None)))], decorator_list=[ #   Attribute(value=Name(id='web', ctx=Load()), attr='asynchronous', ctx=Load()), Attribute(value=Name(id='gen', ctx=Load()), attr='engine', ctx=Load()), Name(id='shortgen', ctx=Load())]) #     ! 

 FunctionDef( name='get', args=arguments(args=[Name(id='self', ctx=Param())], vararg=None, kwarg=None, defaults=[]), body=[ Assign( #   targets=[ Tuple(elts=[ #     =  - tuple,  ctx   Store() Name(id='result', ctx=Store()), Name(id='status', ctx=Store())], ctx=Store())], value=Yield( #   - yield    value=Call( #  gen.Task func=Attribute( value=Name(id='gen', ctx=Load()), attr='Task', ctx=Load()), args=[Attribute( #   -   self.db.posts.find_e value=Attribute( value=Attribute( value=Name(id='self', ctx=Load()), attr='db', ctx=Load()), attr='posts', ctx=Load()), attr='find_e', ctx=Load()), Dict(keys=[Str(s='name')], values=[Str(s='post')])], keywords=[], #     starargs=None, kwargs=None)))], decorator_list=[ Name(id='asynchronous', ctx=Load()), Attribute(value=Name(id='gen', ctx=Load()), attr='engine', ctx=Load())]) #  shortgen  

1. पूरी तरह से Expr चला गया
2. BinOp(left, op, right) बजाय अब Assign(targets, value)
3. Load से Store राइट ऑपरेंड ctx वैल्यू बदल गया
4. कॉल self.db.posts.find_e(...) gen.Task(self.db.posts.find_e, ...) self.db.posts.find_e(...) बदल दिया गया है।
5. फ़ंक्शन कॉल के चारों ओर जोड़ा गया
6. मिसिंग डेकोरेटर @shortgen

1. एक फ़ंक्शन खोजें, @shortgen decorator_list में @shortgen decorator_list है
2. इस डेकोरेटर को हटाएं
3. फ़ंक्शन बॉडी में बाइनरी शिफ्ट ऑपरेटर BinOp पता लगाएं
4. बाएं और दाएं ऑपरेंड को सहेजें। बाईं ओर, Store पर Load साथ ctx को बदलें, सही ऑपरेंड से फ़ंक्शन का नाम और उसके तर्क (स्थिति, kw, और "स्टार" - *, **) निकालें।
5. पहले स्थितीय तर्क के साथ फ़ंक्शन ( self.db.posts.find_e ) का नाम जोड़ें ( self.db.posts.find_e , हमारे उदाहरण में हमें स्थिति संबंधी तर्क [self.db.posts.find_e, {'name': 'post'}] , और बाकी सभी खाली हैं।
6. इन तर्कों के साथ एक नया Call लेकिन पहले से ही gen.Task फ़ंक्शन बनाएँ
7. इसे उपज में लपेटें
8. Assign(targets, value) बनाएं और लक्ष्य के रूप में पहले बाईं ओर स्थित ऑपरेंड BinOp और मूल्य के रूप में - बस हमारे द्वारा बनाई गई Yield
9. हमारे ताजा Expr Assign साथ Expr स्रोत के पेड़ में बदलें

1. हम सजाया समारोह को पकड़ने के लिए visit_FunctionDef विधि बनाते हैं। इसमें, हम self.decorated कि फ़ंक्शन डेकोरेटर में लिपटे हुए हैं, यदि लिपटे हुए हैं, तो हम डेकोरेटर को हटा देते हैं और मार्क को self.decorated
2. हम बाइनरी शिफ्ट को पकड़ने के लिए एक visit_Expression विधि बनाते हैं। इसमें हम जाँचते हैं कि self.decorated ध्वज को self.decorated और Expr बिल्कुल बाइनरी शिफ्ट है। हम मैन्युअल रूप से बाकी जोड़तोड़ ( Expr को Expr परिवर्तित करना) करते हैं। सौभाग्य से, सभी आवश्यक डेटा पहले से ही पास है।

 # -*- coding: utf-8 -*- ''' Created on 2012-10-07 @author: Sergey <me@seriyps.ru>      http://habrahabr.ru/post/153595/    AST ''' import ast import marshal import py_compile import time import os.path class RewriteGenTask(ast.NodeTransformer): def __init__(self, *args, **kwargs): self.on_decorator = [] self.on_assign = [] super(RewriteGenTask, self).__init__(*args, **kwargs) def shortgen_deco_pos(self, decorator_list): # ,         # shortgen    . for pos, deco in enumerate(decorator_list): # Name(id='shortgen', ctx=Load()) if isinstance(deco, ast.Name) and deco.id == 'shortgen': return pos return -1 def visit_FunctionDef(self, node): """ ,      shortgen.  ,     . FunctionDef( name='get_short', args=arguments(...), body=[...], decorator_list=[ Attribute(value=Name(id='web', ...), attr='asynchronous', ...), Attribute(value=Name(id='gen', ...), attr='engine', ...), Name(id='shortgen', ctx=Load())]) """ deco_pos = self.shortgen_deco_pos(node.decorator_list) if deco_pos >= 0: #     shortgen ,  , #       Visitor   #  self.on_decorator.append(True) node.decorator_list.pop(deco_pos) self.generic_visit(node) #    self.on_decorator.pop() return node def visit_Expr(self, expr): """ ==   ==  result2 << func(arg, k=v, *args, **kwargs)  result2 = gen.Task(func, arg, k=v, *args, **kwargs)  AST  "stmt << func(...)" ( ): Expr(value=BinOp(left=Name(id='result', ctx=Load()), op=LShift(), right=Call( func=Name(id='fetch', ctx=Load()), args=[Num(n=1)], keywords=[keyword(arg='k', value=Num(n=2))], starargs=Tuple(elts=[Num(n=3)], ctx=Load()), kwargs=Dict(keys=[Str(s='k2')], values=[Num(n=4)]))))) ---- vvvvvvvvvvv ----  AST  "stmt = yield func(...)" (): Assign(targets=[Name(id='result', ctx=Store())], value=Yield(value=Call( func=Attribute(value=Name(id='gen', ctx=Load()), attr='Task', ctx=Load()), args=[Name(id='fetch', ctx=Load()), Num(n=1)], keywords=[keyword(arg='k', value=Num(n=2))], starargs=Tuple(elts=[Num(n=3)], ctx=Load()), kwargs=Dict(keys=[Str(s='k2')], values=[Num(n=4)])))) """ node = expr.value # BinOp if not (self.on_decorator and isinstance(expr.value, ast.BinOp) and isinstance(node.op, ast.LShift)): #       (on_decorator ),  #   return expr #  ,  LShift,   , #     gen.Task() #       (stmt <<)  #  (stmt =).    ctx=Load  # ctx=Store ( self.visit_Load()) self.on_assign.append(True) assign_target = self.visit(node.left) self.on_assign.pop() #   ... = ... (new_node, ) = ast.Assign( targets = [assign_target], value = ast.Yield( value=self.construct_gen_task_call(node.right))), #      new_node = ast.fix_missing_locations(ast.copy_location(new_node, expr)) return new_node def construct_gen_task_call(self, func_call): """      gen.Task      func(arg, k=v, *args, **kwargs)  gen.Task(func, arg, k=v, *args, **kwargs)  AST  "func(...)": Call( func=Name(id='fetch', ctx=Load()), args=[Num(n=1)], keywords=[keyword(arg='k', value=Num(n=2))], starargs=Tuple(elts=[Num(n=3)], ctx=Load()), kwargs=Dict(keys=[Str(s='k2')], values=[Num(n=4)]))) ---- vvvvvvvvv ----  AST  "gen.Task(func, ...)": Call( func=Attribute(value=Name(id='gen', ctx=Load()), attr='Task', ctx=Load()), args=[Name(id='fetch', ctx=Load()), Num(n=1)], keywords=[keyword(arg='k', value=Num(n=2))], starargs=Tuple(elts=[Num(n=3)], ctx=Load()), kwargs=Dict(keys=[Str(s='k2')], values=[Num(n=4)])) """ #  gen.Task gen_task = ast.Attribute( value=ast.Name(id='gen', ctx=ast.Load()), attr='Task', ctx=ast.Load()) #   gen.Task(func, ...) call = ast.Call( func=gen_task, #   - 1- : args=[func_call.func] + func_call.args, keywords=func_call.keywords, starargs=func_call.starargs, kwargs=func_call.kwargs) return self.visit(call) def visit_Load(self, node): #  Load()  Store() if self.on_assign: return ast.copy_location(ast.Store(), node) return node def shortgen(f): raise RuntimeError("ERROR! file must be compiled with yield_ast!") def compile_file(filepath): path, filename = os.path.split(filepath) with open(filepath) as src: orig_ast = ast.parse(src.read()) new_ast = RewriteGenTask().visit(orig_ast) code = compile(new_ast, filename, 'exec') pyc_filename = os.path.splitext(filename)[0] + '.pyc' pyc_filepath = os.path.join(path, pyc_filename) with open(pyc_filepath, 'wb') as fc: fc.write(py_compile.MAGIC) py_compile.wr_long(fc, long(time.time())) marshal.dump(code, fc) fc.flush() if __name__ == '__main__': import sys if len(sys.argv) < 2: print "Usage: %s file_to_compile1.py [file2.py] ..." % sys.argv[0] for filename in sys.argv[1:]: compile_file(filename) 

 with open(filepath) as src: orig_ast = ast.parse(src.read()) new_ast = RewriteGenTask().visit(orig_ast) code = compile(new_ast, filename, 'exec') exec code 

निष्कर्ष

संदर्भ

घर का पाठ

• क्या यह सच है कि 3 सज्जाकारों की यह सूची खौफनाक लगती है?
  

   @asynchronous @gen.engine @shortgen 

  एएसटी का उपयोग सिर्फ एक @shortgen साथ कैसे करें @shortgen लेकिन एएसटी के बारे में क्या?
• वर्तमान कार्यान्वयन के लिए आवश्यक है कि डेकोरेटर का उपयोग @shortgen तरह ही किया @shortgen , @my_module.shortgen अब काम नहीं @my_module.shortgen । इसके अलावा, यह आवश्यक है कि टॉर्नेडो.जन मॉड्यूल को आयात किया जाए क्योंकि from tornado import gen , import tornado.gen या from tornado.gen import Task अब काम नहीं करता है। इसे कैसे ठीक करें?
• लेख से सर्वर को फिर से लिखने का प्रयास करें, शॉर्टगेन, संकलन और रन का उपयोग करके टोरनेडो डब्ल्यूडब्ल्यूबी सर्वर के माध्यम से बड़ी फ़ाइलों को वितरित करना ।