Pythonのプロファイリングとデバッグ、練習に移りましょう

• 導入と理論 -なぜプロファイリング、異なるアプローチ、ツール、およびそれらの違いが必要なのですか？
• 手動および統計プロファイリング -実践に移りましょう
• イベントプロファイリング -ツールとそのア​​プリケーション
• デバッグ -何も機能しない場合の対処方法

トレーニング

13195の素数は5、7、13、および29です。
素数である600851475143の最大の除数は何ですか？

"""Project Euler problem 3 solve""" from __future__ import print_function import sys def is_prime(num): """Checks if num is prime number""" for i in range(2, num): if not num % i: return False return True def find_prime_factors(num): """Find prime factors of num""" result = [] for i in range(2, num): if is_prime(i) and not num % i: result.append(i) return result if __name__ == '__main__': try: num = int(sys.argv[1]) except (TypeError, ValueError, IndexError): sys.exit("Usage: euler_3.py number") if num < 1: sys.exit("Error: number must be greater than zero") prime_factors = find_prime_factors(num) if len(prime_factors) == 0: print("Can't find prime factors of %d" % num) else: print("Answer: %d" % prime_factors[-1]) 

rudnyh @ work ：〜/ work / python-profiling（venv： python-profiling ）
➜python euler_3.py 13195
回答：29

rudnyh @ work ：〜/ work / python-profiling（venv： python-profiling ）
➜python euler_3.py 600851475143

視線法

 """Project Euler problem 3 solve""" from __future__ import print_function import math import sys def is_prime(num): """Checks if num is prime number""" for i in range(2, int(math.sqrt(num)) + 1): if not num % i: return False return True def find_prime_factors(num): """Find prime factors of num""" result = [] for i in range(1, int(math.sqrt(num)) + 1): if is_prime(i) and not num % i: result.append(i) if is_prime(num): result.append(i) return result if __name__ == '__main__': try: num = int(sys.argv[1]) except (TypeError, ValueError, IndexError): sys.exit("Usage: euler_3.py number") if num < 1: sys.exit("Error: number must be greater than zero") prime_factors = find_prime_factors(num) if len(prime_factors) == 0: print("Can't find prime factors of %d" % num) else: print("Answer: %d" % prime_factors[-1]) 

rudnyh @ work ：〜/ work / python-profiling（venv： python-profiling ）
➜python euler_3.py 13195
回答：29

rudnyh @ work ：〜/ work / python-profiling（venv： python-profiling ）
➜python euler_3.py 600851475143
回答：6857

手動プロファイリング

rudnyh @ work ：〜/ work / python-profiling（venv： python-profiling ）
➜時間python euler_3.py 13195
回答：29
python euler_3.py 13195 3.83sユーザー0.03sシステム99％CPU 3.877合計

rudnyh @ work ：〜/ work / python-profiling（venv： python-profiling ）
➜時間python euler_3.py 13195
回答：29
python euler_3.py 13195 0.03sユーザー0.02sシステム90％cpu 0.061合計

 import time ... start = time.time() prime_factors = find_prime_factors(num) print("Time: %.03f s" % (time.time() - start)) 

rudnyh @ work ：〜/ work / python-profiling（venv： python-profiling ）
➜python euler_3.py 600851475143
回答：6857
時間：19.811秒

rudnyh @ work ：〜/ work / python-profiling（venv： python-profiling ）
➜python -m timeit -n 10 -s'import euler_3 '' euler_3.find_prime_factors（600851475143） '
10ループ、最高：3ループあたり21.3秒

 """Collect profiling statistic into graphite""" import socket import time CARBON_SERVER = '127.0.0.1' CARBON_PORT = 2003 class Stats(object): """Context manager for send stats to graphite""" def __init__(self, name): self.name = name def __enter__(self): self.start = time.time() return self def __exit__(self, *args): duration = (time.time() - self.start) * 1000 # msec message = '%s %d %d\n' % (self.name, duration, time.time()) sock = socket.socket() sock.connect((CARBON_SERVER, CARBON_PORT)) sock.sendall(message) sock.close() 

 from python_profiling.context_managers import Stats ... with Stats('project.application.some_action'): do_some_action() 

 """Collect profiling statistic into graphite""" import socket import time CARBON_SERVER = '127.0.0.1' CARBON_PORT = 2003 def stats(name): """Decorator for send stats to graphite""" def _timing(func): def _wrapper(*args, **kwargs): start = time.time() result = func(*args, **kwargs) duration = (time.time() - start) * 1000 # msec message = '%s %d %d\n' % (name, duration, time.time()) sock = socket.socket() sock.connect((CARBON_SERVER, CARBON_PORT)) sock.sendall(message) sock.close() return result return _wrapper return _timing 

 from python_profiling.decorators import stats ... @stats('project.application.some_action') def do_some_action(): """Doing some useful action""" 

ジャンゴstatsd

➜pip install django-statsd-mozilla

 INSTALLED_APPS += ('django_statsd',) MIDDLEWARE_CLASSES += ( 'django_statsd.middleware.GraphiteRequestTimingMiddleware', 'django_statsd.middleware.GraphiteMiddleware', ) # send DB timings STATSD_PATCHES = ['django_statsd.patches.db'] 

統計プロファイラー

• StatProfおよびdjango-live-profiler
• プロップとジャンゴ プロップ
• 新しい遺物

スタットプロフ

➜pip install statprof

 import statprof ... statprof.start() try: do_some_action() finally: statprof.stop() statprof.display() 

 import statprof ... with statprof.profile(): do_some_action() 

rudnyh @ work ：〜/ work / python-profiling（venv： python-profiling ）
➜python euler_3.py 600851475143
累積自己比率
時間秒秒名前
44.42 8.63 8.63 euler_3.py:12:is_prime
37.12 7.21 7.21 euler_3.py:11:is_prime
16.90 19.40 3.28 euler_3.py:21:find_prime_factors
0.95 0.18 0.18 euler_3.py:9:is_prime
0.48 0.09 0.09 euler_3.py:13:is_prime
0.06 0.01 0.01 euler_3.py:14:is_prime
0.06 0.01 0.01 euler_3.py:20:find_prime_factors
0.03 0.01 0.01 euler_3.py:23:find_prime_factors
0.00 19.42 0.00 euler_3.py:37：<モジュール>
-サンプル数：3575
合計時間：19.420000秒
回答：6857

 if is_prime(i) and not num % i: 

 if not num % i and is_prime(i): 

rudnyh @ work ：〜/ work / python-profiling（venv： python-profiling ）
➜python euler_3.py 600851475143
累積自己比率
時間秒秒名前
87.50 0.22 0.22 euler_3.py:21:find_prime_factors
5.00 0.01 0.01 euler_3.py:20:find_prime_factors
5.00 0.01 0.01 euler_3.py:11:is_prime
2.50 0.01 0.01 euler_3.py:23:find_prime_factors
0.00 0.25 0.00 euler_3.py:37：<モジュール>
-サンプル数：40
合計時間：0.250000秒
回答：6857

 result = foo() if bar else baz() 

 if bar: result = foo() else: result = baz() 

Django-live-profiler

brew brew install zmq

➜pip install django-live-profiler

➜集約--host 127.0.0.1 --port 5556

 #  application INSTALLED_APPS += ('profiler',) #  middleware MIDDLEWARE_CLASSES += ( 'profiler.middleware.ProfilerMiddleware', 'profiler.middleware.StatProfMiddleware', ) 

 url(r'^profiler/', include('profiler.urls')) 

➜python manage.py runserver --noreload --nothreading

プロップ

➜pip install plop tornado

rudnyh @ work ：〜/ work / python-profiling（venv： python-profiling ）
➜python -m plop.collector euler_3.py 600851475143
回答：6857
/tmp/plop.outに保存されたプロファイル出力
オーバーヘッドはサンプルあたり5.89810884916e-05（0.00589810884916％）でした

➜python -m plop.viewer --datadir = / tmp /

➜pip install django-plop

 MIDDLEWARE_CLASSES += ( 'django-plop.middleware.PlopMiddleware', ) PLOP_DIR = os.path.join(PROJECT_ROOT, 'plop') 

新しい遺物