🙍🏽 👩‍🚒 📽️ ओआरएम के प्रदर्शन के बारे में, या एक नया होनहार प्रोजेक्ट

हब्रहाब पर अपने पहले लेख में, मैंने मौजूदा ORM (ऑब्जेक्ट-रिलेशनल-मैपिंग, ऑब्जेक्ट-रिलेशनल मैपिंग) - उनके प्रदर्शन की मुख्य समस्याओं में से एक के बारे में लिखा था। अजगर, Django और SQLAlchemy में सबसे लोकप्रिय और प्रसिद्ध ओआरएम कार्यान्वयन में से दो को ध्यान में रखते हुए और परीक्षण करके, मैं इस निष्कर्ष पर पहुंचा हूं: शक्तिशाली सार्वभौमिक ओआरएम का उपयोग करने से बहुत ध्यान देने योग्य प्रदर्शन हानि होती है। फास्ट DBMS इंजन, जैसे कि MySQL का उपयोग करने के मामले में, डेटा एक्सेस प्रदर्शन 3-5 गुना से अधिक घट जाता है ।

हाल ही में, pony नामक नए ORM इंजन के डेवलपर्स में से एक ने मुझसे संपर्क किया और मुझे इस इंजन पर अपने विचार साझा करने के लिए कहा। मैंने सोचा था कि ये विचार हाब्राहबर समुदाय के हित के हो सकते हैं।

संक्षिप्त सारांश

मैंने फिर से पिछले लेख में वर्णित उन लोगों के समान कुछ प्रदर्शन परीक्षण चलाए और उनके परिणामों की तुलना पोनी ओआरएम द्वारा दिखाए गए परिणामों के साथ की। कैश्ड पैरामीटरकृत अनुरोध की शर्तों के तहत प्रदर्शन को मापने के लिए, मुझे एक ऑब्जेक्ट प्राप्त करने के लिए परीक्षण को संशोधित करना पड़ा ताकि हर नए अनुरोध को एक नई कुंजी के साथ एक ऑब्जेक्ट प्राप्त हो।

परिणाम: टट्टू ORM डेसंगो और SQLAlchemy के सर्वोत्तम परिणामों को 1.5-3 बार से दूर कर देता है, यहां तक कि ऑब्जेक्ट कैशिंग के बिना भी।

पोनी बेहतर क्यों निकली

मुझे तुरंत स्वीकार करना चाहिए: मैं नियमित साधनों के साथ समान शर्तों पर django और SQLAlchemy के साथ pony ORM से लैस करने में सक्षम नहीं था। ऐसा इसलिए हुआ क्योंकि अगर django में आप केवल विशिष्ट प्रश्नों का निर्माण कैश कर सकते हैं, और SQLAlchemy में - तैयार किए गए पैरामीटरयुक्त क्वेरी (कुछ गैर-तुच्छ प्रयासों के साथ), तो संभव है कि सब कुछ ORM कैश कर देता है । टेक्स्ट पोनी ओआरएम को तिरछे तरीके से देखना: कैश्ड

- SQL क्वेरी विशिष्ट DBMS का तैयार पाठ
- पाठ से संकलित अनुरोध की संरचना
- प्रसारण संबंध
- कनेक्शन
- निर्मित वस्तुओं
- पढ़ें और संशोधित वस्तुओं
- आस्थगित पढ़ने के लिए अनुरोध
- ऑब्जेक्ट बनाने, अपडेट करने और हटाने के लिए अनुरोध
- वस्तुओं के लिए खोज करने के लिए प्रश्न
- लॉक अनुरोध
- संबंधों और उनके संशोधनों को नेविगेट करने के लिए प्रश्न
- शायद कुछ और मैं याद किया

इस तरह की कैशिंग आपको उस कोड को निष्पादित करने की अनुमति देती है जो इसे जितना संभव हो उतना तेज़ी से उपयोग करता है, प्रदर्शन में सुधार करने के बारे में मुश्किल ट्रिक्स के बारे में चिंता किए बिना, जैसे मैं हताशा के साथ आया था और मेरे पिछले लेखों में से एक में यहां वर्णित है।

बेशक, कैशिंग कभी-कभी कुछ असुविधा लाता है । उदाहरण के लिए, वस्तुओं के कैशिंग के लिए तालिका में अपनी छवि के साथ स्मृति में किसी वस्तु की स्थिति की तुलना करना आसान नहीं है - यह कभी-कभी डेटा की सही प्रसंस्करण के लिए आवश्यक होता है जो विभिन्न प्रक्रियाओं में प्रतिस्पर्धात्मक रूप से संसाधित होता है। टट्टू रिलीज में से एक में, मैं व्यक्तिगत रूप से उन मापदंडों को देखना चाहता हूं जो आपको कोड के एक टुकड़े के लिए कुछ प्रकार के कैशिंग को वैकल्पिक रूप से अक्षम करने की अनुमति देते हैं ।

इच्छाओं

मैं पोनी ओआरएम में क्या याद कर रहा हूं ताकि मैं अन्य ओआरएम के साथ पूरी तरह से तुलना कर सकूं?

- डेटा माइग्रेशन - ORM का उपयोग करके बड़ी परियोजनाओं के लिए एक बिल्कुल आवश्यक प्रक्रिया
- कुछ लोकप्रिय DBMS के लिए एडेप्टर, उदाहरण के लिए MS SQL
- कोड में DBMS की एक किस्म से पूर्ण अमूर्त
- वस्तु के पूर्ण मेटाडेटा तक पहुंच
- क्षेत्र के प्रकारों का अनुकूलन
- पूर्ण प्रलेखन

मुझे आधुनिक ओआरएम में क्या याद आ रहा है जिसे पोनी ओआरएम में मूर्त रूप दिया जा सकता है, जबकि यह परियोजना अभी तक स्थिर होने की स्थिति में नहीं आई है?

- मिश्रित फ़िल्टर का उपयोग (फ़िल्टर में एक साथ फ़ील्ड और ऑब्जेक्ट के तरीकों तक पहुंच)
- अभिकलन क्षेत्र और उन पर सूचकांक
- मिश्रित फ़ील्ड (तालिका के कई क्षेत्रों में संग्रहीत)
एक नेस्टेड ऑब्जेक्ट का क्षेत्र (एक नियमित अजगर वस्तु का प्रतिनिधित्व करने वाला क्षेत्र)
- विभिन्न डेटाबेस से वस्तुओं को जोड़ना

और हां, मैं उन अनुप्रयोगों के निर्माण के लिए एक समग्र रूपरेखा देखना चाहूंगा जो डेटाबेस में प्रभावी पहुंच के लिए आधार के रूप में टट्टू ORM का उपयोग करते हैं।

अद्यतन 2013-08-03

यदि आप अपने प्रश्नों के लिए पोनी ORM लेखकों से उत्तर प्राप्त करना चाहते हैं, तो आप उन्हें निम्न पते पर संपर्क कर सकते हैं: alexander.kozlovsky@gmail.com और m.alexey@gmail.com। आमंत्रितों का स्वागत है।

क्षुधा

परीक्षण के परिणाम

>>> import test_native >>> test_native.test_native() get row by key: native req/seq: 3050.80815908 req time (ms): 0.327782 get value by key: native req/seq: 4956.05711955 req time (ms): 0.2017733

 >>> import test_django >>> test_django.test_django() get object by key: django req/seq: 587.58369836 req time (ms): 1.7018852 get value by key: django req/seq: 779.4622303 req time (ms): 1.2829358

 >>> import test_alchemy >>> test_alchemy.test_alchemy() get object by key: alchemy req/seq: 317.002465265 req time (ms): 3.1545496 get value by key: alchemy req/seq: 1827.75593609 req time (ms): 0.547119

 >>> import test_pony >>> test_pony.test_pony() get object by key: pony req/seq: 1571.18299553 req time (ms): 0.6364631 get value by key: pony req/seq: 2916.85249448 req time (ms): 0.3428353

टेस्ट कोड

test_native.py

 import datetime def test_native(): from django.db import connection, transaction cursor = connection.cursor() t1 = datetime.datetime.now() for i in range(10000): cursor.execute("select username,first_name,last_name,email,password,is_staff,is_active,is_superuser,last_login,date_joined from auth_user where id=%s limit 1" % (i+1)) f = cursor.fetchone() u = f[0] t2 = datetime.datetime.now() print "get row by key: native req/seq:",10000/(t2-t1).total_seconds(),'req time (ms):',(t2-t1).total_seconds()/10. t1 = datetime.datetime.now() for i in range(10000): cursor.execute("select username from auth_user where id=%s limit 1" % (i+1)) f = cursor.fetchone() u = f[0][0] t2 = datetime.datetime.now() print "get value by key: native req/seq:",10000/(t2-t1).total_seconds(),'req time (ms):',(t2-t1).total_seconds()/10.

test_django.py

 import datetime from django.contrib.auth.models import User def test_django(): t1 = datetime.datetime.now() q = User.objects.all() for i in range(10000): u = q.get(id=i+1) t2 = datetime.datetime.now() print "get object by key: django req/seq:",10000/(t2-t1).total_seconds(),'req time (ms):',(t2-t1).total_seconds()/10. t1 = datetime.datetime.now() q = User.objects.all().values('username') for i in range(10000): u = q.get(id=i+1)['username'] t2 = datetime.datetime.now() print "get value by key: django req/seq:",10000/(t2-t1).total_seconds(),'req time (ms):',(t2-t1).total_seconds()/10.

test_alchemy.py

 import datetime from sqlalchemy import * from sqlalchemy.orm.session import Session as ASession from sqlalchemy.ext.declarative import declarative_base query_cache = {} engine = create_engine('mysql://testorm:testorm@127.0.0.1/testorm', execution_options={'compiled_cache':query_cache}) session = ASession(bind=engine) Base = declarative_base(engine) class AUser(Base): __tablename__ = 'auth_user' id = Column(Integer, primary_key=True) username = Column(String(50)) password = Column(String(128)) last_login = Column(DateTime()) first_name = Column(String(30)) last_name = Column(String(30)) email = Column(String(30)) is_staff = Column(Boolean()) is_active = Column(Boolean()) date_joined = Column(DateTime()) def test_alchemy(): t1 = datetime.datetime.now() for i in range(10000): u = session.query(AUser).filter(AUser.id==i+1)[0] t2 = datetime.datetime.now() print "get object by key: alchemy req/seq:",10000/(t2-t1).total_seconds(),'req time (ms):',(t2-t1).total_seconds()/10. table = AUser.__table__ sel = select(['username'],from_obj=table,limit=1,whereclause=table.c.id==bindparam('ident')) t1 = datetime.datetime.now() for i in range(10000): u = sel.execute(ident=i+1).first()['username'] t2 = datetime.datetime.now() print "get value by key: alchemy req/seq:",10000/(t2-t1).total_seconds(),'req time (ms):',(t2-t1).total_seconds()/10.

test_pony.py

 import datetime from datetime import date, time from pony import * from pony.orm import * db = Database('mysql', db='testorm', user='testorm', passwd='testorm') class PUser(db.Entity): _table_ = 'auth_user' id = PrimaryKey(int, auto=True) username = Required(str) password = Optional(str) last_login = Required(date) first_name = Optional(str) last_name = Optional(str) email = Optional(str) is_staff = Optional(bool) is_active = Optional(bool) date_joined = Optional(date) db.generate_mapping(create_tables=False) def test_pony(): t1 = datetime.datetime.now() with db_session: for i in range(10000): u = select(u for u in PUser if u.id==i+1)[:1][0] t2 = datetime.datetime.now() print "get object by key: pony req/seq:",10000/(t2-t1).total_seconds(),'req time (ms):',(t2-t1).total_seconds()/10. t1 = datetime.datetime.now() with db_session: for i in range(10000): u = select(u.username for u in PUser if u.id==i+1)[:1][0] t2 = datetime.datetime.now() print "get value by key: pony req/seq:",10000/(t2-t1).total_seconds(),'req time (ms):',(t2-t1).total_seconds()/10.

ओआरएम के प्रदर्शन के बारे में, या एक नया होनहार प्रोजेक्ट - पोनी ओआरएम