पायथन में एक विशिष्ट कार्य को हल करते समय गैर-स्पष्ट गति अनुकूलन

चलिए शुरू करते हैं

एक SQL डेटाबेस है। कार्य तीन वाक्यांशों में वर्णित है:

• डेटा अपलोड
• डेटा सत्यापन
• रिपोर्ट पीढ़ी

अधिक विस्तार से कार्य करें

1. स्क्रिप्ट को बहुत बार निष्पादित किया जाना चाहिए।
2. डेटा अनलोडिंग में डेटाबेस से घटाना सबसे सरल क्वेरी का परिणाम है * से तालिका का चयन करें। पंक्तियों की तालिका / दृश्य में आमतौर पर 100000 से अधिक होते हैं, कॉलम ~ 100।
3. सत्यापन प्रपत्र पंक्ति की शर्तों के एक सेट की एक परीक्षा है। मुद्दा यह है कि चेक करने के लिए नाम से एक कॉलम तक पहुँचने की आवश्यकता है।
4. निरीक्षणों के परिणामों पर एक रिपोर्ट का सृजन।

पैराग्राफ 1 पर ध्यान दें

बाकी इतना दिलचस्प नहीं है।
(मैं एक उदाहरण के रूप में sqlite डेटाबेस का उपयोग करें )

इस तरह के कार्य के लिए किसी भी प्रकार के ओआरएम का उपयोग करना कम से कम अजीब है। हम इसे माथे में करते हैं (मेमोरी को सरल बनाने के लिए, पूरे परिणाम को अनलोड करें)

import sqlite3 conn = sqlite3.connect(filePath) result = tuple(row for row in conn.cursor().execute("SELECT * FROM test")) 

निष्पादन के बाद, परिणाम में ट्यूपल्स का एक समूह होता है। हमें विशेषताओं वाली एक वस्तु चाहिए।
उलझी:

 ColsCount = 100 class RowWrapper(object): def __init__(self, values): self.Id = values[0] for x in xrange(ColsCount): setattr(self, "Col{0}".format(x), values[x + 1]) result = tuple(RowWrapper(row) for row in conn.cursor().execute(self.query)) 

हम चरण 2 पर जाने के लिए तैयार हैं या नहीं? और दोनों उदाहरणों की गति को मापें (पूर्ण परीक्षण कोड यहां )।
100,000 पंक्तियों, 101 कॉलम
मैंने इसे सेकंड में किया:
नमूना 1: 4.64823588605
नमूना 2: 17.1091031498
क्लास इंस्टेंसेस बनाने में> 10 सेकेंड का समय लगता है
मेरे अंदर C ++ प्रोग्रामर इसके बारे में कुछ करना चाहता था।

एक उपाय था

हम संग्रह मॉड्यूल से नामित का उपयोग करते हैं। मैं यहां इसके काम के सिद्धांत का विस्तार से वर्णन नहीं करूंगा। मैं केवल एक छोटा सा उदाहरण दूंगा जिसकी हमें कार्यक्षमता की आवश्यकता है।

 import collections columns = ('name', 'age', 'story') values = ('john', '99', '...blahblah...') SuperMan = collections.namedtuple('SuperMan', columns) firstSuperMan = SuperMan._make(values) print(firstSuperMan.name) print(firstSuperMan.age) print(firstSuperMan.story) 

और अब एक कार्य के संदर्भ में एक उदाहरण:

 import collections columns = tuple(itertools.chain(('Id',), tuple("Col{0}".format(x) for x in xrange(ColsCount)))) TupleClass = collections.namedtuple("TupleClass", Columns) result = tuple(TupleClass._make(row) for row in conn.cursor().execute(self.query)) 

हम गति को मापते हैं:
नमूना 1: 4.30456730876
नमूना २: १५.३३१४५१२7०
नमूना 3: 4.67008026138

अलग बात है। आधार बनाने और गति को मापने के साथ पूर्ण कोड उदाहरण देखें ।

उदाहरण के लिए, लेख का इस्तेमाल किया

• अजगर 2.7। *
• जनक भाव
• collections.namedtuple
• itertools.chain