PostgreSQL के साथ Django में विभाजन तालिका

नमस्कार।
यदि आप Django + PostgreSQL का उपयोग करते हैं, तो यह एक विषय है कि महीने में किसी तालिका के विभाजन (विभाजन) को अपेक्षाकृत जल्दी और दर्द रहित तरीके से कैसे स्थापित किया जाए। उपरोक्त में से कई अन्य फ्रेमवर्क और ओआरएम के लिए उपयुक्त हैं।

आप यह पढ़ सकते हैं कि विभाजन क्या है और इसकी आवश्यकता क्यों है, उदाहरण के लिए, यहाँ , यहाँ और यहाँ ।

तो, Django पर एक परियोजना है और एक मॉडल की तालिका बहुत बड़ी होनी चाहिए। यदि इस तालिका से पढ़ना अक्सर होता है, और जिस समय अवधि में रिकॉर्ड बनाया गया था, वह हमेशा ज्ञात होता है, तो विभाजन डेटाबेस को गति देगा।

हर बार जब मैं वास्तव में विभाजन को सक्षम करने के लिए प्रश्न लिखना नहीं चाहता, तो चलिए स्वचालित करने का प्रयास करते हैं। ठीक है, अगर आउटपुट कुछ ऐसा है जो किसी ऐसे व्यक्ति द्वारा उपयोग किया जा सकता है जो एसक्यूएल से बहुत परिचित नहीं है। मैंने डॉक्स पढ़ा है, इसलिए आपको नहीं करना है।

सबसे पहले, मैं आपको बताता हूं कि मेरी सर्वोत्तम प्रथाओं को जल्दी से कैसे आज़माया जाए, और फिर हुड के नीचे क्या है। हम इस तरह से कार्य करते हैं:

1. हम syncdb को syncdb ताकि हम विभाजन कमांड जोड़ सकें।
2. हम एसक्यूएल को कनेक्ट करते हैं जो स्थापित इंडेक्स को बाहर निकालेंगे, सेक्शन बनाएंगे, उन पर इंडेक्स को सक्रिय करेंगे, फ़ंक्शन और ट्रिगर जोड़ेंगे।
3. हम अंत अनुप्रयोगों और मॉडलों में विभाजन को सक्रिय करते हैं।

सबसे पहले, रिपॉजिटरी से पैकेज स्थापित करें

 pip install git+https://github.com/podshumok/django-post-syncdb-hooks 

और कुछ एप्लिकेशन कनेक्ट करें:

 INSTALLED APPS = ( # ... 'post_syncdb_hooks', 'post_syncdb_hooks.partitioning', 'your.app', # ... ) 

चलो वहाँ एक मॉडल है yourapp/models.py :

 from django.db import models class MyModel(models.Model): date_created = models.DateTimeField() my_data = models.IntegerField(db_index=True) 

फ़ाइल को जोड़ें: आप जोड़ सकते हैं yourapp/sql/post_syncdb-hook.postgresql_psycopg2.sql (आप आवश्यकताओं को पूरा करने के लिए अंतरालों को संपादित कर सकते हैं):

 SELECT month_partition_creation( date_trunc('MONTH', NOW())::date, date_trunc('MONTH', NOW() + INTERVAL '1 year' )::date, 'yourapp_mymodel', 'date_created'); 

syncdb :

 ./manage.py syncdb 

... और सेक्शन बने हैं।

यदि यह पहला syncdb , तो बनाए गए खंडों में अनुक्रमित नहीं होंगे। इसे ठीक करने के लिए, आपको फिर से syncdb चलाने की आवश्यकता है।

खैर, आधार अब तैयार है, लेकिन Django अभी तक नहीं है। तथ्य यह है कि, संस्करण 1.3 के साथ, Django सम्मिलित रिकॉर्ड की id प्राप्त करने के लिए RETURNING... को जोड़कर PostgreSQL के लिए INSERT INTO प्रश्नों का निर्माण करता है। और जिस विभाजन विधि का हम उपयोग करते हैं वह इस सुविधा का समर्थन नहीं करती है।

हम मोटे तौर पर Django को कहीं भी RETURNING उपयोग नहीं करने के लिए मजबूर कर सकते हैं:

 from django.db import connections, DEFAULT_DB_ALIAS connections[DEFAULT_DB_ALIAS].features.can_return_id_from_insert = False 

और हम अपने मॉडल को संपादित कर सकते हैं ताकि केवल इसके साथ RETURNING उपयोग न हो:

 from post_syncdb_hooks.partitioning import to_partition class MyModel(models.Model): "..." #... @to_partition def save(self, *args, **kwargs): return super(MyModel, self).save(*args, **kwargs) 

तो, बेस तैयार है, Django तैयार है, लेकिन क्या हम तैयार हैं? ताकि पढ़ने के अनुरोध सभी वर्गों के एक डेटाबेस पोल के लिए नेतृत्व न करें, हमें QuerySet को उस क्षेत्र द्वारा फ़िल्टर करना होगा जिसके लिए विभाजन लागू किया गया है (उदाहरण के लिए, date_created ):

 qs = MyModel.objects.filter(date_created__lte=..., date_created__gt=...) 

यह सुनिश्चित करने के लिए भी सार्थक है कि सभी प्रविष्टियों count() विशेष आवश्यकता के बिना कहीं भी नहीं होती है: उदाहरण के लिए, व्यवस्थापक paginator में paginator ऐसा करना पसंद करता है।

अब सब लोग तैयार हैं। वह सब है।

post_syncdb_hooks बारे में हुड

post_syncdb_hooks में management.py शामिल management.py , जो रिसीवर को post_syncdb सिग्नल के लिए जोड़ता है। यह रिसीवर या हुक सभी स्थापित अनुप्रयोगों के लिए कहा जाता है। यह देखने के लिए लगता है कि क्या sql फ़ोल्डर इस या उस एप्लिकेशन के post_syncdb-hook.sql फ़ाइल के बगल में है, और यदि यह है, तो कोई post_syncdb-hook.sql या post_syncdb-hook.(backend).sql जो लॉन्च की जा सकती हैं।

post_syncdb_hooks.partitioning में ऐसी SQL फ़ाइल होती है। इसमें, हम एक SQL फ़ंक्शन बनाते हैं जो चार पैरामीटर लेता है: प्रारंभ दिनांक, समाप्ति दिनांक, तालिका नाम और फ़ील्ड नाम। जब फ़ंक्शन को कॉल किया जाता है, तो चयनित फ़ील्ड के लिए अनुभाग चुने गए फ़ील्ड के लिए बनाए जाते हैं, जो प्रारंभ तिथि से एक महीने के वेतन वृद्धि में शुरू होता है, साथ ही INSERT INTO और अनुभाग तालिकाओं के इंडेक्स के लिए एक ट्रिगर (यदि मुख्य तालिका के लिए अनुक्रमित निर्दिष्ट किए जाते हैं)।

सूचकांक के बारे में हुड

मेरे लिए सबसे उबाऊ और कठिन था वर्गों के लिए अनुक्रमणिका का निर्माण। जब तालिका बनाने के लिए SQL लिखा जाता है और हम विभाजित योजना पर आगे बढ़ते हैं, तो कोई समस्या नहीं है - कॉपी-पेस्ट। लेकिन जब Django टेबल बनाता है, तो यह बहुत स्पष्ट नहीं है कि इसे कैसे बनाया जाए ताकि मास्टर टेबल के लिए इंडेक्स न बनाएं, लेकिन इसी एसक्यूएल को बचाएं। अंत में, मैंने फैसला किया: जिओगो को इंडेक्स बनाने (वे अभी भी खाली होंगे), और मैं उन्हें अनुभागों में कॉपी करूंगा।

यह कैसे करना है यह तय करना बाकी है।

psql में -E विकल्प है, जो इसे आंतरिक कमांड द्वारा उत्पन्न SQL को आउटपुट करने का कारण बनता है। तो वह

 sudo -u postgres psql -E db 

 db=# \di ********* QUERY ********** SELECT n.nspname as "Schema", c.relname as "Name", CASE c.relkind WHEN 'r' THEN 'table' WHEN 'v' THEN 'view' WHEN 'i' THEN 'index' WHEN 'S' THEN 'sequence' WHEN 's' THEN 'special' WHEN 'f' THEN 'foreign table' END as "Type", pg_catalog.pg_get_userbyid(c.relowner) as "Owner", c2.relname as "Table" FROM pg_catalog.pg_class c LEFT JOIN pg_catalog.pg_namespace n ON n.oid = c.relnamespace LEFT JOIN pg_catalog.pg_index i ON i.indexrelid = c.oid LEFT JOIN pg_catalog.pg_class c2 ON i.indrelid = c2.oid WHERE c.relkind IN ('i','') AND n.nspname <> 'pg_catalog' AND n.nspname <> 'information_schema' AND n.nspname !~ '^pg_toast' AND pg_catalog.pg_table_is_visible(c.oid) ORDER BY 1,2; ************************** db=# 

थोड़ी सी कॉपी-पेस्ट और टेबल टेबल के लिए इंडेक्स बनाने के लिए हमारे पास सब कुछ है।

धन्यवाद!

यहां प्रस्तुत पैकेज का उपयोग कुछ परियोजनाओं में मेरे द्वारा किया गया है और इसे सौंपे गए कार्यों के साथ काफी सफलतापूर्वक मुकाबला किया गया है।
इसे पढ़ने वाले सभी को धन्यवाद। मुझे उम्मीद है कि कुछ किया किसी के लिए उपयोगी है।
मैं आपसे टिप्पणियों और गितुब में पाई गई कमियों को भी सुधारने और सुधार के सुझाव देने के लिए कहता हूं।