MySQL डाटाबेस सिंक अवलोकन

आधुनिक वेब एप्लिकेशन विकसित करते समय, संस्करण नियंत्रण प्रणालियों का उपयोग करने के लाभों को कम समझना मुश्किल है। विकसित उत्पाद की फ़ाइलों के संबंध में, हम किसी भी समय उत्पादन के किसी भी चरण को ट्रैक करने में सक्षम हैं, पहले संशोधन के साथ। ऐसे उपकरण जो हमें इसकी सहायता करते हैं, आज लोकप्रिय हैं, जिन्हें विकास में अच्छा माना जाता है, और कई मामलों में उनके आवेदन के बिना सफल उत्पादन सिद्धांत में असंभव है। और हमारे पास क्या अवसर हैं जब फाइलों में नहीं, बल्कि प्रोजेक्ट डेटाबेस में परिवर्तन को ट्रैक करना आवश्यक हो जाता है? कटौती के तहत, मैं उन मौजूदा उपकरणों के बारे में जानकारी साझा करूंगा जिन्हें मुझे खुद से परिचित करना था।

1. PHP SQLDIFF, उर्फ ​​SQLDiff

( http://phpsqldiff.sourceforge.net/ )

एक PHP स्क्रिप्ट जो आपको दो डेटाबेस के किसी भी टेबल के बीच पूर्ण अंतर (संरचना और डेटा में दोनों) को देखने की अनुमति देती है। उपकरण में संरचना या डेटा को स्वचालित रूप से सिंक्रनाइज़ करने का कोई साधन नहीं है - केवल दृश्य जानकारी प्रदान की जाती है। एक और महत्वपूर्ण दोष केवल डेटाबेस से जुड़ने की क्षमता है, जिसे सीधे एक्सेस किया जा सकता है (ssh सुरंग के माध्यम से नहीं)। बड़ी मात्रा में डेटा पर काम की धीमी गति (नाशपाती-मॉड्यूल के माध्यम से काम, जो या तो नवीनता या गति के साथ चमक नहीं करता है)। मुझे लगता है कि यह स्क्रिप्ट उन मामलों में डेवलपर के लिए बहुत उपयोगी है, जहां आपको अलग-अलग तालिकाओं के बीच के अंतरों को समझने और उन्हें प्रस्तुत करने की आवश्यकता है - इसमें एक सुविधाजनक इंटरफ़ेस, त्वरित सेटअप है। मैं इसे जल्दी से तालिकाओं के desync की समझ हासिल करने के लिए एक उपयोगी पॉकेट उपयोगिता के रूप में अधिक विशेषता देता हूं, जो सिद्धांत में समान होना चाहिए, बल्कि एक गंभीर उपकरण के रूप में होना चाहिए जिसका उपयोग सिंक्रनाइज़ेशन प्रक्रियाओं को स्वचालित करने के लिए किया जा सकता है।

2. LIQUIBASE

( http://www.liquibase.org/ )

जावा में डेटाबेस संरचना प्रवासी का उपयोग करने के लिए सुविधाजनक बहुक्रियाशील और आसान। मैं खुद के लिए यह प्लस देखता हूं, अगर जेनकिंस के साथ संयोजन में उपयोग किया जाता है।
उदाहरण (host1 वह सर्वर है जिसमें से डेटाबेस स्ट्रक्चर को कॉपी किया जाता है; host2 वह सर्वर है, जिससे आप स्ट्रक्चर 1 को ट्रांसफर करना चाहते हैं:

java -jar liquibase.jar --driver=com.mysql.jdbc.Driver \ --classpath=mysql-connector-java-5.1.xx-bin.jar \ --logFile=db.ExampleChangelog.xml \ --url="jdbc:mysql://host2" \ --defaultSchemaName=db_name \ --username=username \ --password="password" \ --referenceUrl=jdbc:mysql://host1 \ --referenceUsername=username \ --referencePassword="password" \ diffChangeLog > ChangeSet.xml 

Xml प्रारूप में परिवर्तन उत्पन्न करता है, जिसके आगे प्रवासन host2 पर डेटाबेस संरचना को host1 के समान स्थिति में लाता है।

माइग्रेशन प्रारंभ करें:

 java -jar liquibase.jar --driver=com.mysql.jdbc.Driver \ --classpath=/path/to/classes \ --changeLogFile=ChangeSet.xml \ --url="jdbc:mysql://host2" \ --username=user \ --password="password" \ migrate 

माइग्रेशन के बाद, यह फिर से जांचने के लिए समझ में आता है कि बदलाव खाली है।
तालिकाओं और क्षेत्रों का न केवल सिंक्रनाइज़ेशन है, बल्कि इंडेक्स, चाबियाँ भी हैं। संग्रहीत प्रक्रियाओं के बारे में निश्चित नहीं है - मैंने वह जाँच नहीं की है।

चेंजसेट को अन्य स्वरूपों में भी बनाया जा सकता है - sql में, json में (न केवल xml में)। एसक्यूएल में परिवर्तन का गठन उन मामलों में उपयोगी होगा जब प्रवास के लिए किसी अन्य उपयोगिता के उपकरण का उपयोग किया जाता है।

3. स्कीमासिंक

( http://schemasync.org/ )

डेटाबेस की संरचना को सिंक्रनाइज़ करने के लिए उपकरण। काम करने के लिए, आपको अजगर और mysql के लिए संबंधित इंटरफ़ेस की आवश्यकता है।
शराबी के साथ महत्वपूर्ण अंतर:
- स्कीमास्क्यू न केवल एक चेंजसेट बनाता है, बल्कि एक फाइल भी है जो आपको परिवर्तन वापस करने की अनुमति देता है (सबसे महत्वपूर्ण और सबसे मूल्यवान लाभ, हालांकि, मेरी राय में, यह सिंक्रनाइज़ेशन से पहले बैकअप की आवश्यकता को समाप्त नहीं करता है)
- लिबास आपको न केवल चेंज प्राप्त करने की अनुमति देता है, बल्कि तुरंत उपयोगिता के टूल का उपयोग करके माइग्रेशन भी शुरू करता है। शायद एक हत्यारा सुविधा नहीं है, लेकिन अभी भी सुविधाजनक और उपयोगी है

schemasync केवल sql के साथ काम करता है - कोई मध्यवर्ती xml और एनालॉग्स नहीं है - मैं अपने आप को इस फायदे और नुकसान दोनों में देखता हूं।
बहुत संक्षिप्त वाक्यविन्यास, न्यूनतम सेटिंग्स। टिप्पणियों और ऑटो-इंक्रीमेंट (कॉन्फ़िगरेशन) को सिंक्रनाइज़ करने की अनुमति नहीं देता है - एक पूर्ण प्लस।

उपयोग उदाहरण:

 schemasync mysql://user:pass@dev-host:3306/dev_db mysql://user:pass@prod-host:3306/production_db 

4. MAATKIT डेटा सिंक

( http://www.maatkit.org/doc/ )
एमके-टेबल-सिंक - टेबल डेटा को सिंक्रनाइज़ करने के लिए उपयोगिता। मैं अभी इस बात का उल्लेख नहीं करूँगा कि माईकिट MySQL के साथ काम करने के लिए उपकरणों का एक पूरा सेट है जो मूल MySQL में निहित नहीं होने वाली सुविधाएँ प्रदान करता है। यह आश्चर्य की बात नहीं है, यह देखते हुए कि यह उत्पाद पेरकोना द्वारा बनाया गया था - हम पहले से ही उनके उत्पादों को एक ला से देखने के आदी हैं "हम MySQL ले लेंगे और इसमें जोड़ देंगे कि इसमें लंबे समय तक क्या होना चाहिए था।"
प्रभावी रूप से तालिकाओं के साथ ही काम करता है अगर कोई प्राथमिक कुंजी या एक अद्वितीय सूचकांक है (जो सामान्य रूप से उचित है)।
इसमें विकल्पों और सेटिंग्स की एक प्रभावशाली संख्या है, जो आपको मास्टर-दास, मास्टर-मास्टर कॉन्फ़िगरेशन को सिंक्रनाइज़ करने की अनुमति देता है। यह आपको स्वचालित सिंक्रनाइज़ेशन शुरू करने की अनुमति देता है, लेकिन हम मुख्य रूप से इस में रुचि नहीं रखते हैं, लेकिन बदलावों का एक लॉग बनाने की क्षमता है। मुझे लगता है कि इस उपयोगिता पर एक अलग लेख लिखना संभव है, इसलिए मैं सेटिंग्स में गहराई से नहीं जा सका - मैं केवल इस तथ्य पर ध्यान केंद्रित करता हूं कि वास्तव में बहुत सारे विकल्प हैं और वे डेवलपर को बहुत लचीली सिंक्रनाइज़ेशन सेटिंग्स की संभावना देते हैं, जिससे आप कई बारीकियों को ध्यान में रख सकते हैं। यह मूल प्रलेखन (http://www.maatkit.org/doc/mk-table-sync.html) पढ़ने के लिए समझ में आता है।

उपयोग उदाहरण:

 mk-table-sync --verbose --print --charset=DB_CHARSET, h=host, P=port1, u=user1, p=password1, t=table1, D=db1 h=host2, P=port2, u=user2, p=password2, D=db2 > /__path__/ChangeLogQueries.sql 

जोड़ 1:

उल्लिखित टूल में एक महत्वपूर्ण खामी है, जो उत्पादन सर्वर पर तैनात होने के दौरान कम महत्वपूर्ण है, लेकिन लगातार विकास प्रक्रिया में खुद को याद दिलाता है - निष्पादन की गति। प्रारंभ में, कार्य एक तंत्र का निर्माण करना था जो श्रृंखला "डेवलपर्स - परीक्षण सर्वर - मंच - उत्पादन" में साइटों के बीच सिंक्रनाइज़ेशन को स्वचालित करेगा। परीक्षण सर्वर से शुरू (ऊपर वर्णित श्रृंखला में) काफी सरल है - केवल संसाधनों से समय की आवश्यकता होती है, लोड न्यूनतम होता है। यदि प्रक्रिया रात में अपने आप एक शेड्यूल पर चलती है, तो यह महत्वपूर्ण है कि इसे पूरा करने में कितना समय लगे, लेकिन लोड नहीं बनाना और सुबह तक कार्य पूरा करना। यदि सिंक्रनाइज़ेशन नियमित है, तो परिवर्तन सूचियां कभी भी अधिक बड़ी नहीं होंगी, और लोड नगण्य होगा। एक और बात जब यह डेवलपर के प्लेटफ़ॉर्म और टेस्ट सर्वर के बीच सिंक्रनाइज़ेशन की बात आती है। इस मामले में, सिंक्रनाइज़ेशन, जो 1 घंटे लेता है, हमेशा मूर्त होगा और असुविधा पैदा करेगा। इन परिस्थितियों और सिंक्रनाइज़ेशन नंबर 5 का एक साधन प्रेरित:

5. "अर्ध-स्वचालित सिंक्रनाइज़ेशन।"

ऊपर वर्णित उपयोगिताओं में, समय का एक बड़ा (पूरी तरह से थोड़ा कम) अंतर की सूची के गठन से लिया जाता है। फिर अंतर को खत्म करने के लिए स्क्रिप्ट को लागू करें - कार्रवाई काफी तेज है (फिर से, एक स्वयंसिद्ध नहीं है, लेकिन विकास प्रक्रिया में ज्यादातर मामलों में)। इससे पता चलता है कि आप मैन्युअल रूप से अंतर की सूची बनाने पर काम कर सकते हैं, और केवल इसके आवेदन को स्वचालित कर सकते हैं। केवल दो स्पष्ट तरीके थे:
क) किसी भी उत्पाद में, डेटाबेस के साथ काम करने के तरीके हैं - यह कोई फर्क नहीं पड़ता कि आप लोकप्रिय फ्रेमवर्क या अपने घर का बना कर्नेल का उपयोग करते हैं या नहीं। यह सभी आवश्यक अनुरोधों को ठीक करने के लिए पर्याप्त है (यदि केवल संरचना में रुचि है - डीडीएल, यदि डेटा भी अद्यतन है और हटाएं, उदाहरण के लिए) अपने स्वयं के भंडारण में;
ख) यदि आपके ढांचे (और पाप अधिक होने के कारण) में डेटाबेस के साथ काम करने वाले वर्ग के तरीकों का विस्तार करने की क्षमता नहीं है और उस विधि में एक घटना हैंडलर भी नहीं है जो डेटाबेस को क्वेरी निष्पादित करता है, तो आप सभी अनुरोधों के लॉग को पार्स कर सकते हैं (मुझे आशा है कि इस तरह के लॉग को शामिल करने की क्षमता है सभी लक्ष्य सॉफ़्टवेयर) और इस लॉग से केवल आवश्यक क्रियाओं को रिकॉर्ड करें।

परिवर्तनों के अपने स्वयं के लॉग के निर्माण के साथ इस तरह के "अर्ध-स्वचालित सिंक्रनाइज़ेशन" को अस्तित्व का अधिकार है, लेकिन डेवलपर को सिंक्रनाइज़ेशन के बाद जांचने के लिए उपर्युक्त उपयोगिताओं का उपयोग करने के लिए प्रोत्साहित करना चाहिए जो तालिकाओं को वास्तव में मेल खाते हैं (यह सुनिश्चित करने के लिए कम से कम रात में एक शेड्यूल किया जाए कि मानव कारक ने डेटा के सिंक्रनाइज़ेशन में अपनी सुधार नहीं किया)।

जोड़ 2:

(अद्यतन)
दुर्भाग्य से, मेरे द्वारा बताए गए लगभग सभी उपकरणों में एक महत्वपूर्ण खामी है (और मुझे खुशी होगी कि अगर मैं गलत हूं, लेकिन मुझे कोई भी प्रतिशोध नहीं मिला है) - उन सभी को tcp / ip के माध्यम से डेटाबेस तक दूरस्थ पहुंच की आवश्यकता होती है। यह मानते हुए कि केवल स्थानीय होस्ट से डेटाबेस तक पहुंच की अनुमति देना और रिमोट एक्सेस को प्रतिबंधित करना सामान्य अभ्यास है, केवल उपर्युक्त टूल का उपयोग करके सिंक्रनाइज़ेशन को प्राप्त करना संभव नहीं होगा।
पोर्ट अग्रेषण के साथ प्रस्तावित समाधान के लिए उपयोगकर्ता डार्कबाइट के लिए बहुत धन्यवाद - यह समस्या को हल करता है।

सफल अनुप्रयोग और बैकअप के लिए मत भूलना!