MySQL से MongoDB तक डेटा प्रतिकृति

ऐसे समय होते हैं जब आपको सिस्टम आर्किटेक्चर को बदलने की आवश्यकता होती है। शायद आपने अपनी परियोजना में अड़चन पाई या यह निर्णय लिया कि वर्तमान विकास दर के साथ, स्केलिंग या गलती सहिष्णुता के साथ कठिनाइयां जल्द ही उत्पन्न हो सकती हैं। बस ऐसे मामलों के लिए एक टंगस्टन प्रतिकृति है।
टंगस्टन रेप्लिकेटर एक मुक्त, खुला स्रोत, जावा-आधारित अनुप्रयोग है जो MySQL DBMS प्रतिकृति कार्यक्षमता का विस्तार करता है। टंगस्टन की क्षमताएं व्यापक हैं, जिनमें मल्टी-मास्टर प्रतिकृति, समानांतर प्रतिकृति, MySQL और Oracle, PostgreSQL, MongoDB के बीच विषम डेटा प्रतिकृति शामिल हैं। इस लेख में, अधीनस्थ MongoDB सर्वर के साथ MySQL विज़ार्ड के विषम प्रतिकृति पर विचार किया जाएगा, CentOS 6.5 OS के रूप में कार्य करेगा।

निर्भरता स्थापना

चूंकि टंगस्टन रेप्लिकेटर जावा में लिखा गया है, इसलिए कम से कम आपको ओपनजेडके 1.6 या ओरेकल जावा 6 स्थापित करना होगा।
# yum install java-1.6.0-openjdk ruby

MySQL स्थापना

यदि आपके पास पहले से MySQL सर्वर स्थापित है, तो आपको केवल इसके विन्यास को ट्वीक करना होगा, जैसा कि नीचे वर्णित है, और उपयोगकर्ता को दोहराने के लिए मिलता है।


MongoDB स्थापित करें

यदि आपके पास पहले से ही MongoDB है, तो आप अगले चरण पर आगे बढ़ सकते हैं।

MySQL के लिए मास्टर रेप्लिकेटर स्थापित करना

वर्तमान, लेखन के समय, प्रतिकृति का संस्करण इस लिंक पर स्थित है।
आरंभ करने के लिए, आइए हमारे प्रतिकृति के लिए कुछ निर्देशिकाएं बनाते हैं, उदाहरण के लिए / ऑप्ट:
# cd /opt
# mkdir replicator
# cd replicator
# mkdir mysql # -
# mkdir mongodb #

वर्तमान निर्देशिका में प्रतिकृति संग्रह डाउनलोड करें:
# wget tungsten-replicator.googlecode.com/files/tungsten-replicator-2.2.0-292.tar.gz
# tar -xzf tungsten-replicator-2.2.0-292.tar.gz
# mv tungsten-replicator-2.2.0-292/ tungsten-replicator/

अब, मास्टर प्रतिकृति के लिए संस्थापन स्क्रिप्ट तैयार करें:
# vim master-installer.sh

 cd /opt/replicator/tungsten-replicator ./tools/tungsten-installer --master-slave -a \ --datasource-type=mysql \ --master-host=127.0.0.1 \ --datasource-user=tungsten \ --datasource-password=password \ --datasource-mysql-conf=/etc/my.cnf --datasource-log-directory=/var/log/mysql/ --datasource-port=3306 \ --service-name=mongodb \ --home-directory=/opt/replicator/mysql \ --cluster-hosts=127.0.0.1 \ --thl-port=10001 \ --rmi-port=11001 \ --java-file-encoding=UTF8 \ --mysql-use-bytes-for-string=false \ --mysql-enable-enumtostring=true \ --mysql-enable-settostring=true \ --svc-extractor-filters=colnames,pkey \ --svc-parallelization-type=none --start-and-report 

इस कॉन्फ़िगरेशन में सब कुछ दोहराया जाएगा, अर्थात्। सभी तालिकाओं के साथ प्रत्येक आधार।
यदि आपको कड़ाई से परिभाषित तालिकाओं को दोहराने की आवश्यकता है, तो आप स्क्रिप्ट में तुरंत पेन लाइन (svc-extractor-filter) को बदलकर फ़िल्टर को पहचान सकते हैं:

  --svc-extractor-filters=replicate \ "--property=replicator.filter.replicate.do=db1.table1,db2.table2,dbN.tableN" \ 

तदनुसार, db1.table1, आदि के बजाय, अपने डेटाबेस और तालिकाओं को इंगित करें जिन्हें आपको दोहराने की आवश्यकता होगी।
विज़ार्ड के लिए सब कुछ तैयार है, हम इंस्टॉलेशन स्क्रिप्ट चला सकते हैं:
# sh master-installer.sh

जानकारी >> 127_0_0_1 >> सेवाओं की सूची प्राप्त करना
जानकारी >> 127_0_0_1 >> ...
प्रसंस्करण सेवाएं आदेश ...
नाम मान
- - अप्लास्टसेक्नो: 0
आवेदन पत्र: 1.218
भूमिका: मास्टर
सेवानाम: मोंगोडब
serviceType: स्थानीय
शुरू: सच
राज्य: ऑनलाइन
समाप्त सेवाओं के आदेश ...

विज़ार्ड तैयार है, अब आप एक या अधिक दासों को इससे जोड़ सकते हैं - उदाहरण के लिए MySQL या PostgreSQL। लेकिन हमारा लक्ष्य MongoDB के साथ प्रतिकृति है, चलो इसे आगे बढ़ाएं।

MongoDB के लिए गुलाम प्रतिकृतियां स्थापित करें

हम एक दास अनुलिपित्र स्थापित करने के लिए एक स्क्रिप्ट तैयार करेंगे जो कि MongoDB में डेटा पंप करेगा।
# vim slave-installer.sh

 cd /opt/replicator/tungsten-replicator tools/tungsten-installer --master-slave -a \ --datasource-type=mongodb \ --master-host=127.0.0.1 \ --service-name=mongodb \ --home-directory=/opt/replicator/mongodb \ --cluster-hosts=127.0.0.1 \ --datasource-port=27017 \ --master-thl-port=10001 \ --thl-port=10002 \ --rmi-port=11002 \ --java-file-encoding=UTF8 \ --skip-validation-check=InstallerMasterSlaveCheck \ --svc-parallelization-type=none --start-and-report 

ध्यान दें कि मैं एक होस्ट पर प्रतिकृति करता हूं, अगर आपको किसी अन्य होस्ट को दोहराने की आवश्यकता है, तो सही होस्ट पता निर्दिष्ट करना न भूलें, जिस पर आपके पास एक मास्टर है और फायरवॉल (thl-port, rmi-port) में संबंधित पोर्ट खोलें।
यदि सभी शर्तें पूरी होती हैं, तो आप इंस्टॉलेशन स्क्रिप्ट चला सकते हैं।
# sh slave-installer.sh

WARN >> 127.0.0.1 >> वर्तमान में mongodb में THL स्कीमा की जांच करने में असमर्थ है
जानकारी >> 127_0_0_1 >> सेवाओं की सूची प्राप्त करना
जानकारी >> 127_0_0_1 >> प्रसंस्करण सेवाएं कमांड ...
नाम मान
- - अप्लास्टसेक्नो: 0
आवेदन की योग्यता: 0.5
भूमिका: गुलाम
सेवानाम: मोंगोडब
serviceType: स्थानीय
शुरू: सच
राज्य: ऑनलाइन
समाप्त सेवाओं के आदेश ...

यदि लाइन "स्थिति" में आपको "ONLINE" स्थिति दिखाई देती है, तो स्थापना सफल रही थी और यदि प्रतिकृति काम कर रही है तो आप जांचने का प्रयास कर सकते हैं।

प्रतिकृति की जाँच

परीक्षण शुरू करने से पहले, आपको यह पता लगाने की आवश्यकता है कि संबंधित डेटाबेस से डेटा को गैर-रिलेशनल डेटाबेस जैसे कि MongoDB में कैसे स्थानांतरित किया जाए। दरअसल, पारंपरिक DBMS जैसे कि MySQL, Oracle, और अन्य जो तालिकाओं में डेटा स्टोर करते हैं, के विपरीत Mongo डेटा को एक सरलीकृत रूप में संग्रहीत करता है - "की-वैल्यू"। इसलिए, MySQL तालिकाओं के डेटा को MongoDB के "संग्रह" में अनुवादित किया जाना चाहिए। इस स्थिति में, केवल "इन्सर्ट", "अपडेट" और "डिलीट" टेबल को दोहराया जा सकता है, बाकी के ऑपरेशंस (क्रिएट / ड्रॉप / अलर्ट) को रेप्लिकेटर द्वारा नजरअंदाज कर दिया जाएगा।
आइए देखें कि आवेषण को कैसे दोहराया जाएगा। ऐसा करने के लिए, हम एक परीक्षण सर्किट और एक टेबल बनाते हैं:
mysql> create schema testdb;
mysql> use testdb;
mysql> create table testrepl (id int not null primary key, name char(20), date date);
Query OK, 0 rows affected (0.00 sec)
चलो दो मनमाना आवेषण बनाते हैं:
mysql> insert into testrepl values (1, 'Vasya', '1965-01-01');
Query OK, 1 row affected (0.00 sec)
mysql> insert into testrepl values (2, 'Petya', '1991-02-02');
Query OK, 1 row affected (0.00 sec)

अब देखते हैं कि दास की ओर से उत्पन्न प्रतिकृति क्या है:
> show dbs
local 0.078125GB
testdb 0.203125GB
tungsten_mongodb 0.203125GB
> use testdb
switched to db testdb
> show collections
testrepl
system.indexes
> db.testdb.find()
{ "_id" : “01”, "id" : "1", "name" : "Vasya", "date" : "1965-01-01" }
{ "_id" : “02”, "id" : "2", "name" : "Petya", "date" : "1991-02-02" }

आइए देखें कि अपडेट को कैसे दोहराया जाता है:
mysql> update testrepl set name = 'Vasya P' where id =1;
Query OK, 1 row affected (0.01 sec)
Rows matched: 1 Changed: 1 Warnings: 0

मानगो में परिणाम:
> db.testrepl.find()
{ "_id" : “01”, "id" : "1", "name" : "Vasya P", "d" : "1965-01-01" }
{ "_id" : “02”, "id" : "2", "name" : "Petya", "date" : "1991-02-02" }

रेप्लिकेटर भी डिलीट को हैंडल करता है:
mysql> delete from testrepl where id =2;
Query OK, 1 row affected (0.00 sec)
रिसीवर पर, रिकॉर्ड भी चला गया:
> db.myfirst.find()
{ "_id" : “01”, "id" : "1", "name" : "Vasya P", "d" : "1965-01-01" }

हमने कुछ उदाहरणों को देखा कि प्रतिकृति कैसे काम करती है। अंत में यह सुनिश्चित करने के लिए कि रेप्लिकेटर अपना काम कर रहा है, आप कुछ बड़े डंप भरने की कोशिश कर सकते हैं, और फिर क्रमशः MySQL और MongoDB में तालिकाओं और संग्रहों की संख्या गिन सकते हैं।

आप प्रतिकृति स्थिति की जांच कर सकते हैं, प्रतिकृति को पुनः आरंभ कर सकते हैं या संबंधित सेवा की निर्देशिका से trepctl कमांड का उपयोग करके प्रतिकृति को रोक सकते हैं:
# cd /opt/replicator/
एक दास के लिए (MongoDB):
# ./mongodb/tungsten/tungsten-replicator/bin/trepctl status
और मास्टर (MySQL) के लिए:
# ./mysql/tungsten/tungsten-replicator/bin/trepctl status

प्रतिकृति सेवा को प्रबंधित करने के तरीके के विवरण के लिए, "सहायता" विकल्प आपको बताएगा।

क्यों?

तार्किक सवाल यह है कि, आपको MongoDB या किसी अन्य DBMS के साथ प्रतिकृति की आवश्यकता क्यों हो सकती है? कई परिदृश्य हो सकते हैं। उदाहरण के लिए, एक गैर-संबंधपरक डीबीएमएस के लाभों का अनुभव करने के लिए एक डेवलपर की इच्छा। या शायद MongoDB का उपयोग करने के लिए डिज़ाइन किया गया एक नया एप्लिकेशन बनाने के लिए डेटा का उपयोग करें।



अंत में, यह ध्यान देने योग्य है कि टंगस्टन रेप्लिकेटर आपके लिए विभिन्न MySQL प्रतिकृति विकल्पों के लिए समान उपयोगी उपकरण हो सकता है क्योंकि यह हमारे लिए बन गया है । इसकी कार्यक्षमता व्यापक है और विवरण एक से अधिक लेख ले सकता है। हालांकि, आधिकारिक वेबसाइट पर एक काफी विस्तृत दस्तावेज है। किसी को कॉन्टिनेंटल से भुगतान किए गए उद्यम संस्करण में रुचि हो सकती है। एंटरप्राइज़ संस्करण में, सामुदायिक संस्करण के लाभों के अलावा, यह घोषणा की गई है: स्वचालित वसूली, गलती सहिष्णुता, डाउनटाइम और अन्य उपहारों के बिना अपग्रेड, लेकिन बहुत सारे पैसे के लिए।

टंगस्टन रेप्लिकेटर डॉक्यूमेंटेशन:
विषम प्रतिकृति
MySQL MongoDB प्रतिकृति के लिए
प्रशासन
उपयोगी लेख:
टंगस्टन रेप्लिकेटर को स्थापित और प्रशासित करना
MySQL से MongoDB तक प्रतिकृति के साथ शुरुआत करना

MongoDB मैनुअल