👒 💪🏾 🐫 SymmetricDS PostgreSQL डेटाबेस प्रतिकृति 🛣️ 🐁 🏏

इस लेख में, मैं आपको दिखाऊंगा कि पोस्टग्रेक्यूएल के लिए डेटाबेस प्रतिकृति कैसे सेट करें। प्रयोगों के लिए, हम लिनक्स वितरण CentOS 5.3 का उपयोग करेंगे, हालांकि यह महत्वपूर्ण नहीं है। हम PostgreSQL 8.4.7 और SymmetricDS-2.2.2 के संस्करण का उपयोग करेंगे।

प्रतिकृति क्या है?

वास्तव में, यह विभिन्न सर्वरों पर चलने वाले डेटाबेस की सामग्री को स्वचालित रूप से सिंक्रनाइज़ करने के लिए एक तंत्र है। प्रतिकृति के परिणामस्वरूप, इन डेटाबेस में बिल्कुल समान डेटा होता है। यह आवश्यक है, उदाहरण के लिए, सिस्टम की गलती सहिष्णुता सुनिश्चित करने के लिए (पहले डेटाबेस सर्वर की गिरावट की स्थिति में, दूसरा ऑपरेशन में आता है), या लोड को संतुलित करने के लिए - विभिन्न सर्वर विभिन्न ग्राहकों की सेवा कर सकते हैं।

प्रतिकृति के लिए, आपको कम से कम दो डेटाबेस सर्वर की आवश्यकता है, इसलिए हम प्रत्येक PostgreSQL डेटाबेस के साथ दो समान सर्वर तैयार कर रहे हैं। पहले का आईपी पते 10.0.2.20 होगा, दूसरे का 10.0.2.21 होगा, और दोनों गेटवे का 10.0.2.2 होगा।
आप वर्चुअल मशीन से प्राप्त कर सकते हैं, उदाहरण के लिए VirtualBox, इसमें दो वर्चुअल सर्वर बनाएं और उन्हें अपने कंप्यूटर पर चलाएं।

उपरोक्त आदेशों में, पहला वर्ण # या $ चिह्न होगा, इन वर्णों का अर्थ है कि कमांड को रूट से या नियमित उपयोगकर्ता से चलाया जाता है।
तो क्या कार्रवाई की जानी चाहिए:

चलो सेटअप शुरू करते हैं

यदि हम पहले से सक्षम नहीं है, तो हम पोस्टग्रैक्स्ल सेवा को सक्षम करते हैं:

# chkconfig --level 3 postgresql on
# service postgresql start

अब हमें एक डेटाबेस बनाने की आवश्यकता है। इसे बनाने के लिए "माथे" काम नहीं करेगा:

# createdb mytest
psql: FATAL: user "root" does not exist

यहां आपको लिनक्स उपयोगकर्ता के लिए पोस्टग्रेज में एक भूमिका बनाने की आवश्यकता है। हम उपयोगकर्ता नाम "sa" और लिनक्स यूजर के साथ पोस्टग्रेज में एक सुपरयुसर बनाएंगे, पासवर्ड समान होगा, "sa"।

# adduser -m sa

# su - postgres
$ createuser -d -s -P sa

अब आप उपयोगकर्ता "सा" के तहत एक कमांड शुरू करके एक टेबल "टेस्ट" बना सकते हैं:

# su - sa
$ createdb mytest

अब आप psql उपयोगिता का उपयोग कर सकते हैं:
psql mytest

इस उपयोगिता से बाहर निकलना दो वर्णों के समूह द्वारा किया जाता है

SymmetricDS स्थापित करें

खैर, अब यह काम का सबसे दिलचस्प हिस्सा शुरू करने का समय है। जारी रखने से पहले, हम यह सुनिश्चित करेंगे कि हमारे पास प्रत्येक सर्वर पर एक साथ काम करने वाले पोस्टग्रेक्यूएल डेटाबेस सर्वर के साथ दो सर्वर हैं।
सर्वर को एक-दूसरे को पिंग करना होगा क्योंकि SymmetricDS सिंक्रनाइज़ेशन के लिए HTTP प्रोटोकॉल का उपयोग करता है। पोर्ट 8080 और 9090 सर्वर पर एक फ़ायरवॉल द्वारा अवरुद्ध नहीं होना चाहिए।

ठीक है। SymmetricDS को काम करने के लिए, आपको एक java दुभाषिया और JRE 1.6 की आवश्यकता है, इसलिए हम उन्हें सर्वर पर स्थापित करते हैं, अगर यह पहले से ही नहीं किया गया है:
java.com से jre-6u24-linux इंस्टॉलर डाउनलोड करें, इसे इंस्टॉल करें (बस इस फाइल को चलाएं:
एक प्रतीकात्मक लिंक स्थापित करें (यदि किसी कारण से इसे बनाया नहीं गया है):
# ln -s /usr/java/latest/bin/java /usr/bin/java

और कमांड लाइन पर वर्गों के लिए पथ लिखें - उनके बिना, SymmetricDS उस त्रुटि के साथ दुर्घटनाग्रस्त हो जाएगा जो कक्षा को नहीं मिला था।
$ CLASSPATH=/usr/java/latest/lib; export CLASSPATH

काम करने के लिए सिम्मी (सिमेट्रिक डीएस की मुख्य निष्पादन योग्य फ़ाइल) के लिए, आपको बाहरी नेटवर्क इंटरफ़ेस (और न केवल लोकलहोस्ट पर) सुनने के लिए डेटाबेस सर्वर को बताने की जरूरत है और यूनिक्स उपयोगकर्ताओं को इसके लिए आने की आवश्यकता है। यह हमारे प्रत्येक दो सर्वरों पर किया जाता है:
1) इस लाइन को /var/lib/pgsql/data/postgresql.conf में असहज करें:
listen_addresses = '*'

2) /var/lib/pgsql/data/pg_hba.conline में सभी कनेक्शनों के लिए ट्रस्ट विधि निर्दिष्ट करें:

local all all trust
host all all 127.0.0.1/32 trust
host all all ::1/128 trust

3) फ़ाइल /var/lib/pgsql/data/postgresql.conf में सत्र चर का समर्थन करने के लिए लाइन जोड़ें:
custom_variable_classes = 'symmetric'

4) डेटाबेस सर्वर को पुनरारंभ करें:

# service postgresql restart

आप यह सत्यापित कर सकते हैं कि यह काम करता है:
$ psql mytest -U sa -h localhost

यह त्रुटि संदेश नहीं होना चाहिए: psql: FATAL: उपयोगकर्ता "sa" के लिए पहचान प्रमाणीकरण विफल हुआ।
इसके बजाय, psql को हमेशा की तरह खोलना चाहिए।

अब हम वास्तव में SymmetricDS-2.2.2 डाउनलोड करते हैं और इसे दोनों सर्वरों पर अनपैक करते हैं:

$ unzip symmetric-ds-2.2.2-server.zip
$ cd symmetric-ds-2.2.2/samples

सममिति कॉन्फ़िगर करें

हम इस नमूने निर्देशिका में हैं root.properties और client.properties फ़ाइलें संपादित करें। उन्हें पोस्टग्रैक्स्ल के लिए लाइनों को अनसुना करने, टिप्पणी करने या अन्य विकल्पों को हटाने की आवश्यकता है, और उपयोगकर्ता नाम और पासवर्ड को डेटाबेस (हमारे पास सा) निर्दिष्ट करें।
root.properties की आवश्यकता केवल पहले नोड पर है, client.properties - केवल दूसरे पर।
चलिए शुरू करते हैं।

पहले सर्वर पर SymmetricDS कॉन्फ़िगर करें

Formireum एक ऐसी root.properties फ़ाइल है:

root.properties

# The class name for the JDBC Driver db.driver=org.postgresql.Driver # The JDBC URL used to connect to the database db.url=jdbc:postgresql://localhost/mytest # The user to login as who can create and update tables db.user=sa # The password for the user to login as db.password=sa registration.url=http://10.0.2.20:8080/sync sync.url=http://10.0.2.20:8080/sync # Do not change these for running the demo group.id=corp external.id=00000 # Don't muddy the waters with purge logging job.purge.period.time.ms=7200000

रूट नोड पर प्रारंभिक डेटाबेस बनाएँ:
$ psql postgres -c "CREATE database mytest;"

इस सरल उदाहरण के प्रयोजनों के लिए, हमारे पास डेटाबेस में एक टी 2 तालिका होगी जो दोनों दिशाओं में सिंक्रनाइज़ (प्रतिकृति) होगी। यह तालिका बनाएं।
$ ../bin/sym -p root.properties --run-ddl create_sample.xml

create_sample.xml फ़ाइल का उपयोग यहां किया गया है

 <? xml संस्करण = "1.0"?>
 <! DOCTYPE डेटाबेस सिस्टम "http://db.apache.org/torque/dtd/database.dtd">

 <डेटाबेस का नाम = "mytest">
   <तालिका का नाम = "t2">
      <कॉलम का नाम = "आईडी" प्रकार = "INTEGER" आवश्यक = "सत्य" प्राथमिक की = "सही" ऑटोइंटरमेंट = "सच" />
      <कॉलम नाम = "mydata" प्रकार = "VARCHAR" आकार = "64" आवश्यक = "गलत" />
      <कॉलम नाम = "intval" प्रकार = "DECIMAL" आकार = "10.2" आवश्यक = "गलत" />
   </ तालिका>
 </ डाटाबेस>

आपको डेटाबेस में plpgsql हैंडलर बनाने की भी आवश्यकता है - इस स्क्रिप्ट को चलाएं:
$ ./create_func.sh

create_func.sh

#!/bin/sh psql mytest -U sa -h localhost -c "CREATE FUNCTION plpgsql_call_handler() RETURNS language_handler AS '\$libdir/plpgsql' LANGUAGE C;" psql mytest -U sa -h localhost -c "CREATE FUNCTION plpgsql_validator(oid) RETURNS void AS '\$libdir/plpgsql' LANGUAGE C;" psql mytest -U sa -h localhost -c "CREATE TRUSTED PROCEDURAL LANGUAGE plpgsql HANDLER plpgsql_call_handler VALIDATOR plpgsql_validator;"

अब आप मूल नोड पर SymmetricDS सिस्टम को इनिशियलाइज़ कर सकते हैं:

$ ../bin/sym -p root.properties --auto-create

आउटपुट कुछ इस तरह होगा:

[sa@CENTOS1 samples]$ ../bin/sym -p root.properties --auto-create
Log output will be written to ../logs/symmetric.log
SymmetricLauncher - Option: name=properties, value={root.properties}
SymmetricLauncher - Option: name=auto-create, value={}
PlatformFactory - The name/version pair returned for the database, PostgreSQL8,
was not mapped to a known database platform. Defaulting to using just the database type of PostgreSql
PostgreSqlDbDialect - The DbDialect being used is org.jumpmind.symmetric.db.postgresql.PostgreSqlDbDialect
ConfigurationService - Initializing SymmetricDS database.
PostgreSqlDbDialect - There are SymmetricDS tables missing. They will be auto created.
PostgreSqlDbDialect - Starting auto update of SymmetricDS tables.
PostgreSqlDbDialect - Just installed sym_triggers_disabled
PostgreSqlDbDialect - Just installed sym_node_disabled
PostgreSqlDbDialect - Just installed sym_fn_sym_largeobject
ConfigurationService - Auto-configuring config channel.
ConfigurationService - Auto-configuring reload channel.
ConfigurationService - Done initializing SymmetricDS database.

यह सब काम कर गया। इस लिपि ने अपने काम के लिए 26 तालिकाओं का निर्माण किया है। ये टेबल sym_ से शुरू होते हैं और आप कमांड दर्ज करके उनकी सूची देख सकते हैं
$ psql mytest -c "select tablename from pg_tables where tablename like 'sym%';"

अगला। आपके द्वारा अभी बनाई गई तालिकाओं को आबाद करके सममिति कॉन्फ़िगर करना
$ ../bin/sym -p root.properties --run-sql insert_sample.sql

भरने के लिए डेटा इस प्रकार है:

insert_sample.sql

insert into t2(mydata, intval) values('sdsdsdsds', 102); -- -- Nodes -- insert into sym_node_group (node_group_id, description) values ('corp', 'Central Office'); insert into sym_node_group (node_group_id, description) values ('store', 'Store'); insert into sym_node_group_link (source_node_group_id, target_node_group_id, data_event_action) values ('store', 'corp', 'P'); insert into sym_node_group_link (source_node_group_id, target_node_group_id, data_event_action) values ('corp', 'store', 'W'); insert into sym_node (node_id, node_group_id, external_id, sync_enabled) values ('00000', 'corp', '00000', 1); insert into sym_node_identity values ('00000'); -- -- Channels -- insert into sym_channel (channel_id, processing_order, max_batch_size, enabled, description) values('channel_t2', 1, 100000, 1, 't2 data from register and back office'); -- -- Triggers -- insert into sym_trigger (trigger_id,source_table_name,channel_id,last_update_time,create_time) values('trigger_t2','t2','channel_t2',current_timestamp,current_timestamp); -- Example of a "dead" trigger, which is used to only sync the table during initial load insert into sym_trigger (trigger_id,source_table_name,channel_id, sync_on_insert, sync_on_update, sync_on_delete, last_update_time,create_time) values('t2_dead','t2','channel_t2',0,0,0,current_timestamp,current_timestamp); -- -- Routers -- -- In this example, both routers pass everything all the time. insert into sym_router (router_id,source_node_group_id,target_node_group_id,create_time,last_update_time) values('corp_store_identity', 'corp', 'store', current_timestamp, current_timestamp); insert into sym_router (router_id,source_node_group_id,target_node_group_id,create_time,last_update_time) values('store_corp_identity', 'store', 'corp', current_timestamp, current_timestamp); -- -- Trigger Router Links -- insert into sym_trigger_router (trigger_id,router_id,initial_load_order,last_update_time,create_time) values('trigger_t2','corp_store_identity',100,current_timestamp,current_timestamp); insert into sym_trigger_router (trigger_id,router_id,initial_load_order,last_update_time,create_time) values('trigger_t2','store_corp_identity', 200, current_timestamp, current_timestamp); -- Example of a "dead" trigger, which is used to only sync the table during initial load insert into sym_trigger_router (trigger_id,router_id,initial_load_order,last_update_time,create_time) values('trouter_dead','corp_store_identity', 300, current_timestamp, current_timestamp);

उपरोक्त कोड का क्या अर्थ है?

संक्षेप में, हम तालिकाओं के क्षेत्रों में बदलते मूल्यों के लिए ट्रिगर - SymmetricDS के लिए एक कॉन्फ़िगरेशन बना रहे हैं। जब भी आप sym_trigger तालिका में SymmetricDS कॉन्फ़िगरेशन में सूचीबद्ध होते हैं, तो प्रत्येक बार आप source_table_name तालिका बदलते हैं (हमारे मामले में, यह t2 तालिका है)। यह निर्धारित करता है कि कौन से मार्ग इस विशेष ट्रिगर के साथ जुड़े हैं (देखें sym_trigger_router)। यदि केवल एक मार्ग निर्दिष्ट किया जाता है, उदाहरण के लिए, पहले सर्वर से दूसरे में, तो दूसरे सर्वर पर परिवर्तित डेटा पहले नहीं दिया जाएगा। हमारे मामले में, दो चैनल हैं, दोनों तरफ: पहले सर्वर से दूसरे और दूसरे से पहले (देखें sym_router)।

हम पहले सर्वर पर प्रतिकृति सर्वर शुरू करते हैं। यह कमांड नियंत्रण नहीं छोड़ेगा, यह काम करेगा और स्क्रीन पर लॉग लाएगा।
$ ../bin/sym -p root.properties --port 8080 --server

पहले सर्वर पर पंजीकरण की अनुमति दें (दूसरी टर्मिनल विंडो से चलाएं)
$ ../bin/sym -p root.properties --open-registration "store,1"

वह सब है। रूट नोड पर प्रतिकृति सर्वर का कॉन्फ़िगरेशन पूरा हो गया है।

दूसरे सर्वर पर SymmetricDS कॉन्फ़िगर करें

दूसरे सर्वर पर जाएं और वहां सेटिंग करें। हम ऐसी फाइल को सिमिट्रिक-डीएस-2.2.2 / सैंपल डायरेक्टरी में बनाते हैं:

client.properties

# The class name for the JDBC Driver db.driver=org.postgresql.Driver # The JDBC URL used to connect to the database db.url=jdbc:postgresql://localhost/mytest # The user to login as who can create and update tables db.user=sa # The password for the user to login as db.password=sa # The HTTP URL of the root node to contact for registration registration.url=http://10.0.2.20:8080/sync # Do not change these for running the demo group.id=store external.id=1 job.routing.period.time.ms=2000 # This is how often the push job will be run. job.push.period.time.ms=5000 # This is how often the pull job will be run. job.pull.period.time.ms=5000

हम दूसरे सर्वर पर एक ही डेटाबेस बनाते हैं:
$ psql postgres -c "CREATE database mytest;"

और इसमें समान ट्रिगर और फ़ंक्शंस बनाएं:

$ ../bin/sym -p client.properties --run-ddl create_sample.xml
$ ./create_func.sh

हम दूसरे सर्वर पर प्रतिकृति प्रक्रिया शुरू करते हैं।
$ ../bin/sym -p client.properties --port 9090 --server

इस स्तर पर, हमारे डेटाबेस को अभी तक दोहराया नहीं गया है, प्रतिकृति शुरू नहीं हुई है। इसकी सराहना करें। चलो पहले सर्वर पर जाएं और टाइप करें:
$ psql mytest -c "select * from t2;"

यह कमांड रूट नोड पर तालिका की सामग्री को प्रदर्शित करेगा, वहाँ एक रिकॉर्ड सम्मिलित_sample.sql स्क्रिप्ट द्वारा बनाया जाएगा, जिसे हम केवल रूट नोड पर चलाते हैं।
दूसरे सर्वर पर जाते हैं, वहां वही कमांड टाइप करते हैं। टेबल खाली होगी।

अब सबसे बुनियादी बात: हम क्लाइंट पर सेट किए गए प्रारंभिक डेटा को पहले सर्वर से इस कमांड में डालते हैं, और इस तरह प्रतिकृति शुरू करते हैं!
$ ../bin/sym -p root.properties --reload-node 1

सेकंड के एक जोड़े में, दूसरे सर्वर पर, टी 2 तालिका की सामग्री समान होगी! हुर्रे!

यदि आपके साथ कुछ गलत हो गया है, उदाहरण के लिए, आपने पंजीकरण के लिए गलत सर्वर आईपी पते को निर्दिष्ट किया है, तो सबसे आसान तरीका है कि हमारे डेटाबेस (सभी 26 सिमिट्रिकैड्स टेबल के साथ) को मारें और शुरुआत से शुरू करें। ऐसा करने के लिए, दोनों सर्वरों पर कमांड को कॉल करें:
$ psql postgres -c "drop databse mytest;"

और इस लाइन से शुरू करें (इसके लिए ऊपर देखें :)
$ psql postgres -c "CREATE database mytest;"

असली भार का अनुकरण

हम रूट सर्वर पर तालिका में जानकारी अपलोड करने के लिए पर्ल में एक स्क्रिप्ट लिखेंगे।
एक वास्तविक भार का अनुकरण करने के लिए, यह एक लूप में एक सौ अद्यतन प्रति सेकंड का उत्पादन करेगा।

test.pl

 #! / usr / बिन / पर्ल

 डीबीआई का उपयोग करें;
 मेरे $ dbh = DBI-> कनेक्ट ("DBI: Pg: dbname = mytest", "sa", "sa");

 के लिए (मेरी $ idval = 5000; $ idval <9000; $ idval ++)
 {
   $ dbh-> do ("t2 (id, mydata, intval) मानों ($ idval, 'कुछ डेटा', $ idval)" में डालें;);
 }

 मेरा $ नवावल = 3434;
 मेरा $ अंतराल = 0;
 (मेरे $ j = 0; $ j <100000; $ j ++)
 {
  के लिए (मेरी $ idval = 5000; $ idval <9000; $ idval ++)
  {
     $ newval ++;
     $ अंतराल ++;
     $ dbh-> do ("UPDATE t2 set intval = $ newval जहाँ id = $ idval");
     प्रिंटफ ("UPD [% 04d] id =% d val =% d \ r", $ j, $ idval, $ newval);
     अगर ($ अंतराल == 100)
     {
          $ अंतराल = 0;
         `पिंग लोकलहोस्ट -w 1> / देव / नल 2> & 1`;
     }
  }
 }
 $ dbh-> डिस्कनेक्ट;

 "\ n \ n" प्रिंट करें;

इस स्क्रिप्ट को रूट नोड पर चलाने से, तालिका लगातार बदल जाएगी। दूसरे सर्वर पर, हम देख सकते हैं कि परिवर्तन कैसे भेजे जाते हैं, कुछ देरी से, उदाहरण के लिए, इस तरह:
$ psql mytest -c "select * from t2 where id=5000;"

तालिका की इस पंक्ति के लिए गहन मान पहले सर्वर पर चलने वाली स्क्रिप्ट द्वारा मुद्रित किया गया है।

उच्च लोड समस्याओं

इस उदाहरण में, हम, वास्तव में, डेटाबेस सर्वर पर उच्च लोड की समस्याओं को ध्यान में नहीं रखते थे। प्रतिकृति करते समय, SymmetricDS दूरस्थ डेटाबेस में भेजे गए सभी डेटा को अपनी sym_data तालिका में रिकॉर्ड करता है। इस तालिका में रूट डेटाबेस पर चलने वाले प्रत्येक इन्सर्ट / अपडेट के लिए एक अलग प्रविष्टि है। इस प्रकार, उच्च ट्रैफ़िक पर (जैसे, प्रति सेकंड सैकड़ों आवेषण), सिम्फडाटा टेबल का आकार बढ़ने लगता है। तालिका के बढ़ने से प्रतिकृति के ऊपरी हिस्से में वृद्धि होती है।

इस समस्या को हल करने के लिए, आपको Symmetric DS में Purge Service को कॉन्फ़िगर करना होगा। इस सेवा के प्रमुख पैरामीटर जो root.properties फ़ाइल में निर्दिष्ट होने चाहिए:

start.purge.job
job.purge.period.time.ms (कितनी बार Purge Job चलेगी)
purge.retention.minutes (दूसरे डेटाबेस में पहले से भेजे गए परिवर्तनों का इतिहास कब तक संग्रहीत किया जाएगा)

अंतिम दो पैरामीटर सीधे sym_data तालिका में प्रविष्टियों की अधिकतम संख्या को प्रभावित करते हैं: यह purge.retention.minutes * डालने / अपडेट प्रति मिनट के बराबर होगा।

PurgeService को स्वचालित रूप से अन्य सेवाओं के साथ शुरू करना चाहिए, जैसे पुश और पोल (जो डेटाबेस में डेटा सिंक्रनाइज़ेशन प्रदान करते हैं)। लेकिन, अगर किसी कारण से पर्ज सेवा शुरू नहीं होती है, तो यह सिमिट्रिकडीएस सेवा तालिकाओं की अत्यधिक वृद्धि की ओर जाता है, इसलिए आपको मैन्युअल रूप से पर्ज सेवा शुरू करने की आवश्यकता है, अधिमानतः डेटाबेस सर्वर पर कम लोड की अवधि के दौरान:

../bin/sym –p root.properties –X

गुड लक।

SymmetricDS PostgreSQL डेटाबेस प्रतिकृति