AWS में pgpool-II + PostgreSQL + स्ट्रीमिंग प्रतिकृति + हॉट स्टैंडबाय कॉन्फ़िगर करना

सभी को नमस्कार!
मैंने Amazon-AWS Iaaa वातावरण में एक विफल-सुरक्षित (HA) पोस्टग्रेक्यूएल डेटाबेस क्लस्टर स्थापित करने के मुख्य बिंदुओं का वर्णन करने का निर्णय लिया।

मूल प्रतिकृति के साथ 9 वें संस्करण के प्रकाशन के बाद से इस बंडल को स्थापित करने के बारे में बहुत सारे लेख पहले ही लिखे जा चुके हैं, इसलिए मैं पोस्टग्रेसीक्यू और pgpool को विस्तार से स्थापित करने पर ध्यान नहीं दूंगा, यहां सब कुछ अपेक्षाकृत मानक है। विचारहीन कॉपी-पेस्ट के लिए कॉन्फ़िगरेशन के दिए गए टुकड़े अनुपयुक्त हैं, किसी भी मामले में, आपको अपने कॉन्फ़िगरेशन को खोलना होगा और आवश्यक मापदंडों को संपादित करना होगा। मैं कॉपी-पेस्ट कॉन्फ़िगरेशन प्रक्रिया को प्रोत्साहित नहीं करना चाहता।

शब्दावली:

स्ट्रीमिंग प्रतिकृति - इसका मतलब है कि पोस्ट नोड्स पोस्ट मास्टर से खुद को अपडेट खींच लेंगे। कोई अतिरिक्त संग्रह कार्यक्षमता की आवश्यकता नहीं है।
हॉट स्टैंडबाय - गुलाम नोड्स को वार्म स्टैंडबाई के विपरीत, लोड बैलेंसिंग के लिए READ अनुरोधों की सेवा करने की अनुमति देता है, जिसमें दास सर्वर क्लाइंट अनुरोधों की सेवा नहीं करता है, लेकिन केवल विज़ार्ड से वर्तमान आधार को लगातार अपडेट करता है। बदले में, प्रतिकृति तुल्यकालिक और अतुल्यकालिक (सिंक या एसिंक्रोनस) हो सकती है।
मेरे उदाहरण में, मास्टर-स्लेव डेटाबेस सर्वर का सामान्य गुच्छा उपयोग किया जाता है; सिंक्रोनस प्रतिकृति का उपयोग इसमें नहीं किया जा सकता है, क्योंकि सिंक्रोनस प्रतिकृति के साथ, मास्टर, प्रतिकृति को दास को भेजने में विफल रहा है, बस अनुरोध को पूरा नहीं करता है और दास के इंतजार में लटका रहता है और ऐसी योजना के सभी अर्थ खो जाते हैं। ।

इनपुट डेटा:

बनाया गया कॉन्फ़िगरेशन विफलता के एकल बिंदु से रहित होना चाहिए। Pgpool स्तर पर, हम इसकी मूल प्रहरी कार्यक्षमता का उपयोग करेंगे, जो कि किसी एक नोड के पतन को ट्रैक करने में सक्षम हो और IP को उस क्लाइंट के साथ खींचे, जिसके माध्यम से कनेक्ट होता है। Postgresql स्तर पर, हम स्ट्रीमिंग प्रतिकृति + हॉट स्टैंडबाय का उपयोग करते हैं। मास्टर के पतन के मामले में, गुलाम जल्दी से अपनी भूमिका निभाएगा, गुलाम $ PGDATA में एक ट्रिगर फ़ाइल बनाकर मास्टर को पगपुल में बदल देगा। एक गुलाम दुर्घटना की स्थिति में, हम इसे मैन्युअल रूप से जीवन में वापस लाएंगे, क्योंकि डेटाबेस के साथ कोई भी स्वचालित हेरफेर अच्छी तरह से नहीं किया जाता है, और किसी भी मामले में नोड ड्रॉप की आकस्मिक स्थिति पर ध्यान देने की आवश्यकता होती है। क्रैश के सभी वर्णित मामलों में, क्लाइंट एप्लिकेशन को न्यूनतम डाउनटाइम के साथ कार्य करना जारी रखना चाहिए।

AWS क्लाउड (Amazon Web Services): pgpool-1 (IP: 10.0.3.11), pgpool-2 (IP: 10.0.3.12), db-1 (IP: 10.0.3.21), db-2 ( आईपी: 10.0.3.22)। VPC में तुरंत निजी पते निर्दिष्ट करने में सक्षम होने के लिए मशीनें बनाई गई हैं और उन्हें रिबूट उदाहरणों के बीच सहेजा जाएगा। उदाहरणों को बनाते समय, मैंने उबंटू से एमी -8 ई 987 एफ 9 छवि का उपयोग किया। लेकिन अगर आपके पास किसी भी छवि को चुनने का अवसर है - तो अमेज़ॅन लिनक्स लें, मुझे लगता है कि ऐसा टेक्स्ट द्वारा पता चल जाएगा।

विन्यास:

1. डीबी -1 - बंडल को लॉन्च करने के चरण में मास्टर

...
wal_level = hot_standby
# मास्टर पैरामीटर पर अगले पैरामीटर को नजरअंदाज किया जाता है, लेकिन चूंकि मास्टर और गुलाम स्थान बदल सकते हैं, इसलिए इसे मास्टर'ए कॉन्फिगरेशन में शामिल करें।
hot_standby = on
...

आपकी आवश्यकताओं के अनुसार, हम इसके लिए मूल्यों को समायोजित करते हैं
checkpoint_seaction, max_wal_senders, wal_keep_seolution
प्रतिकृति शुरू करने के लिए, आप उन्हें डिफ़ॉल्ट रूप से छोड़ सकते हैं, और फिर उन्हें पहले wiki.postgresql.org/wiki/Tuning_Your_PostgreSQL_Server पढ़कर कस लें।

Pg_hba.conf में हम प्रतिकृति तक पहुंच को कॉन्फ़िगर करते हैं, आप पासवर्ड का उपयोग कर सकते हैं, क्योंकि VPC क्लाउड में सब कुछ घूम रहा है और मुझे बाहर से सीधी पहुँच नहीं है, मैंने अभी पंजीकृत ट्रस्ट किया है:

मेजबान प्रतिकृति 10.0.3.0/24 विश्वास को स्थगित करती है

2. डीबी -2 - गुच्छा की शुरुआत में एक दास

...
wal_level = hot_standby
hot_standby = on
...

दास के लिए स्टैंडबाय व्यवहार को पुनर्प्राप्ति .conf फ़ाइल द्वारा नियंत्रित किया जाता है, जो $ PGDATA में होना चाहिए।
मेरे मामले में, यह निर्देशिका /var/lib/postgresql/9.3/main थी
recovery.conf:

स्टैंडबाय_मोड = 'पर'
Primary_conninfo = 'होस्ट = 10.0.3.21 पोर्ट = 5432 उपयोगकर्ता = पोस्टग्रेज'
ट्रिगर_फाइल = '/var/lib/postgresql/9.3/main/postgresql.trigger'

Pg_hba.conf तक पहुंच के लिए सेटिंग्स के बारे में मत भूलना

3. pgpool -1
4. pgpool -2
यह विन्यास pgpool-1 के समान है, पड़ोसी नोड का वर्णन pgpool-2 से pgpool-1 में बदलता है

दोनों नोड्स पर / etc / मेजबान में हम नाम बाइंडिंग को IP पर सेट करते हैं:

10.0.3.11 पैगपुल -1
10.0.3.12 pgpool-2
10.0.3.21 db-1
10.0.3.22 db-2

5. हमारे डेटाबेस के साथ काम करने के लिए pgpool का एकीकरण
Pgpool-1 और pgpool-2 के भाग पर, हम failover_command पैरामीटर से एक स्क्रिप्ट बनाते हैं, जिसे तब निष्पादित किया जाता है जब नोड गिरता है (मेरे पास एक स्वचालित क्रिया है, केवल जब मास्टर नोड गिरता है)। वह जो कुछ भी करता है वह वास्तव में मास्टर द्वारा जांचा जाता है, यदि नोड गिर गया है या नहीं, और यदि मास्टर गुलाम पर एक ट्रिगर फ़ाइल बनाता है, जो स्वचालित रूप से दास को READ-WRITE मोड में डालता है, अर्थात। उसे गुरु बनाता है:

#!/bin/bash -x FALLING_NODE=$1 # %d OLDPRIMARY_NODE=$2 # %P NEW_PRIMARY=$3 # %H PGDATA=$4 # %R KEY_PATH="/var/lib/postgresql/.ssh/id_rsa" if [ $FALLING_NODE = $OLDPRIMARY_NODE ]; then if [ $UID -eq 0 ] then sudo -u postgres ssh -T -i $KEY_PATH postgres@$NEW_PRIMARY "touch $PGDATA/postgresql.trigger" exit 0; fi ssh -T -i $KEY_PATH postgres@$NEW_PRIMARY "touch $PGDATA/postgresql.trigger" fi; exit 0; 

Db-1 और db-2 पक्ष से, हम काम के लिए pgpool योजना स्थापित करते हैं:

 sudo -u postgres psql -f /usr/share/postgresql/9.3/extension/pgpool-recovery.sql template1 

हम $ PGDATA में एक pgpool_remote_start स्क्रिप्ट बनाते हैं जो एक पड़ोसी नोड पर पोस्टग्रैस्कल शुरू करेगा [आपके द्वारा उपयोग किए जाने वाले पोस्टग्रैस्कल के संस्करण के आधार पर, आपको नोड के लिए $ PGDATA निर्देशिका में pgpool द्वारा पास किए गए दूसरे पैरामीटर की आवश्यकता हो सकती है]:

 #! /bin/sh DEST=$1 PGCTL=/usr/bin/pg_ctlcluster KEY_PATH="/var/lib/postgresql/.ssh/id_rsa" ssh -T -i $KEY_PATH postgres@$DEST "$PGCTL 9.3 main stop --force;$PGCTL 9.3 main restart" 

और यह भी पुनर्प्राप्ति_1st_stage_command पैरामीटर से एक स्क्रिप्ट जो नए दासों के वर्तमान मास्टर के साथ सिंक्रनाइज़ होगी (pgpool_remote_start के बगल में $ PGDATA में निहित है):

 #! /bin/sh datadir=$1 desthost=$2 destdir=$3 KEY_PATH="/var/lib/postgresql/.ssh/id_rsa" PGCTL="/usr/bin/pg_ctlcluster" ssh -T -i $KEY_PATH postgres@$desthost "$PGCTL 9.3 main stop --force" psql -c "SELECT pg_start_backup('Streaming Replication', true)" postgres rsync -C -a -c --delete -e ssh --exclude postgresql.conf --exclude postmaster.pid \ --exclude postmaster.opts --exclude pg_log \ --exclude recovery.conf --exclude recovery.done \ --exclude pg_xlog $datadir/ $desthost:$destdir/ ssh -T -i $KEY_PATH postgres@$desthost "cp $destdir/../recovery.done $destdir/recovery.conf;rm $destdir/postgresql.trigger" psql -c "SELECT pg_stop_backup()" postgres 

5. सेवाओं को फिर से शुरू करने और दूरस्थ मेजबानों पर डेटा की प्रतिलिपि बनाने से संबंधित आदेशों को निष्पादित करने में सक्षम होने के लिए, पासवर्ड रहित पहुंच को कॉन्फ़िगर करना आवश्यक है:

pgpool-1 -> db-1, db-2
pgpool-2 -> db-1, db-2
डीबी -1 -> डीबी -2
डीबी -2 -> डीबी -1

आप ssh होस्ट-आधारित का उपयोग कर सकते हैं, आप ssh कीज़ उत्पन्न कर सकते हैं और उन्हें अधिकृत_की में सक्षम कर सकते हैं।
एक्सेस सेट करने के बाद, आपको इसे उस उपयोगकर्ता की ओर से जांचना होगा जो pgpool के दौरान स्क्रिप्ट चलाएगा, मेरे पास पोस्टग्रेज हैं:
Pgpool-1 होस्ट से, निम्न कार्य करें:

 sudo -u postgres ssh -i /path_to_key -T postgres@db-1 id 

और इसलिए सभी आवश्यक मेजबानों के लिए, हम एक्सेस की जांच करते हैं और ssh के लिए ज्ञात_होस्ट फ़ाइल को अपडेट करते हैं।

इस स्तर पर, 4 नोड्स का एक गुच्छा पहले से ही सामान्य कार्य के लिए शुरू किया जा सकता है, जो एडब्ल्यूएस वातावरण में नहीं है।

• मास्टर होस्ट लॉन्च करें (db-1)
• हम गुलाम को इसके साथ समकालित करते हैं (पोस्टग्रैस्कल अभी तक उस पर नहीं चल रहा है), $ PGDATA निर्देशिका पर, निम्नलिखित कार्य करें:
  

   mv main main.bak && sudo -u postgres pg_basebackup -h 10.0.3.21 -D /var/lib/postgresql/9.3/main -U postgres -v -P && cp recovery.done main/recovery.conf && chown postgres:postgres main/recovery.conf 

  (Recovery.done - बनाया गया पुनर्प्राप्ति .conf टेम्पलेट जो विज़ार्ड के आईपी को संदर्भित करता है)
• दास पर postgresql चलाएं:
  

   sudo service postgresql restart 

• हम प्रतिकृति की स्थिति को "pg_stat_replication से चयन करें" के माध्यम से देखते हैं, हम कुछ इस तरह देखते हैं:
  

  application_name | walreceiver
  client_addr | 10.0.3.22
  राज्य | स्ट्रीमिंग
  sent_location | 1 / 2A000848
  write_location | 1 / 2A000848
  flush_location | 1 / 2A000848
  replay_location | 1 / 2A000848
  सिंक_पायरिटी | 0
  सिंक_स्टेट | async

  या सिर्फ db-1 और db-2 मेजबानों पर प्रक्रियाओं की सूची में वाल प्रेषक / रिसीवर की उपस्थिति की जाँच करें।

लॉन्च करने के बाद, शुरू करने के लिए पहला पैगंबल प्रतिनिधि_आईपी पैरामीटर से वर्चुअल एड्रेस को if_up_cmd पैरामीटर से कमांड निष्पादित करके डिफ़ॉल्ट रूप से खींचता है (डिफ़ॉल्ट रूप से वहां ifconfig है)।
प्रवेश करें:

wd_escalation: मास्टर pgpool के लिए सफलतापूर्वक बढ़ाया गया

थोड़ी देर बाद, लॉग्स में दूसरा पैगपुल चलाने पर, हम देखते हैं कि पड़ोसी pgpool नोड को सफलतापूर्वक पहचान लिया गया था और लिंक:

find_primary_node: प्राथमिक नोड आईडी 0 है

पूल की स्थिति को pcp_ * कमांड में से किसी एक के द्वारा देखा जा सकता है - pcp_pool_status, pcp_node_info, या pgpool नोड्स से अनुरोध करके "शो पूल_नोड्स?", "शो शो_पूल";
इन सभी आदेशों के साथ-साथ पूल में नोड्स की स्थिति को pgpool के लिए प्रलेखन में बहुत अच्छी तरह से वर्णित किया गया है - www.pgpool.net/docs/pgpool-II-3.3.2/doc/pgpool-en.html

यदि आप पहले pgpool को डिस्कनेक्ट करते हैं, तो दूसरा प्रतिनिधि if_up_cmd पैरामीटर से कमांड के साथ स्वयं पर खींच लेगा।
जब db-1 या db-2 बैकएंड क्रैश होता है, तो failover_command पैरामीटर से कमांड निष्पादित होता है।
Pcp_attach_node और pcp_recovery_node कमांड का उपयोग बैकेंड को पूल में लौटाने के लिए किया जाता है।

AWS कर्मचारी:

तो AWS के माहौल में क्या होता है? सिवाय इसके कि आईपी एड्रेस को नेटवर्क इंटेफ़्फ़्स मेनू में "एक द्वितीयक निजी पते को असाइन करें" सेटिंग के माध्यम से नेटवर्क इंटरफ़ेस को पूर्व-सौंपा जाना चाहिए। अमेज़ॅन लिनक्स के लिए मैंने पहले के बारे में लिखा था, इस पते को स्वचालित रूप से एक कार्यशील उदाहरण के लिए असाइन करना संभव है और फिर इसे आवश्यक रूप से pgpool-1 और pgpool-2 के बीच क्रॉल करें (यदि मैंने व्यक्तिगत रूप से amazon linux का परीक्षण नहीं किया है, तो यह पता लगाना बहुत दिलचस्प होगा कि यह सब कितना आसान है। )। AWS के लिए अनुकूलित नहीं की गई छवि के मामले में, मुझे ec2-api-tools सेट से अतिरिक्त स्क्रिप्ट का उपयोग करने की आवश्यकता है।
Api-tools का नवीनतम संस्करण amazon से सबसे अच्छा डाउनलोड किया गया है।
Ec2-api-tools का उपयोग करने के लिए, आपको जावा की आवश्यकता है, स्थापित करें - apt-get install default-jre
अंप्स / बिन में अनपैक्ड एपी-टूल्स आर्काइव में कंसोल के माध्यम से अरव्स के प्रबंधन के लिए स्क्रिप्ट होगी।
लेकिन amazon api के साथ काम करने के लिए आपको एक प्राधिकरण कुंजी की आवश्यकता होती है।
प्रमाणीकरण डेटा प्राप्त करने की प्रक्रिया यहाँ amazon पर विस्तार से बताई गई है - docs.aws.amazon.com/IAM/latest/UserGuide/ManagingCredentials.html और यहाँ docs.aws.amazon.com/IAM/batest/UserGuide/ManagingUserCerts.html
पहले लिंक का उपयोग करते हुए, हम सीखेंगे कि कुंजियों के साथ एक उपयोगकर्ता कैसे बनाया जाए और IAM मेनू ( कंसोल.aws.amazon.com/iam/home?#users) के माध्यम से उसे आवश्यक समूह असाइन करें। स्पष्ट में एक कुंजी बनाते समय मालिक को यह दिखाया जाता है कि आपके पास इसे लिखने का समय नहीं है। - दूसरा उत्पन्न करना होगा)। अमेज़ॅन, पहली बार जब आप एक कुंजी बनाने की कोशिश करते हैं, तो इन उद्देश्यों के लिए IAM मेनू में एक अलग उपयोगकर्ता बनाने की जोरदार सिफारिश करेंगे, बजाय AWS प्रशासनिक खाते के एक कुंजी बनाने के लिए।
दूसरे लिंक पर, हम सीखेंगे कि कैसे अपना प्रमाण पत्र बनाया जाए और सभी को उसी AWS IAM मेनू में पंजीकृत करें:

Opensl genrsa 1024> निजी-की.पेम
Opensl pkcs8 -topk8 -nocrypt -inform PEM -in private-key.pem -out private-key-in-PCKS8-format.pem
Opensl req -new -x509 -nodes -sha1-days 3650 -key private-key.pem -outform PEM> certificate.pem

प्रमाण पत्र की सामग्री। Iem में AWS पर Pem डाला जाता है। प्रमाणपत्र प्रबंधन IAM सुरक्षा क्रेडेंशियल्स मेनू के माध्यम से किया जा सकता है:


इन सभी जोड़तोड़ के बाद, हमारे पास है:
सर्टिफिकेट .pem पैरामीटर EC2_CERT के लिए
EC2_PRIVATE_KEY, AWS_ACCESS_KEY और AWS_SECRET_KEY के लिए निजी-कुंजी-इन-PCKS8-format.pem।

आप ec2-api-tools का उपयोग शुरू कर सकते हैं।
ऐसा करने के लिए, मैंने एक if.sh स्क्रिप्ट बनाई जो इंस्टेंट के बीच प्रतिनिधि को pgpools के लिए खींचेंगी। पैरामीटर के रूप में स्क्रिप्ट एक्शन प्राप्त करती है जिसे इंटरफ़ेस (अप / डाउन) और इंटरफ़ेस के लिए वांछित आईपी पते के साथ किया जाना चाहिए। इसके बाद, स्क्रिप्ट दर्ज किए गए आईपी के लिए सबनेट की गणना करती है (मैं / 24 का उपयोग करता हूं और मैं सिर्फ पिछले ऑक्टेट को काट देता हूं, इसलिए जिसके पास मास्क नहीं है / 24 को स्क्रिप्ट खत्म करना होगा)। मैं सबनेट को मानता हूं उदाहरणों पर दो इंटरफेस का उपयोग किया जाता है - प्राथमिक और प्रबंधन, यह समझने के लिए कि आपको उनमें से किस पर द्वितीयक आईपी को लटकाए जाने की आवश्यकता है।


आप वास्तविक लोचदार IP का प्रबंधन करने के लिए ec2-Associates-address और ec2-unassign-private-ip-address का उपयोग कर सकते हैं।

दरअसल, ये इशारे दोस्तों को pgpool बनाने के लिए किए जाने थे, जो AWS के साथ Amazon Linux के उदाहरण पर काम नहीं करता है।