PostgreSQL: वितरित डेटाबेस के लिए अद्वितीय कुंजियाँ। अभ्यास

लेख के नक्शेकदम पर चलते हुए "एक वितरित डेटाबेस में एक अद्वितीय कुंजी । "

हमारे पास एक आधार है जिसे हम साझा करना चाहते हैं। आदर्श मामले में, मैं एक मास्टर-मास्टर बनाना चाहता हूं। सबसे कठिन क्षणों में से एक सभी सर्वरों पर चाबियों की विशिष्टता सुनिश्चित कर रहा है। और यह अच्छा है अगर मूल रूप से आधार को ध्यान में रखकर बनाया गया है ... फिर, यह आदर्श के दायरे से कुछ है जो सामना किया गया है, ऐसा कहते हैं, अक्सर नहीं।

इसलिए हमारे पास एक डेटाबेस है जिसे मास्टर-मास्टर सिंक्रनाइज़ेशन के लिए तैयार करने की आवश्यकता है - हम अपने डेटाबेस की सभी कुंजियों को प्रोजेक्ट के भीतर अद्वितीय बना देंगे।

लेख में कई विकल्पों का उल्लेख किया गया है, लेकिन हम इंस्टाग्राम द्वारा सुझाए गए एक पर ध्यान केंद्रित करेंगे

चरण 1 - सभी कुंजियों को बिगिंट में स्थानांतरित करें

यहां यह समझा जाता है कि हमारी सभी प्राथमिक कुंजियों को आईडी कहा जाता है, और तदनुसार इन कुंजियों को संदर्भित करने वाले फ़ील्ड इस प्रकार नामित किए जाते हैं: ऑर्डर_ड, क्लाइंट_आईडी, टेबल_आईडी ...

एक फ़ंक्शन बनाएं जो पूर्णांक फ़ील्ड को बिगिंट में अनुवाद करता है

DROP FUNCTION IF EXISTS "field_int2big" (field text, tablename text, table_schema text); CREATE OR REPLACE FUNCTION "field_int2big" (field text, tablename text, table_schema text) RETURNS bigint AS $body$ DECLARE BEGIN EXECUTE 'ALTER TABLE '|| table_schema || '."'|| tablename || '" ALTER COLUMN "'|| field || '" TYPE bigint;' ; return 1; END; $body$ LANGUAGE 'plpgsql'; 

इसके बाद, सभी पूर्णांक फ़ील्ड चुनें और उन्हें परिवर्तित करें:

 select *, field_int2big(column_name, table_name, table_schema) from (select table_catalog, table_schema, table_name, column_name, data_type from information_schema.columns where table_schema in ('public', 'myscheme') and data_type in ('integer', 'oid') and (position('id' in column_name)>0 OR column_name in ('key', 'myfield')) order by table_catalog, table_schema, table_name, column_name limit 10 offset 0) c 

कुछ चीजों के लिए बाहर देखने के लिए:

1. आप अपना स्वयं का स्कीमा जोड़ सकते हैं: table_schema इन ('पब्लिक', 'myscheme')
2. आप अपने स्वयं के फ़ील्ड को "मानक" नाम से भी जोड़ सकते हैं: column_name इन ('कुंजी', 'myfield')
3. बड़े डेटाबेस तालिकाओं के लिए 10 को सीमित करने पर ध्यान दें, आपको इसे 1 से कम करने की आवश्यकता है - प्रकार बदलने में समय लगता है और छोटा नहीं होता है
4. क्वेरी को कई बार चलाने की आवश्यकता होती है, हर बार यह शेष अनुवादित क्षेत्रों को नहीं ढूंढेगा

चरण 2 - कार्यात्मक अनुक्रमित का अनुवाद जिसमें प्रकार का प्रत्यक्ष संकेत होता है

सामान्य तौर पर, अगर ऐसा नहीं किया जाता है, तो यह भविष्य में समस्याएं लाएगा, उनका पता लगाना बेहद मुश्किल है: यह एक त्रुटि देता है जो निष्पादन योग्य अनुरोध में दिखाई नहीं देता है।

 DROP FUNCTION IF EXISTS "index_int2big" (idx text, declare_idx text); CREATE OR REPLACE FUNCTION "index_int2big" (idx text, declare_idx text) RETURNS text AS $body$ DECLARE new_idx text; BEGIN EXECUTE 'DROP INDEX IF EXISTS ' || idx; SELECT replace(declare_idx, 'integer', 'bigint') INTO new_idx; EXECUTE new_idx ; return new_idx; END; $body$ LANGUAGE 'plpgsql'; select *, index_int2big(indname, inddef) from (SELECT n.nspname as table_schema, c.relname as table_name, c2.relname AS indname, i.indisprimary, i.indisunique, i.indisclustered, pg_catalog.pg_get_indexdef(i.indexrelid, 0, true) AS inddef FROM pg_catalog.pg_class c, pg_catalog.pg_class c2, pg_catalog.pg_index i, pg_namespace n WHERE n.oid=c.relnamespace and c.oid = i.indrelid AND i.indexrelid = c2.oid and n.nspname in ('bucardo', 'public') and position('integer' in pg_catalog.pg_get_indexdef(i.indexrelid, 0, true))>0 limit 10 offset 0) c 

आप देख सकते हैं कि मैं bucardo सर्किट में जाँच करता हूँ। यदि आपके पास पहले से ही इस तकनीक पर आधारित सिंक्रनाइज़ेशन है, तो यह कदम बेहद महत्वपूर्ण हो जाता है। अंतिम चरण से टिप्पणी भी देखें।

चरण 3 - सभी मुख्य फ़ील्ड के लिए नए अनुक्रम बनाना

Instagram का प्रस्तावित संस्करण प्रत्येक योजना / सर्वर के लिए एक अद्वितीय संख्या का उपयोग करता है।
यानी प्रत्येक सर्किट की अपनी विशिष्ट संख्या के साथ अपना कार्य होना चाहिए।
मैंने फ़ंक्शन को थोड़ा बदल दिया और आईपी सर्वर द्वारा एक अद्वितीय कुंजी उत्पन्न की।

 CREATE OR REPLACE FUNCTION inet2num(inet) RETURNS numeric AS $$ DECLARE a text[] := string_to_array(host($1), '.'); BEGIN RETURN a[1]::numeric * 16777216 + a[2]::numeric * 65536 + a[3]::numeric * 256 + a[4]::numeric; END; $$ LANGUAGE plpgsql IMMUTABLE STRICT; DROP FUNCTION IF EXISTS next_id(tbl text, tableschema text); CREATE OR REPLACE FUNCTION next_id(tbl text, tableschema text = 'public') returns bigint AS $$ DECLARE our_epoch bigint := 1314220021721; seq_id bigint; now_millis bigint; shard_id bigint; result bigint; BEGIN SELECT nextval(tableschema||'."' || tbl || '_id_seq"') % 1024 INTO seq_id; /* select substring(regexp_replace(md5(current_database()||inet_server_addr()||version()), '[^\\\d]+', '', 'g')::text from 1 for 6)::int into shard_id;*/ SELECT inet2num(inet_server_addr()) into shard_id; SELECT FLOOR(EXTRACT(EPOCH FROM clock_timestamp()) * 1000) INTO now_millis; result := (now_millis - our_epoch) << 23; result := result | (shard_id << 10); result := result | (seq_id); RETURN result; END; $$ LANGUAGE PLPGSQL; 

अब हमें इसे अपने सभी पहचानकर्ताओं को कॉल करना होगा:

 DROP FUNCTION IF EXISTS "reset_nextid" (tablename text, tableschema text); CREATE OR REPLACE FUNCTION "reset_nextid" (tablename text, tableschema text) RETURNS bigint AS $body$ DECLARE id_type text; BEGIN SELECT data_type from information_schema.columns c where "table_schema"=tableschema and "table_name"=tablename and column_name='id' INTO id_type; IF id_type <> 'bigint' THEN EXECUTE 'ALTER TABLE '|| tableschema || '."'|| tablename || '" ALTER COLUMN id TYPE bigint;' ; END IF; EXECUTE 'ALTER TABLE '|| tableschema || '."'|| tablename || '" ALTER COLUMN id SET DEFAULT next_id('''|| tablename || ''', '''|| tableschema || ''');'; return next_id(tablename, tableschema); END; $body$ LANGUAGE 'plpgsql'; select t.*, reset_nextid(table_name, table_schema) from ( select t.table_schema, t.table_name, sequence_name, c.column_name from information_schema.sequences s left join information_schema.tables t on split_part(sequence_name, '_id_seq',1)=table_name left join information_schema.columns c on (t.table_schema=c.table_schema and t.table_name=c.table_name and c.column_name='id') where c.column_name is not null and position('next_id' in c.column_default)<>1 and s.sequence_schema=t.table_schema and t.table_schema in ('public', 'acc') order by t.table_schema, t.table_name limit 50 offset 0 ) as t 

क्योंकि हमने पहले से ही पहचानकर्ता के प्रकार को बिगिंट में बदल दिया है - अनुरोध को जल्दी से काम करना चाहिए।

हमने यह तैयारी पूरी कर ली है, हमारा आधार काम कर रहा है और समानांतर काम करने के लिए तैयार है।

बोनस।

अगर अगले कुछ के साथ कुछ गलत हो गया है, तो आप मानक दृश्यों पर लौट सकते हैं:

 CREATE OR REPLACE FUNCTION "restore_nextval" (tablename text, tableschema text = 'public') RETURNS bigint AS $body$ DECLARE BEGIN EXECUTE 'ALTER TABLE '|| tableschema || '."'|| tablename || '" ALTER COLUMN id SET DEFAULT nextval('''|| tablename || '_id_seq''::regclass);'; return nextval((tableschema || '."'|| tablename || '_id_seq"')::regclass); END; $body$ LANGUAGE 'plpgsql'; select t.*, restore_nextval(table_name, table_schema) from ( select t.table_schema, t.table_name, sequence_name, c.column_name from information_schema.sequences s left join information_schema.tables t on split_part(sequence_name, '_id_seq',1)=table_name left join information_schema.columns c on (t.table_schema=c.table_schema and t.table_name=c.table_name and c.column_name='id') where c.column_name is not null and position('next_id' in c.column_default)>0 and s.sequence_schema=t.table_schema and t.table_schema in ('public', 'acc') 

आपका धन्यवाद मुझे आशा है कि कोई मददगार था।

PS 32 बिट सर्वर पर ऐसा करने की कोशिश न करें। पहले सर्वर को अपग्रेड करें। और एप्लिकेशन सर्वर भी।