SQLite: हॉट डेटा बैकअप बनाना

SQLite में फ्लाई पर डेटाबेस का बैकअप लेने के लिए एक तंत्र है। कई डेवलपर्स को इसके बारे में नहीं पता है, किसी कारण से। यह तंत्र आदिम है, लेकिन कई स्थितियों के लिए उपयुक्त है। इस लेख में, हम इस बिल्ट-इन बैकअप सुविधा पर चर्चा करना चाहते हैं, साथ ही साथ अपने स्वयं के बैकअप तंत्र के लिए एक वास्तुकला का प्रस्ताव रखेंगे। ठीक है, या कम से कम एक दिशा दें जिसमें आगे बढ़ना है, यदि आपको जटिल डेटा प्रतिकृति की व्यवस्था करने की आवश्यकता है।



आम तौर पर बोलते हुए, आपको सबसे सरल विकल्प से शुरू करने की आवश्यकता है। SQLite डेटाबेस एक एकल फ़ाइल (डिफ़ॉल्ट रूप से, DELETE लॉग मोड) है। एक आवेदन नियमित रूप से सभी लेनदेन को पूरा कर सकता है, डेटाबेस के सभी कनेक्शनों को बंद कर सकता है और डेटाबेस फाइल को रिजर्व में कॉपी कर सकता है। यदि डेटाबेस फ़ाइल 100 एमबी से छोटी है, तो आधुनिक कंप्यूटर पर इस क्रिया में कुछ सेकंड का समय लगेगा। और इसे त्वरित किया जा सकता है - फ़ाइल को मेमोरी में पढ़ें ("स्नैपशॉट लें"), डेटाबेस के साथ काम करने की अनुमति दें और, एक अलग स्ट्रीम में, धीरे-धीरे, डिस्क पर एक फ़ाइल में सामग्री को डंप करें। आश्चर्यजनक रूप से कई के लिए पर्याप्त है।

ऑनलाइन बैकअप एपीआई

हालाँकि, आप स्मृति में आधार को इस तरह से कॉपी नहीं कर सकते। तो, ऑनलाइन बैकअप एपीआई । यह मक्खी पर बैकअप बनाने के लिए SQLite API है। सब कुछ काफी सरल रूप से व्यवस्थित किया गया है। Sqlite3_backup_init फ़ंक्शन बैकअप प्रक्रिया शुरू करता है:

sqlite3_backup *sqlite3_backup_init( sqlite3 *pDest, /*     */ const char *zDestName, /*    */ sqlite3 *pSource, /*     */ const char *zSourceName /*    */ ); 

पैरामीटर में, स्रोत डेटाबेस और गंतव्य डेटाबेस से कनेक्शन की वस्तुओं को स्थानांतरित किया जाता है (मुख्य डेटाबेस के लिए "मुख्य" , अस्थायी डेटाबेस के लिए "अस्थायी" या ATTACH स्टेटमेंट के माध्यम से कनेक्ट होने पर उपयोग किया जाता है) उर्फ ​​मान के रूप में पारित किए जाते हैं। बैकअप प्रबंधन ऑब्जेक्ट वापस आ गया है (यदि 0 लौटा है, तो गंतव्य डेटाबेस के कनेक्शन में त्रुटि देखी जानी चाहिए), जिसे शेष एपीआई कार्यों के पहले पैरामीटर के रूप में पारित किया जाना चाहिए। अब आप बैकअप कर सकते हैं, जो पेज द्वारा पेज पर किया जाता है। NPage पृष्ठों (या सभी, यदि nPage = -1) से भागों की प्रतिलिपि बनाने के लिए, आपको sqlite3_backup_step फ़ंक्शन को कॉल करना होगा:

  int sqlite3_backup_step(sqlite3_backup *p, int nPage); 

यदि यह फ़ंक्शन SQLITE_DONE लौटा है, तो बैकअप पूरा हो गया है, सभी पृष्ठ कॉपी किए गए हैं। यदि कोड SQLITE_OK, SQLITE_BUSY, SQLITE_LOCKED प्राप्त होते हैं , तो प्रतिलिपि पूरी नहीं हुई है, लेकिन सामान्य रूप से जारी रखी जा सकती है - आपको sqlite3_backup_step () फ़ंक्शन को भी कॉल करना होगा । अन्य रिटर्न कोड इंगित करते हैं कि एक त्रुटि हुई है। यदि SQLITE_DONE कोड प्राप्त होता है , तो sqlite3_backup_finish () को कॉल किया जाना चाहिए :

  int sqlite3_backup_finish(sqlite3_backup *p); 

और शांति से सो जाओ, एक सफल बैकअप पर आनन्दित। बैकअप की वर्तमान स्थिति के बारे में जानकारी प्राप्त करने के लिए, फ़ंक्शंस का उपयोग करें:

  int sqlite3_backup_remaining(sqlite3_backup *p); //    int sqlite3_backup_pagecount(sqlite3_backup *p); //    

Dst में SOME_PAGE_COUNT पृष्ठों के ब्लॉक के साथ Src डेटाबेस का बैकअप लेने के लिए संपूर्ण एल्गोरिथ्म pseudocode a la pascal पर कुछ इस तरह दिखता है:

  Backup = sqlite3_backup_init(Dst, 'main', Src, 'main'); if Backup = nil then Abort; try repeat case sqlite3_backup_step(Backup, SOME_PAGE_COUNT) of SQLITE_DONE: break; SQLITE_OK, SQLITE_BUSY, SQLITE_LOCKED: continue; else Abort; end; Write(' ', sqlite3_backup_remaining(Backup) * 100 div sqlite3_backup_pagecount(Backup), '%'); Sleep(SOME_TIME); until false; finally sqlite3_backup_finish(Backup) end; 

इस एपीआई का उपयोग करते हुए, SQLite किसी भी तरह से स्रोत डेटाबेस को ब्लॉक नहीं करता है। आप न केवल पढ़ सकते हैं, बल्कि डेटा भी अपडेट कर सकते हैं। यदि हम बैचों में कॉपी करते हैं ( nPage > 0, यानी एक बार में सभी पेजों में sqlite3_backup_step ()) और डेटाबेस में परिवर्तन नहीं होता है? फिर से शुरू करो! हमारे लिए SQLite पारदर्शी रूप से डेटाबेस की शुरुआत से पृष्ठों की प्रतिलिपि बनाना शुरू कर देगी। दूसरे शब्दों में, यदि स्रोत आधार तेजी से बदलता है, तो आरक्षण के पूरा होने का इंतजार नहीं करने का मौका है। कुछ अच्छी खबर है। यदि स्रोत डेटाबेस को बैकअप के रूप में उसी कनेक्शन के माध्यम से बदल दिया जाता है (यहां तक ​​कि दूसरे धागे से भी), तो SQLite पारदर्शी रूप से गंतव्य डेटाबेस में परिवर्तन की नकल करेगा और बैकअप पुनरारंभ नहीं होगा।

SQLite ऑनलाइन बैकअप एपीआई के लाभ - स्रोत डेटाबेस पढ़ने के लिए अवरुद्ध नहीं है, और अगर यह एक कनेक्शन के माध्यम से अद्यतन किया जाता है, तो डेटाबेस में लिखना हस्तक्षेप नहीं करता है। यदि डेटाबेस बहुत बड़ा है और अक्सर विभिन्न अनुप्रयोगों से अपडेट किया जाता है तो क्या करें? डेटा प्रतिकृति प्रणाली बनाने के बारे में सोचने का समय आ गया है। वास्तव में, यहां कुछ भी नया आविष्कार नहीं किया जाएगा - ट्रिगर्स की मदद से हम ट्रैक करते हैं कि कौन से रिकॉर्ड बदल गए हैं और परिवर्तनों का इतिहास रखते हैं। हम इस तथ्य का लाभ उठाते हैं कि किसी भी तालिका में एक ROWID कॉलम होता है, जिसमें एक अद्वितीय रिकॉर्ड संख्या होती है। हम नियमित रूप से परिवर्तनों को दूसरे डेटाबेस में स्थानांतरित करते हैं। बस यह दिखाएं कि यह कैसे किया जाता है।

सरल डेटा प्रतिकृति योजना

इसलिए, स्रोत डेटाबेस में, आपको परिवर्तनों से प्रभावित रिकॉर्ड के लिए लेखांकन तालिकाएँ बनाने की आवश्यकता है:

  CREATE TABLE IF NOT EXISTS system_replicate_table(name TEXT UNIQUE); CREATE TABLE IF NOT EXISTS system_replicate_record(name TEXT, id INTEGER, PRIMARY KEY(name,id) ); 

फू तालिका पर प्रतिकृति को सक्षम करने के लिए, इसे system_replicate_table में जोड़ें:

  INSERT OR IGNORE INTO system_replicate_table(name) VALUES ('Foo'); 

और इसके लिए प्रतिकृति ट्रिगर बनाएं:

 function CreateTrigger(const Operation, TableName: string): string; begin result := Format('CREATE TRIGGER IF NOT EXISTS system_trigger_%s_replicate_%s AFTER %s ON %s FOR EACH ROW BEGIN ', [ TableName, Operation, Operation, TableName ]); if (Operation = 'INSERT') or (Operation = 'UPDATE') then result := result + Format('INSERT OR IGNORE INTO system_replicate_record(name, id) VALUES("%s", NEW.ROWID); ', [ TableName ]); if (Operation = 'DELETE') or (Operation = 'UPDATE') then result := result + Format('INSERT OR IGNORE INTO system_replicate_record(name, id) VALUES("%s", OLD.ROWID); ', [ TableName ]); result := result + ' END; '; end; Execute( CreateTrigger('INSERT', 'Foo') ); Execute( CreateTrigger('UPDATE', 'Foo') ); Execute( CreateTrigger('DELETE', 'Foo') ); 

ट्रिगर सरल हैं। यदि वे पहले से ही वहां नहीं हैं, तो वे प्रभावित तालिका प्रविष्टियों की ROWID को system_replicate_record (SQLite में नए और OLD के बारे में पढ़ें) से जोड़ते हैं। इसलिए, हम हमारे लिए दिलचस्प तालिकाओं के अनुसार प्रतिकृति को सक्षम करते हैं और स्रोत डेटाबेस के साथ काम करना शुरू करते हैं। डेटा परिवर्तन ट्रिगर द्वारा ट्रैक किए जाते हैं। कुछ बिंदु पर (समय अंतराल में या system_replicate_record में रिकॉर्ड की संख्या से), हम डेटा को दोहराते हैं, अर्थात् , परिवर्तनों को स्थानांतरित करते हैं। फ़ू टेबल से गंतव्य डेटाबेस में परिवर्तित रिकॉर्ड को कैसे दोहराया जाए? यह प्रतिकृति का सबसे कठिन हिस्सा है। हम sqlite_master सिस्टम तालिका का उपयोग करेंगे, जिसमें सभी डेटाबेस ऑब्जेक्ट की SQL शामिल है। यह एसक्यूएल एक ऑब्जेक्ट क्रिएशन स्टेटमेंट है (यानी, टेबल फू के लिए "क्रिएट टेबल फू (...)") होगा।

फू तालिका की प्रतिलिपि बनाने के लिए एल्गोरिथ्म, यदि यह पहले से ही डीएसटी डेटाबेस में नहीं है।

1) SQL टेबल प्राप्त करें:

  SELECT sql FROM sqlite_master WHERE tbl_name = 'Foo' and type = 'table'; 

और इसे गंतव्य डेटाबेस "जैसा है" में निष्पादित करें (हम गंतव्य डेटाबेस से कनेक्शन को निष्पादित करने के लिए बस पास करते हैं)।
2) सभी रिकॉर्ड्स का चयन करें और डेटा ट्रांसफर करें (बिल्कुल थोड़ी देर बाद ट्रांसफर कैसे करें):

  SELECT rowid as rowid, * FROM Foo 

3) यदि आपको इंडेक्स और ट्रिगर्स को भी स्थानांतरित करने की आवश्यकता है, तो हम गंतव्य डेटाबेस में एसक्यूएल को भी निष्पादित करते हैं, जो हमें इस तरह से मिलता है (सिस्टम इंडेक्स और ट्रिगर्स को छोड़कर):

  SELECT sql FROM sqlite_master WHERE tbl_name = 'Foo' and (type = "index" or type = "trigger") and not name LIKE 'system_%' and not name LIKE 'sqlite_%' 

Src डेटाबेस से Dst डेटाबेस में Foo तालिका की प्रतिकृति के लिए एल्गोरिथ्म।

1) यदि Dst में अभी तक कोई तालिका Foo नहीं है, तो इसे Src (ऊपर देखें) से कॉपी करें और 5 पर जाएं)
2) अन्यथा, प्रभावित रिकॉर्ड्स का चयन करें:

  SELECT id FROM sqlite_replicate_record WHERE name = 'Foo'; 

और उन्हें अल्पविराम के माध्यम से एक लंबी स्ट्रिंग आर में संयोजित करें, अर्थात। "123,256,334,4700, ..." जैसे आर में मिलना चाहिए।
(लाइनों को जोड़कर इस ऑपरेशन को करने के बारे में भी मत सोचो! एक बफर का चयन करें और इसे आवश्यक रूप से विस्तारित करें। यह याद रखना भी अच्छा है कि ROWID एक 8 बाइट हस्ताक्षरित पूर्णांक है) ।
3) Dst डेटाबेस में Foo टेबल से इन प्रविष्टियों को हटा दें:

  DELETE FROM [Foo] WHERE rowid IN (<   R>); 

4) Src डेटाबेस में Foo से डेटा का चयन करें और Dst डेटाबेस में कॉपी (थोड़ी देर बाद वास्तव में डेटा कॉपी करने के लिए):

  SELECT rowid as rowid, * FROM [Foo] WHERE rowid IN (SELECT id FROM system_replicate_record WHERE name = 'Foo'); 

5) हम Src डेटाबेस में प्रतिकृति तालिका को साफ करते हैं:

  DELETE FROM sqlite_replicate_record WHERE name = 'Foo'; 

हमारे लिए यह समझना बाकी है कि डेटा की नकल कैसे की जाती है। यह थोड़ा अधिक प्रोग्रामेटिक शमनवाद लेता है। रिकॉर्ड निम्न क्वेरी द्वारा चुने गए हैं:

  SELECT rowid as rowid, * FROM [Foo] [ WHERE ... ] 

केवल इस तरह से हम गारंटी दे सकते हैं कि ROWID को पुनः प्राप्त किया जाएगा (और "ROWID" नाम होगा)। प्रत्येक निकाले गए रिकॉर्ड के लिए, हम एक SQL इन्सर्ट स्टेटमेंट बनाते हैं (UTF-8 एन्कोडिंग में):

  INSERT INTO [Foo](<>) VALUES(<>) 

चयनित रिकॉर्ड के सभी स्तंभों को बायपास करें और कॉलम नाम को " <नाम> " भाग में जोड़ें, और मान को " <मान >>" भाग में, अल्पविराम द्वारा अलग किया गया। कॉलम का नाम '[' और ']' द्वारा तैयार किया जाना चाहिए। मान को एसक्यूएल शाब्दिक के रूप में दर्शाया जाना चाहिए। जैसा कि आप जानते हैं, SQLite में निम्न मूल्य प्रकार हैं:

  SQLITE_INTEGER = 1; SQLITE_FLOAT = 2; SQLITE_TEXT = 3; SQLITE_BLOB = 4; SQLITE_NULL = 5; 

हमें यह सीखने की आवश्यकता है कि प्रत्येक को एसक्यूएल शाब्दिक के रूप में कैसे प्राप्त किया जाए। शाब्दिक SQLITE_NULL "अशक्त" है । शाब्दिक SQLITE_INTEGER पूर्णांक (64 बिट्स), 1234567890: "1234567890" का एक स्ट्रिंग प्रतिनिधित्व है। शाब्दिक SQLITE_FLOAT आंशिक और पूर्णांक भागों के विभाजक के रूप में एक डॉट के साथ एक वास्तविक संख्या का एक स्ट्रिंग प्रतिनिधित्व है, 123.456789: "123.456789" । एक स्ट्रिंग ( SQLITE_TEXT ) को एक शाब्दिक में बदलने के लिए, इसमें सभी एकल उद्धरणों को दोहराएं और परिणाम को एकल उद्धरण, "हैलो, मैकडक": "'हैलो, मैक'डक' के साथ फ्रेम करें। BLOB बने रहे। SQLite में SQLITE_BLOB (बाइनरी डेटा) शाब्दिक रूप में "x'A0B1C2 ... '" है , जहां "A0" पहली बाइट का हेक्स कोड है, "B1" दूसरी बाइट का हेक्स कोड है, आदि।

वह सब है। हमने डेटा प्रतिकृति के सबसे सरल कार्य संस्करण का वर्णन किया है जिसमें एक रिकॉर्ड को इसकी संपूर्णता में कॉपी किया जाता है। अनुकूलन के लिए एक क्षेत्र है, निश्चित रूप से। डीएसटी डेटाबेस में सभी परिवर्तनों को लेनदेन में लपेटना उपयोगी होगा। इंसर्ट स्टेटमेंट बनाते समय, कॉलम नाम वाला एक भाग एक बार बनाया जा सकता है और पुन: उपयोग किया जा सकता है।

दिखाए गए आर्किटेक्चर स्कीमा प्रतिकृति का समर्थन नहीं करते हैं। यदि आप इसमें फ़ील्ड्स जोड़कर मूल तालिका बदलते हैं, तो यह इसकी प्रतिकृति को बाधित करेगा। या तो गंतव्य डेटाबेस में तालिका को हटा दें (ताकि इसे पूरी तरह से फिर से कॉपी किया जाए) या सिंक्रनाइज़ेशन स्कीम को जोड़कर प्रतिकृति को जटिल करें। एक ही विचार नए बनाए गए अनुक्रमित और ट्रिगर पर लागू होते हैं।

पुनश्च। SQLite डेटाबेस को प्रबंधित करने के लिए एक आधुनिक प्रबंधक का उपयोग करें।