SXB: MySQL वृद्धिशील बैकअप

यह लेख लेख की निरंतरता है। हम बैकअप साइटों के लिए एक नया फ़ाइल प्रारूप विकसित कर रहे हैं, जो बैकअप साइटों के लिए एक आशाजनक प्रारूप माना जाता है।

इस लेख में, हम प्रारूप के दूसरे भाग पर विचार करेंगे - MySQL के लिए ब्लॉक वृद्धिशील बैकअप की संभावना।

एसएक्सबी प्रारूप शुरुआती और मध्यवर्ती स्तर के उपयोगकर्ताओं के लिए अभिप्रेत है। उन लोगों के लिए जो परिचित नहीं हैं (या किसी विशिष्ट साइट पर उनका उपयोग नहीं कर सकते हैं) हॉट बैकअप टूल (बाइनरी लॉग्स, फाइल सिस्टम स्नैपशॉट्स, Xtrabackup, आदि) के साथ। मोटे तौर पर, उन लोगों के लिए जो MySQL का उपयोग करने के लिए mysqldump और इसी तरह के प्रोग्राम का उपयोग करते हैं जो SQL डंप डेटाबेस बनाते हैं।

मैं आपको याद दिलाता हूं कि प्रारूप अभी भी प्रौद्योगिकी के विकास के स्तर पर है, और लेख के अंत में आपको एक परीक्षण PHP स्क्रिप्ट मिलेगी।

Mysqldump क्यों नहीं?

तो, MySQL डेटाबेस के लिए सबसे लोकप्रिय बैकअप विकल्पों में से एक है बंडल mysqldump प्रोग्राम। इंटरनेट पर, आप दोनों सरल स्क्रिप्ट (सहित, हैबे पर कई लेख हैं), और व्यक्तिगत बैकअप प्रोग्राम पा सकते हैं, जो mysqldump का उपयोग करते हैं।

तो इसका उपयोग क्यों नहीं करते? मुख्य नुकसान कुख्यात "यूनिक्स तरीके" से जुड़े हुए हैं (जब प्रत्येक कार्यक्रम एक न्यूनतम कार्य करता है और अन्य कार्यक्रमों के बारे में पता नहीं है)।

इस स्थिति में, निम्न समस्याएँ होती हैं:

• एक अस्थायी फ़ाइल का उपयोग करना

  कार्य की मानक योजना एक फ़ाइल को डंप के साथ बनाना है, और फिर इसे टार या ज़िप संग्रह में जोड़ना है। इसलिए, आपको बैकअप के लिए अधिक स्थान की आवश्यकता है, साथ ही प्रतिलिपि बनाने के लिए अतिरिक्त समय भी।
  
  

• खराब समर्पण समर्थन

  इस तथ्य के कारण कि mysqldump टिप्पणियों और विभिन्न मेटाडेटा (जैसे कि auto_increment का मान) सम्मिलित करता है, साथ ही दूसरों पर कुछ तालिकाओं की निर्भरता के कारण।
  
  

• कोई डंप नेविगेशन

  केवल एक तालिका से डेटा प्राप्त करने के लिए, आपको डंप को पार्स करने की आवश्यकता है जब तक आपको सही जगह नहीं मिलती। क्योंकि अधिकांश अक्सर पूरे डंप को पुनर्स्थापित करते हैं (संभवतः एक अस्थायी डेटाबेस में)।
  
  

• पोस्टप्रोसेसिंग की कमी

  चूंकि डंप एसक्यूएल प्रश्नों का एक सेट है, और रिकवरी किसी भी प्रश्न को निष्पादित करने के लिए एक मानक कार्यक्रम द्वारा किया जाता है। यह पुनर्प्राप्ति अधिक जटिल (अधिक जटिल पार्सर के कारण) होती है, और प्रश्नों को संशोधित करने का कोई तरीका नहीं है (उदाहरण के लिए, INSERT के बजाय REPLACE का उपयोग करें)।
  

आप विभिन्न mysqldump विकल्पों के साथ इनमें से कुछ मुद्दों को हल करने की कोशिश कर सकते हैं, लेकिन परिणामस्वरूप, एक डंप को पुनर्प्राप्त करना जटिल है। और व्यवहार में, मैं ऐसे फैसलों से नहीं मिला हूं। मैंने Sypex Dumper 2 में इनमें से कुछ समस्याओं को हल करने की कोशिश की। एसक्यूएल डंप में विशेष मेटाडेटा जोड़ा गया। लेकिन नए संस्करण में मैंने आगे जाने का फैसला किया।

SXB प्रारूप में नई MySQL बैकअप सुविधाएँ

इस तथ्य के कारण कि हम पुनर्प्राप्ति के लिए एक विशेष कार्यक्रम का उपयोग करते हैं जो बाद के प्रसंस्करण का प्रदर्शन कर सकते हैं, बल्कि बेवकूफी से फाइल को प्रश्नों में विभाजित कर सकते हैं और उन्हें MySQL सर्वर पर भेज सकते हैं, दिलचस्प नए अवसर दिखाई देते हैं।

डम्पर के प्रो संस्करण में, पहले से ही बैकअप प्रक्रिया को तेज करने के लिए SELECT OUTFILE का उपयोग किया गया था। चूँकि यह काफी समझ में आता है कि यदि MySQL सर्वर एक फाइल को डेटा को अलग-अलग फील्ड में ट्रांसफर करने के बजाय सेव करता है, तो यह बहुत तेजी से होगा, जिनमें से प्रत्येक को अभी भी बचाना होगा, उद्धरण चिह्नों, कोष्ठक आदि को जोड़ना होगा। लेकिन एक ही समय में, डंप अभी भी सामान्य एसक्यूएल लुक में कम हो गया था।

नए संस्करण में, मैंने सोचा कि बैकअप के दौरान डंप बनाने में समय क्यों खर्च किया जाए, अगर इन सजावटों पर 30-50% समय व्यतीत हो। यह देखते हुए कि आमतौर पर बैकअप वसूली की तुलना में अधिक बार किया जाता है। रिकवरी प्रक्रिया के लिए अतिरिक्त बोझ को स्थानांतरित करना स्वाभाविक रूप से बेहतर है।

एसएक्सबी प्रारूप पर काम करते हुए और फाइलों के लिए डिडुप्लीकेशन को रोकने के लिए, यह विचार आया कि डेटाबेस के लिए डुप्लीकेशन का प्रयास करना अच्छा होगा। आखिरकार, डेटाबेस बैकअप के बीच इतना डेटा नहीं बदलता है।
पहले चरण में, मैंने ब्लॉक स्तर पर और साथ ही फाइलों के लिए कटौती लागू करने का फैसला किया। यह विकल्प, निश्चित रूप से, पंक्ति-स्तरीय कटौती की तुलना में नुकसान है। लेकिन यह संसाधनों पर बहुत तेजी से और कम मांग होगी।

डेटा स्वयं ही प्रत्येक तालिका के लिए अलग से पंक्तियों के रूप में, परिसीमन के रूप में टैब के साथ संग्रहीत किया जाता है। तालिकाओं के ब्लॉक अन्य तालिकाओं से स्वतंत्र हैं। यह एक कॉम्पैक्ट बैकअप फ़ाइल, प्लस पुनर्प्राप्ति के दौरान उन्नत पोस्टप्रोसेसिंग सुविधाओं को प्राप्त करता है। प्रत्येक तालिका की संरचना भी अलग से संग्रहीत की जाती है। उसी समय, AUTO_INCREMENT मान तालिका संरचना से कट जाता है ताकि लगातार तालिका संरचना का बैकअप न हो जिसमें केवल AUTO_INCREMENT परिवर्तन हो। और AUTO_INCREMENT मान स्वयं तालिका शीर्ष लेख के मेटाडेटा में संग्रहीत है।

प्रत्येक ब्लॉक के लिए, एक पहचानकर्ता माना जाता है (CRC32 + MD5 + ब्लॉक आकार), यह पहचानकर्ता ब्लॉक की विशिष्टता को निर्धारित करता है। टकराव से बचने के लिए दो हैशिंग एल्गोरिदम का उपयोग किया जाता है। और एल्गोरिदम खुद को सबसे तेज चुना जाता है। संपूर्ण तालिका के लिए एक सामान्य MD5 हैश भी माना जाता है।

इस प्रकार, यदि हम एक ऐसे ब्लॉक से मिलते हैं जो पहले से ही हमारे बैकअप (वर्तमान या पिछले) में है, तो हम इस ब्लॉक के लिंक का उपयोग करते हैं, और दोहराए गए ब्लॉक को वर्तमान बैकअप में नहीं जोड़ते हैं। इसके कारण, हम बैकअप के लिए जगह बचाते हैं, सीपीयू समय (समान डेटा को संपीड़ित करने की आवश्यकता नहीं है), और इसके छोटे आकार के कारण, बैकअप को क्लाउड स्टोरेज में डाउनलोड करने में भी काफी तेजी आती है।

आप वास्तव में एक सरलीकृत स्क्रिप्ट का उपयोग करके MySQL वृद्धिशील बैकअप का परीक्षण कर सकते हैं , डेटा साझा करना उचित है।

आपके MySQL उपयोगकर्ता के पास FILE अनुमतियां होनी चाहिए और MySQL सर्वर स्थानीयहोस्ट पर होना चाहिए। यदि कई ऐसे हैं जो सरल चयन के साथ एक संस्करण जोड़ना चाहते हैं।

काम के परिणामस्वरूप, ऐसी तालिका प्राप्त करें (पृष्ठ पर फिट होने की तिथि काट लें)।

+--------+------+---------+--------+--------+----------+----------+----------+--------+ | D & t | Tabs | Rows | Blocks | Dubs | Size | Dub.size | SXB.size | Time | +--------+------+---------+--------+--------+----------+----------+----------+--------+ | 07:38 | 26 | 557180 | 4779 | 0 | 37.03 MB | - | 11.43 MB | 3.8561 | | 08:06 | 26 | 557187 | 4779 | 4761 | 37.03 MB | 36.92 MB | 39.8 KB | 2.8214 | | 08:22 | 26 | 557187 | 4779 | 4775 | 37.03 MB | 37 MB | 12.22 KB | 2.5557 | | 08:37 | 26 | 557187 | 4779 | 4778 | 37.03 MB | 37.03 MB | 3.75 KB | 2.5052 | | 08:52 | 26 | 557193 | 4779 | 4768 | 37.03 MB | 36.96 MB | 24.57 KB | 2.6060 | | 09:10 | 26 | 557196 | 4779 | 4775 | 37.03 MB | 37.01 MB | 7.79 KB | 2.8218 | +--------+------+---------+--------+--------+----------+----------+----------+--------+ 

पहली बार एक पूर्ण बैकअप किया जाता है, बाद में बैकअप वृद्धिशील होता है। "SXB.size" एक वृद्धिशील बैकअप (यानी संशोधित ब्लॉक) के साथ फ़ाइल का आकार दिखाता है।