रेडिस डेटा रिकवरी

लेख का लेखकत्व हमारे कर्मचारी स्टीफन करम्यशेव का है
उसके पास अभी तक कोई निमंत्रण नहीं है, इसलिए मैं उसके लिए पोस्ट कर रहा हूं।
आगे उनकी ओर से कथन।

यह पाठ प्रतिभा का ढोंग नहीं करता है, इसमें वर्णित तकनीकें न तो रामबाण हैं, न ही चांदी की गोली। नीचे वर्णित दुर्घटना के दौरान किए गए अध्ययन के परिणामस्वरूप, रूसी या अंग्रेजी में एक भी स्रोत नहीं मिला (न ही, ऐसा लगता है, जर्मन में) ऐसी भाषाएं जो समान जानकारी प्रदान करती हैं। कृपया ध्यान दें: जानकारी "जैसा है" प्रदान की गई है, बिना सोचे-समझे अध्ययन के बिना इसका उपयोग घातक हो सकता है!

Red'ku के लिए दादा
लोक कथा





मामले अलग हैं। कभी-कभी सबसे विश्वसनीय सिस्टम भी विफल हो सकते हैं। इसलिए इस बार, मेरे कमांड सेंटर की कुर्सी पर बैठे, डरावनी और कड़वाहट के साथ मुझे स्काइप चैट में सौ से अधिक संदेश मिले। कहानी के विकर्ण पर पढ़ने से पता चला कि हमारे ग्राहकों की लालियों को सूज गया था, बरामद किया गया था, और OOM हत्यारे की मदद से मारा गया था। स्वाभाविक रूप से, एपेंड-ओनली फ़ाइल ठीक से विलेख करने में सफल नहीं हुई। मैजिक रेडिस-चेक-एओफ़ - उपसर्ग ने खुशी से फ़ाइल को ठीक करने की सूचना दी, साथ ही 8-गीगाबाइट फ़ाइल को 900-मेगाबाइट पर ट्रिम करने का सुझाव दिया।

- ओह, आतंक! - ग्राहकों को चिल्लाया।
- फ़ास्को! - ग्राहकों को चिल्लाया।
- $ #% \!! [_ *** #% \! - ग्राहकों को चिल्लाया।

एनो-फाइल्स में, यदि किसी को पता नहीं है, तो क्रमिक रूप से निष्पादित रेडिस कमांड्स निहित है।

सौभाग्य से, फ़ाइल को "लड़ाई पर" उपसर्ग चलाने से पहले कॉपी किया गया था। समानांतर में, एक प्रशासनिक निर्णय लिया गया था कि हमने फ़ाइल को ठीक किए बिना छुट्टी नहीं ली।

फ़ाइल के साथ डेमॉन लोड करने का पहला पहला प्रयास "HQET कमांड नहीं मिला" दिखाया गया है। फिर माइंड गेम शुरू हुआ। फ़ाइल को फिर से पाप से दफनाया गया था, जिसके बाद इसे गंभीर हिंसा के अधीन किया गया था। सबसे पहले, http://redis.io/commands पेज खोला गया, जहाँ सभी संभावित रेडिस कंट्रोल कमांड उपलब्ध हैं।

पहला स्तर। मुझे बहुत चोट लगी है।

yum install -y hexedit <- hexedit लगाएं
hexedit <aof file> <- hexedit फ़ाइल खोलें
<- अस्सी मोड पर जाएं
</> <- खोज पर जाएं
HQET-> <- वांछित कमांड के लिए देखें, संपादित करें
<ctrl-X> <- hexedit से बाहर निकलें

आदेशों की पहली लहर (HQET, HSAT, ZASD) को ठीक करने के बाद, फ़ाइल पर रीडिस-चेक-एओएफ को फिर से सेट किया गया था। निष्पादन के परिणाम सामने आए

स्तर दो। अल्ट्रा हिंसा।

अब फ़ाइल के संबंध में ध्यान देने की आवश्यकता है:

0x308a7042: Expected prefix '\r\n', got: '0f0a' 

hexedit <aof file> <- hexedit फ़ाइल खोलें
<- पते पर जाएं
<हमने 0f0a से 0d0a> को सही किया है - <- मैं आपको याद दिलाता हूं कि हेक्स में 0d0a \ r \ n है।

यह और भी आसान लग रहा था, लेकिन अगले रेडिस-चेक-एओफ़ रन के बारे में बात करना शुरू कर दिया

स्तर तीन। दुःस्वप्न!

 0x       308a7046: Expected prefix '*', got: '$' 

मूली स्रोतों को डाउनलोड किया गया, विस्तारित लॉगिंग के साथ रेडिस-चेक-एओफ़ को फिर से जोड़ा गया। मेरे मामले में, मैंने वर्णों के अनुक्रम को प्रिंट करना पसंद किया _ _ बाद में अधिक सटीक पहचान के लिए समस्या स्थान, कुछ इस तरह से प्राप्त करना:

 '34' 'D' 'A' '0' 

यह न केवल buf [0] लॉगिंग के द्वारा किया जाता है, बल्कि या तो कुछ वर्णों के बाद, या बस buf के द्वारा किया जाता है।
इसके अलावा, मैं ध्यान देता हूं कि हेक्सिडिट में, ऊपर के उदाहरण से रेखा को '34 0D 0A 00 'के रूप में दर्शाया जाएगा, अर्थात। दो प्रमुख शून्य वर्ण।

इसके अलावा ASCII _before_ एक समस्या वाली जगह को बहुत सावधानी से पढ़ना आवश्यक है।
यदि हम उपरोक्त उदाहरण को देखते हैं, तो ASCII में हम देखेंगे:

 HSET..$16..{u204237826932}g..$3..150..$1..1..*6..$4..HSET..$16..{u204237826932}g..$3 ..139..$1..1..*4..$4.. 

इसके अलावा, हमने ध्यान से रेडिस के स्रोत का अध्ययन किया, विशेष रूप से निम्नलिखित टुकड़े:

     if (buf[0] != '*') goto fmterr;       argc = atoi(buf+1);       if (argc < 1) goto fmterr;       argv = zmalloc(sizeof(robj*)*argc);       for (j = 0; j < argc; j++) {           if (fgets(buf,sizeof(buf),fp) == NULL) goto readerr;           if (buf[0] != '$') goto fmterr;           len = strtol(buf+1,NULL,10);           argsds = sdsnewlen(NULL,len);           if (len && fread(argsds,len,1,fp) == 0) goto fmterr;           argv[j] = createObject(REDIS_STRING,argsds);           if (fread(buf,2,1,fp) == 0) goto fmterr; /* discard CRLF */    } 

और कुछ बिंदु पर हमें समझ में आया कि ऊपर की लाइन:

 HSET..$16..{u204237826932}g..$3..150..$1..1..*6..$4..HSET..$16..{u204237826932}g..$3 ..139..$1..1..*4..$4.. 

सही होने पर चेक द्वारा सामान्य रूप से खाया जाएगा:

 HSET..$16..{u204237826932}g..$3..150..$1..1..*4..$4..HSET..$16..{u204237826932}g..$3 ..139..$1..1..*4..$4.. 

आलसी के लिए, अंतर दूसरे एचएसईटी से पहले 6 से 4 की जगह है, जिसने हमें ऊपर दिए गए कोड में तर्कों की लंबाई में बदलाव किया, जिससे हमें गोटो fmterr अनुभाग के माध्यम से जाने और चुपचाप जाने की अनुमति मिली।

नतीजतन, फ़ाइल मैन्युअल रूप से अपलोड की गई थी, रेडिस को लॉन्च किया गया था, ग्राहकों को आश्वस्त किया गया था, परियोजना को काम पर लौटा दिया गया था, प्रतिष्ठा थोड़ी सूख गई थी, फ़ाइल का बैकअप पुन: कॉन्फ़िगर किया गया था और फिर से जाँच की गई थी। बस, दो बार।