डेटा डिडुप्लीकेशन का परिचय

परिचय

व्यापार निरंतरता के क्षेत्र में, आधुनिक आईटी अवसंरचना में डेटा के तेजी से विकास के साथ कई अलग-अलग समस्याएं हैं। मेरी राय में, दो मुख्य लोगों को प्रतिष्ठित किया जा सकता है:

1. बड़ी मात्रा में डेटा स्टोर करने के लिए जगह की योजना कैसे बनाएं
2. इस डेटा का बैकअप कैसे लें

वास्तव में, एक बड़े संगठन में प्रति वर्ष टेराबाइट डेटा की वृद्धि आज एक बहुत ही वास्तविक परिदृश्य है। लेकिन कुशल भंडारण और बैकअप के बारे में क्या? दरअसल, एक दिन में अधिकतम 24 घंटे होते हैं और बैकअप विंडो अनिश्चित काल तक (स्वयं डेटा के विपरीत) नहीं बढ़ सकती है। आज मैं इस बारे में बात करना चाहता हूं कि कैसे समर्पण इस समस्या की गंभीरता को कम करने में मदद कर सकता है।

डिडुप्लीकेशन

मोटे तौर पर, दो मुख्य प्रकार हैं:

• फाइल-लेवल डिडुप्लीकेशन (फाइल लेवल पर डिडुप्लीकेशन) - इस विधि में डुप्लीकेशन की यूनिट, जैसा कि यह समझना आसान है, एक अलग फाइल है जब डुप्लिकेट फाइल्स को स्टोरेज सिस्टम से बाहर रखा जाता है। जब फ़ाइल-स्तरीय समर्पण के बारे में बात की जाती है, तो एकल-आवृत्ति संग्रहण (SIS) तकनीक का भी अक्सर उल्लेख किया जाता है।
• ब्लॉक-स्तरीय डिडुप्लीकेशन (ब्लॉक डिडुप्लीकेशन) - यहां डिडुप्लीकेशन की इकाई मनमानी लंबाई के डेटा का एक ब्लॉक है, जिसे अक्सर स्टोरेज सिस्टम के विभिन्न लॉजिकल ऑब्जेक्ट्स में दोहराया जाता है।

आमतौर पर, अधिक दानेदार कटौती योजना का उपयोग किया जाता है, भंडारण स्थान की बचत अधिक होती है।

SIS क्या है? विधि का सार सरल है, उदाहरण के लिए, यदि 2 फाइलें हैं जो बिल्कुल समान हैं, तो उनमें से एक को दूसरे के लिंक से बदल दिया जाता है। ऐसा तंत्र मेल सर्वर (उदाहरण के लिए, एक्सचेंज) और डेटाबेस में सफलतापूर्वक काम करता है। उदाहरण के लिए, यदि कोई कॉर्पोरेट मेल उपयोगकर्ता कई प्राप्तकर्ताओं को संलग्न फ़ाइल के साथ एक ईमेल भेजता है, तो यह फ़ाइल केवल एक बार Exchange डेटाबेस में सहेजी जाएगी।

बहुत अच्छा लगता है! लेकिन केवल जब तक फाइलें बिल्कुल समान हैं। यदि समान फ़ाइलों में से एक को बाइट द्वारा भी बदल दिया जाता है, तो एक अलग संशोधित प्रतिलिपि बनाई जाएगी और कटौती की दक्षता कम हो जाएगी।

पहचान या विशिष्टता के मूल्यांकन के लिए डिस्क के लिए लिखे गए डेटा ब्लॉक के स्तर पर ब्लॉक डिडुप्लीकेशन काम करता है, जिसमें हैश फ़ंक्शन का उपयोग किया जाता है। डिडुप्लीकेशन सिस्टम इसमें संग्रहीत सभी डेटा ब्लॉक के लिए एक हैश तालिका संग्रहीत करता है। जैसे ही डिडुप्लीकेशन सिस्टम अलग-अलग ब्लॉक के लिए मैचिंग हैश पाता है, यह ब्लॉक को एक ही उदाहरण और लिंक के एक सेट के रूप में सहेजने का प्रस्ताव करता है। आप विभिन्न कंप्यूटरों (वैश्विक डिडुप्लीकेशन) से डेटा ब्लॉक की तुलना भी कर सकते हैं, जो आगे चलकर डिडुप्लीकेशन की क्षमता को बढ़ाता है, क्योंकि एक ही ऑपरेटिंग सिस्टम के साथ विभिन्न कंप्यूटरों के डिस्क पर बहुत सारे डुप्लिकेट डेटा को स्टोर किया जा सकता है। यह ध्यान देने योग्य है कि सबसे बड़ी दक्षता ब्लॉक आकार को कम करने और ब्लॉक की पुनरावृत्ति को अधिकतम करके हासिल की जाएगी। इस संबंध में, ब्लॉक कटौती के दो तरीके हैं: एक स्थिर (पूर्वनिर्धारित) और चर (गतिशील रूप से विशिष्ट डेटा के लिए चयनित) लंबाई के साथ।

डिडुप्लीकेशन एप्लिकेशन

अधिकांश डिडुप्लीकेशन-सक्षम उत्पाद डेवलपर्स बैकअप बाजार पर केंद्रित हैं। इसके अलावा, समय के साथ, बैकअप मूल डेटा की तुलना में दो से तीन गुना अधिक स्थान ले सकता है। इसलिए, बैकअप उत्पादों में लंबे समय से फ़ाइल कटौती का उपयोग किया जाता है, जो कि कुछ शर्तों के तहत पर्याप्त नहीं हो सकता है। ब्लॉक डिडुप्लीकेशन के अलावा स्टोरेज यूटिलाइजेशन को काफी बढ़ा सकता है और सिस्टम की खराबी को आसानी से पूरा कर सकता है।

डिडुप्लीकेशन का उपयोग करने का एक और तरीका यह है कि इसका उपयोग किसी उत्पादक प्रणाली के सर्वर पर किया जाए। यह स्वयं ओएस, अतिरिक्त सॉफ्टवेयर या डेटा स्टोरेज उपकरण (एसएचडी) के माध्यम से किया जा सकता है। इसके लिए देखभाल की आवश्यकता होती है, उदाहरण के लिए, विंडोज 2008 - एक ओएस जो डेटा को कम करने में सक्षम है, वह केवल SIS करता है। उसी समय, स्टोरेज सिस्टम ब्लॉक स्तर पर कटौती कर सकता है, उपयोगकर्ता के लिए फाइल सिस्टम को एक विस्तारित (मूल) रूप में प्रस्तुत कर सकता है, जो कटौती से जुड़े सभी विवरणों को छिपा सकता है। मान लें कि स्टोरेज पर 4 जीबी डेटा है जो 2 जीबी तक घटाया जाता है। दूसरे शब्दों में, यदि उपयोगकर्ता इस तरह के भंडारण को एक्सेस करता है, तो उसे 4 जीबी डेटा दिखाई देगा और यह ठीक ऐसी मात्रा है जिसे बैकअप में रखा जाएगा।

कम ब्याज और उच्च उम्मीदें

सहेजे गए डिस्क स्थान का प्रतिशत सबसे महत्वपूर्ण क्षेत्र है जिसे आसानी से हेरफेर किया जाता है जब "बैकअप फ़ाइलों के आकार में 95% की कमी" के बारे में बात की जाती है। हालांकि, इस अनुपात की गणना करने के लिए उपयोग किया जाने वाला एल्गोरिदम आपकी विशिष्ट स्थिति के लिए पूरी तरह से प्रासंगिक नहीं हो सकता है। विचार करने वाला पहला चर फ़ाइल प्रकार है। ज़िप, सीएबी, जेपीजी, एमपी 3, एवीआई जैसे प्रारूप पहले से ही संपीड़ित डेटा हैं जो असम्पीडित डेटा के लिए कम कटौती गुणांक देता है। कोई कम महत्वपूर्ण नहीं है कि समर्पण और संग्रहीत डेटा की मात्रा के लिए डेटा परिवर्तन की आवृत्ति है। यदि आप किसी ऐसे उत्पाद का उपयोग करते हैं जो किसी फ़ाइल सर्वर पर मौजूदा डेटा को घटाता है, तो आपको चिंता नहीं करनी चाहिए। लेकिन यदि बैकअप सिस्टम के हिस्से के रूप में डिडुप्लीकेशन का उपयोग किया जाता है, तो आपको निम्नलिखित प्रश्नों के उत्तर देने की आवश्यकता है:

• डेटा कितनी बार बदलते हैं?
• क्या ये बदलाव महत्वपूर्ण हैं या फ़ाइल के कुछ ही ब्लॉक बदले गए हैं?
• बैकअप कितनी बार किया जाता है और कितनी फाइलें संग्रहीत की जाती हैं?

Deduplication विशेष कैलकुलेटर का उपयोग करके ऑनलाइन गणना करना आसान है, लेकिन इस तरह से आप कल्पना नहीं कर सकते कि यह आपकी विशिष्ट स्थिति में क्या होगा। जैसा कि आप देख सकते हैं, प्रतिशत कई कारकों पर निर्भर करता है और सिद्धांत में 95% तक पहुंच जाता है, लेकिन व्यवहार में यह केवल कुछ प्रतिशत तक पहुंच सकता है।

समय ही हमारा सब कुछ है

बैकअप सिस्टम में डिडुप्लीकेशन की बात करें तो हमारे लिए यह जानना जरूरी है कि यह कितनी तेजी से चलता है। कटौती के तीन मुख्य प्रकार हैं:

• source (डेटा स्रोत के किनारे);
• लक्ष्य (या "पोस्ट-प्रोसेसिंग डिडुप्लीकेशन");
• निरंतर (या "पारगमन समर्पण");

पहला प्रकार: डेटा स्रोत के किनारे डेडुप्लीकेशन

यह डिवाइस पर ही चलता है, जहां स्रोत डेटा स्थित है। बैकअप के लिए चिह्नित किसी भी डेटा को ब्लॉक में विभाजित किया गया है; उनके लिए हैश की गणना की जाती है। यहां 3 संभावित समस्याएं हैं।

1. पहली समस्या यह है कि स्रोत मशीन के संसाधन शामिल हैं । इसलिए, आपको यह सुनिश्चित करने की आवश्यकता है कि इसमें पर्याप्त प्रोसेसर और रैम संसाधन हैं। पहले से लोड किए गए मेल सर्वर पर कटौती करने का कोई उचित कारण नहीं है। बेशक, कुछ निर्माता अपने निर्णयों की आसानी के बारे में बात करते हैं, लेकिन इससे इस तथ्य की उपेक्षा नहीं होती है कि स्रोत पर्यावरण का प्रदर्शन प्रभावित होगा, और यह अस्वीकार्य हो सकता है।
2. दूसरी समस्या यह है कि हैश टेबल को स्टोर करना कहां बेहतर है? आप हैश टेबल को उसी स्रोत सर्वर पर, या नेटवर्क पर एक केंद्रीकृत सर्वर पर रख सकते हैं (यदि वैश्विक कटौती का उपयोग किया जाता है तो यह किया जाना चाहिए), लेकिन यह समाधान नेटवर्क पर एक अतिरिक्त भार बनाता है ।
3. इसके नुकसान के बावजूद, स्रोत कटौती का उपयोग करने का अधिकार है, उदाहरण के लिए, एक छोटे आईटी बुनियादी ढांचे के साथ कंपनियों में, जहां बुनियादी ढांचे में कई सर्वर हैं, वैश्विक समर्पण का उपयोग करना तर्कहीन है।

टारगेट (या पोस्ट-प्रोसेस) डिडुप्लीकेशन

मान लीजिए कि सभी कंप्यूटरों से डेटा एक एकल बैकअप रिपॉजिटरी को भेजा जाता है। एक बार डेटा आने के बाद, रिपॉजिटरी इस डेटा के ब्लॉक के साथ एक हैश टेबल बना सकती है। इस पद्धति का पहला लाभ बड़ी मात्रा में डेटा है, और बड़ा डेटा पूल, हैश तालिका जितनी अधिक है और तदनुसार, समान ब्लॉकों को खोजने की अधिक से अधिक संभावना है। दूसरा लाभ यह है कि पूरी प्रक्रिया उत्पादक नेटवर्क के बाहर होती है।

हालांकि, यह विकल्प सभी समस्याओं को हल नहीं करता है। कुछ बिंदु हैं जिन्हें ध्यान में रखा जाना आवश्यक है।

1. पहले मुक्त स्थान पर निर्भरता है । यदि आपके पास व्यापक बुनियादी ढांचा है, तो आवश्यक स्थान का आकार बहुत बड़ा हो सकता है।
2. इसके अलावा, लक्ष्य कटौती का दूसरा दोष रिपॉजिटरी के डिस्क सबसिस्टम की सटीकता है । आमतौर पर, डेटा को ब्लॉक में तोड़ने से पहले रिपॉजिटरी डिस्क पर लिखा जाना चाहिए, और उसके बाद ही हैशिंग और डुप्लीकेशन की प्रक्रिया शुरू होती है। यह डिस्क सबसिस्टम को एक आर्किटेक्चर अड़चन बनाता है।
3. तीसरा दोष यह हो सकता है कि प्रत्येक हैश फ़ंक्शन में हैश टकराने की संभावना है , अर्थात, ऐसी परिस्थितियाँ जहाँ दो अलग-अलग ब्लॉकों के लिए एक ही हैश की गणना की जाती है। इससे मूल डेटा को नुकसान होगा। इसे रोकने के लिए, टकराव की न्यूनतम संभावना वाले हैश एल्गोरिथम को चुनना आवश्यक है, जिसके बदले में अधिक कंप्यूटिंग शक्ति की आवश्यकता होती है। आमतौर पर, यह एक समस्या नहीं है, क्योंकि लक्ष्य कटौती इस लोड को संभालने में सक्षम हार्डवेयर का उपयोग करता है। मुझे कहना होगा कि आधुनिक हैश कार्यों के हैश टकराव की संभावना कम है।
4. चौथा संभावित दोष यह है कि "उत्पादन" से डेटा की पूरी मात्रा नेटवर्क पर महत्वपूर्ण लोड बनाए बिना नेटवर्क और उत्पादक प्रणाली के माध्यम से प्रेषित की जानी चाहिए । सिस्टम के लिए रात या अन्य कम व्यस्त घंटों का उपयोग करके या इस ट्रैफ़िक को किसी अन्य नेटवर्क (जो मध्यम और बड़ी कंपनियों में सामान्य अभ्यास है) को अलग करके इसे हल किया जा सकता है।

ट्रांजिट डिडुप्लीकेशन

ट्रांजिट डिडुप्लीकेशन को एक ऐसी प्रक्रिया के रूप में समझाया जाता है जो स्रोत से लक्ष्य के लिए डेटा के हस्तांतरण के दौरान होती है। शब्द थोड़ा भ्रमित करने वाला है। डेटा वास्तव में "तार में" काट नहीं है। वास्तव में, इसका मतलब यह है कि लक्ष्य डिवाइस की रैम में एकत्र किए गए डेटा को डिस्क पर लिखने के ऑपरेशन से पहले काट दिया जाता है। यह समीकरण से ड्राइव खोज समय को संक्रमित करता है। पारगमन कटौती को लक्ष्य समर्पण का सबसे अच्छा रूप माना जा सकता है। यह हैश प्रक्रिया को ऑफलोड करने के साथ डेटा के वैश्विक दृष्टिकोण के सभी फायदे हैं, लेकिन धीमी आई / ओ डिस्क की कमियों में से एक नहीं है।

हालांकि, यह अभी भी बहुत सारे नेटवर्क ट्रैफ़िक और संभावित हैश टकराव प्रस्तुत करता है। इस विधि को सभी सूचीबद्धों के बीच सबसे बड़े कंप्यूटिंग संसाधनों (प्रोसेसर और मेमोरी) की आवश्यकता होती है।

संक्षेप

Deduplication Technologies भंडारण प्रणालियों को खरीदने की लागत को कम करने में मदद कर सकती हैं। ध्यान से कटौती का प्रकार चुनें। अंत में, डुप्लीकेशन कंपनी को अपने बढ़ते डेटा को स्टोर करने की लागत को धीरे-धीरे बढ़ाने की अनुमति देगा।

उपयोगी सामग्री

[१] मूल लेख (इंजी।)
[२] वीम ब्लॉग आलेख: विंडोज सर्वर २०१२ और वीम बैकअप और प्रतिकृति के साथ अविश्वसनीय समर्पण परिणाम कैसे प्राप्त करें!
[३] वीडियो: एमएस विंडोज सर्वर २०१२ और वीम बैकअप और प्रतिकृति ६.५ के साथ डेडुप्लीकेशन सर्वोत्तम अभ्यास
[४] वीईएम बैकअप और प्रतिकृति में अंतर्निहित संपीड़न और समर्पण