सभी को शुभ दिन!

आज मैं विंडोज सर्वर 2012 में डेटा कटौती के रूप में इस तरह के एक दिलचस्प नए फीचर की समीक्षा करना चाहूंगा। यह फीचर बेहद दिलचस्प है, लेकिन पहले आपको यह पता लगाना होगा कि इसकी कितनी जरूरत है ...

क्या निर्जलीकरण बिल्कुल आवश्यक है?

हर साल (यदि दिन से नहीं), हार्ड ड्राइव की मात्रा बढ़ रही है, और एक ही समय में, मीडिया स्वयं सस्ता हो रहा है।
इस प्रवृत्ति के आधार पर, यह सवाल उठता है: "क्या डेटा कटौती आवश्यक है?"
हालांकि, यदि आप और मैं हमारे ब्रह्मांड और हमारे ग्रह पर रहते हैं, तो इस दुनिया में लगभग हर चीज में न्यूटन के तीसरे नियम का पालन करने का गुण है। सादृश्य पूरी तरह से पारदर्शी नहीं हो सकता है, लेकिन मैं इस तथ्य की ओर अग्रसर हूं कि कोई फर्क नहीं पड़ता कि डिस्क सिस्टम कितना सस्ता है और डिस्क स्वयं हैं, मीडिया स्वयं कितना नहीं बढ़ता है - डेटा संग्रहीत करने के लिए उपलब्ध स्थान के लिए व्यावसायिक दृष्टिकोण से आवश्यकताओं में लगातार वृद्धि हो रही है और इस तरह वृद्धि को ऑफसेट किया जा रहा है मात्रा और कीमत में गिरावट।
आईडीसी के पूर्वानुमानों के अनुसार, लगभग 90 मिलियन टेराबाइट्स की आवश्यकता होगी एक वर्ष में कुल राशि में। वॉल्यूम, स्पष्ट रूप से, छोटा नहीं है।



और यहाँ यह सिर्फ डेटा कटौती का सवाल है जो बहुत प्रासंगिक हो जाता है। आखिरकार, जो डेटा हम उपयोग करते हैं, वे विभिन्न प्रकार के होते हैं, और उनका उद्देश्य अलग हो सकता है - कहीं यह उत्पादन डेटा है, कहीं यह अभिलेखागार और बैकअप है, और कहीं यह डेटा स्ट्रीमिंग है - मैंने विशेष रूप से ऐसे उदाहरणों का हवाला दिया है; चूंकि पहले मामले में डिडुप्लीकेशन का उपयोग करने का प्रभाव औसत होगा, संग्रह डेटा में यह अधिकतम होगा, और डेटा स्ट्रीमिंग के मामले में यह न्यूनतम होगा। लेकिन फिर भी हम अंतरिक्ष को बचा सकते हैं, खासकर जब से कटौती अब न केवल विशेष भंडारण प्रणालियों का एक बहुत है, बल्कि एक घटक, विंडोज सर्वर 2012 सर्वर ऑपरेटिंग सिस्टम की एक विशेषता भी है।

डिडुप्लीकेशन और उनके अनुप्रयोग के प्रकार

विंडोज सर्वर 2012 में डिडुप्लीकेशन मैकेनिज्म के ओवरव्यू पर जाने से पहले, आइए देखें कि डिडुप्लीकेशन किस प्रकार का होता है। मैं ऊपर से नीचे तक शुरू करने का प्रस्ताव करता हूं, मेरी राय में यह अधिक दृश्य होगा।

1) फ़ाइल डिडुप्लीकेशन - किसी भी डिडुप्लीकेशन मैकेनिज्म की तरह, एल्गोरिथम का संचालन डेटा के अनूठे सेट को खोजने और लोगों को दोहराने के लिए नीचे आता है, जहां दूसरे प्रकार के सेट को पहले सेट के लिंक से बदल दिया जाता है। दूसरे शब्दों में, एल्गोरिथ्म केवल अद्वितीय डेटा को संग्रहीत करने की कोशिश करता है, अद्वितीय लिंक के साथ डुप्लिकेट डेटा की जगह। जैसा कि आप इस प्रकार के कटौती के नाम से अनुमान लगा सकते हैं - ऐसे सभी ऑपरेशन फ़ाइल स्तर पर होते हैं। यदि आप Microsoft उत्पादों के इतिहास को याद करते हैं - तो इस दृष्टिकोण को बार-बार Microsoft Exchange Server और Microsoft सिस्टम केंद्र डेटा सुरक्षा प्रबंधक में पहले ही लागू किया जा चुका है - और इस तंत्र को SIS (एकल आवृत्ति संग्रहण) कहा जाता था। एक्सचेंज लाइन के उत्पादों में, इसे प्रदर्शन कारणों से समय पर छोड़ दिया गया था, लेकिन डेटा सुरक्षा प्रबंधक में इस तंत्र का अभी भी सफलतापूर्वक उपयोग किया जाता है और ऐसा लगता है कि यह ऐसा करना जारी रखेगा। जैसा कि आप अनुमान लगा सकते हैं, फ़ाइल स्तर उच्चतम है (यदि आप सामान्य रूप से डिवाइस स्टोरेज सिस्टम को याद करते हैं) - और इसलिए अन्य प्रकार के डिडुप्लीकेशन की तुलना में प्रभाव सबसे कम होगा। स्कोप - इस प्रकार की कटौती मुख्य रूप से आर्काइव डेटा पर लागू होती है।

2) ब्लॉक डिडुप्लीकेशन - यह तंत्र पहले से ही अधिक दिलचस्प है, क्योंकि यह सब-फाइल स्तर पर काम करता है - अर्थात्, डेटा ब्लॉक के स्तर पर। इस प्रकार की कटौती, एक नियम के रूप में, औद्योगिक भंडारण प्रणालियों के लिए विशिष्ट है, और यह इस प्रकार का समर्पण है जो विंडोज सर्वर 2012 में उपयोग किया जाता है। तंत्र पहले की तरह ही हैं - लेकिन ब्लॉक स्तर पर (ऐसा लगता है, मैं पहले से ही है, ठीक है?)। यहां, कटौती का दायरा बढ़ रहा है और अब न केवल डेटा संग्रहीत करने के लिए विस्तारित होता है, बल्कि वर्चुअलाइज्ड वातावरण में भी होता है, जो काफी तार्किक है - विशेष रूप से VDI लिपियों के लिए। अगर हम इस बात को ध्यान में रखते हैं कि VDI आभासी मशीनों की छवियों को दोहराने का एक पूरा गुच्छा है, जिसमें अभी भी एक-दूसरे से मतभेद हैं (इसीलिए फ़ाइल कटौती यहाँ शक्तिहीन है) - तो ब्लॉक डुप्लीकेशन हमारी पसंद है!

3) बिट डिडुप्लीकेशन - डेटा डिडुप्लीकेशन का सबसे कम (सबसे गहरा) प्रकार - दक्षता की उच्चतम डिग्री है, लेकिन संसाधन की तीव्रता के मामले में भी अग्रणी है। यह समझ में आता है - विशिष्टता और साहित्यिक चोरी के लिए डेटा का विश्लेषण करना एक आसान प्रक्रिया नहीं है। ईमानदारी से, मैं व्यक्तिगत रूप से भंडारण प्रणालियों को नहीं जानता हूं जो इस स्तर पर कटौती के लिए काम करते हैं, लेकिन मुझे यह सुनिश्चित करने के लिए पता है कि ट्रैफ़िक डुप्लीकेशन सिस्टम हैं जो बिट स्तर पर संचालित होते हैं, वही Citrix NetScaler कहते हैं। ऐसी प्रणालियों और अनुप्रयोगों का अर्थ संचरित यातायात को बचाने के लिए है - यह भौगोलिक रूप से वितरित संगठनों के साथ परिदृश्यों के लिए बहुत महत्वपूर्ण है, जहां उद्यम की कई भौगोलिक रूप से छितरी हुई शाखाएं हैं, लेकिन व्यापक डेटा चैनल अनुपस्थित या संचालित करने के लिए बहुत महंगे हैं - यहां बिट कटौती के क्षेत्र में समाधान खुद को पाएंगे। और कहीं नहीं और अपनी प्रतिभा प्रकट करते हैं।

USENIX 2012 पर Microsoft की रिपोर्ट , जो जून में बोस्टन में हुई थी, इस संबंध में बहुत दिलचस्प लगती है। वाइंड सर्वर सर्वर 2012 में उनके लिए ब्लॉक डेडप्लिकेशन मैकेनिज्म के अनुप्रयोग के संदर्भ में प्राथमिक डेटा का काफी बड़े पैमाने पर विश्लेषण किया गया था - मैं सुझाव देता हूं कि आप इस सामग्री से खुद को परिचित करें।

प्रदर्शन के मुद्दे

यह समझने के लिए कि विंडोज सर्वर 2012 में कितनी प्रभावी डिडुप्लीकेशन तकनीकें हैं, आपको सबसे पहले यह निर्धारित करना होगा कि किस प्रकार के डेटा को इस प्रभावशीलता को मापा जाना चाहिए। विशिष्ट फ़ाइल बॉल्स, "मेरे दस्तावेज़" फ़ोल्डर से उपयोगकर्ता दस्तावेज़, वितरण स्टोरेज और लाइब्रेरीज़, और वर्चुअल हार्ड डिस्क स्टोरेज को मानकों के रूप में लिया गया था।



सॉफ्टवेयर डेवलपमेंट डिपार्टमेंट में Microsoft पर वर्कलोड के मामले में कितना प्रभावी है।
3 सबसे लोकप्रिय परिदृश्य अनुसंधान का विषय रहे हैं:

1) बिल्ड सर्वर बनाएँ - एमएस में हर दिन विभिन्न उत्पादों के बिल्ड की एक सभ्य राशि एकत्र की जाती है। कोड में एक महत्वपूर्ण परिवर्तन भी बिल्ड की निर्माण प्रक्रिया की ओर नहीं जाता है - और इसलिए बहुत सारे डुप्लिकेट डेटा बनाए जाते हैं

2) रिलीज़ के लिए उत्पाद वितरण के साथ बॉल्स - जैसा कि आप अनुमान लगा सकते हैं, सभी असेंबली और सॉफ़्टवेयर के तैयार संस्करणों को कहीं और रखने की आवश्यकता है - माइक्रोसॉफ्ट के अंदर इसके लिए विशेष सर्वर हैं, जहां सभी उत्पादों के सभी संस्करण और भाषा संस्करण रखे गए हैं - यह भी काफी प्रभावी परिदृश्य है, जहाँ कटौती की प्रभावशीलता 70% तक पहुँच सकती है।

3) समूह की गेंदें - डेवलपर्स के दस्तावेजों और फाइलों के साथ एक गेंद का संयोजन, साथ ही उनके घूमने वाले प्रोफाइल और पुनर्निर्देशित फ़ोल्डर्स, जो एक एकल केंद्रीय स्थान में संग्रहीत होते हैं।



और अब सबसे दिलचस्प हिस्सा - नीचे विंडोज सर्वर 2012 में वॉल्यूम का स्क्रीनशॉट है जो इस सभी डेटा को होस्ट करता है।



मुझे लगता है कि यहां के शब्द अतिश्योक्तिपूर्ण होंगे - और सब कुछ पहले से ही बहुत स्पष्ट है। 2TB मीडिया पर 6TB की बचत - थर्मोन्यूक्लियर स्टोरेज? इतना खतरनाक नहीं - लेकिन इतना प्रभावी!

विंडोज सर्वर 2012 में डेडुप्लीकेशन सुविधाएँ

अब आइए विंडोज सर्वर 2012 में कटौती के मुख्य लक्षणों को देखें।

1) पारदर्शिता और उपयोग में आसानी - कटौती की स्थापना अत्यंत सरल है। सबसे पहले, विंडोज सर्वर पर रोल विज़ार्ड में, आप फ़ाइल और स्टोरेज सर्विसेज भूमिका का विस्तार करते हैं, फिर फ़ाइल और iSCSI सेवाएँ - और वहां आप डेटा डेडुप्लीकेशन विकल्प को चालू करते हैं।
उसके बाद, सर्वर मैनेजर में, आप Fike और Storage Services का चयन करते हैं, राइट क्लिक करें - और वहाँ आप “वॉल्यूम डिडुप्लीकेशन सक्षम करें” विकल्प का चयन करें। PowerShell प्रेमियों के लिए विशेष लिंक । सब कुछ बेहद सरल है। अंतिम उपयोगकर्ता और अनुप्रयोगों के दृष्टिकोण से, डेटा के साथ पहुंच और कार्य पारदर्शी और अदृश्य हैं। यदि हम फ़ाइल सिस्टम के दृष्टिकोण से कटौती के बारे में बात करते हैं, तो केवल NTFS समर्थित है। ReFS को घटाया नहीं जा सकता, ठीक उसी तरह जैसे कि EFS (एन्क्रिप्टेड फ़ाइक सिस्टम) का उपयोग करके वॉल्यूम को संरक्षित किया जाता है। साथ ही, 32 केबी से कम की फाइलें और विस्तारित विशेषताओं वाली फाइलें डिडुप्लीकेशन के दायरे में नहीं आती हैं। Deduplication, हालांकि, डायनेमिक वॉल्यूम पर लागू होता है, बिटकॉकर का उपयोग करके एन्क्रिप्ट किए गए वॉल्यूम, लेकिन CSV वॉल्यूम, साथ ही सिस्टम वॉल्यूम (जो तार्किक है) पर लागू नहीं होता है।

2) मुख्य डेटा के लिए अनुकूलन - यह तुरंत ध्यान दिया जाना चाहिए कि समर्पण ऑनलाइन प्रक्रिया नहीं है। पॉलिसी के संदर्भ में वृद्धावस्था के एक निश्चित स्तर तक पहुंचने वाली फाइलें काट दी जाती हैं। एक निश्चित शैल्फ जीवन तक पहुंचने के बाद, डेटा कटौती प्रक्रिया से गुजरना शुरू कर देता है - डिफ़ॉल्ट रूप से यह अवधि 5 दिन है, लेकिन कोई भी आपको इस पैरामीटर को बदलने के लिए परेशान नहीं करता है - लेकिन आपके प्रयोगों में उचित है!

3) अनुकूलन प्रक्रियाओं की योजना - एक तंत्र जो हर घंटे कटौती के मापदंडों के अनुपालन के लिए फाइलों की जांच करता है और उन्हें अनुसूची में जोड़ता है।

4) कटौती क्षेत्र से वस्तुओं को बाहर करने के लिए तंत्र - यह तंत्र आपको उनके प्रकार (JPG, MOV, AVI -) के रूप में कटौती क्षेत्र से फ़ाइलों को बाहर करने की अनुमति देता है, उदाहरण के लिए, यह डेटा स्ट्रीमिंग है - कम से कम कटौती क्या है - यदि सभी)। आप कटौती के क्षेत्र से फ़ाइलों के साथ तुरंत पूरे फ़ोल्डर को बाहर कर सकते हैं (यह जर्मन फिल्मों के प्रेमियों के लिए है, जिनके पास अंधेरा और अंधेरा है)।

5) गतिशीलता - एक घटा हुआ वॉल्यूम एक अभिन्न वस्तु है - इसे एक सर्वर से दूसरे में स्थानांतरित किया जा सकता है (हम विशेष रूप से विंडोज सर्वर 2012 के बारे में बात कर रहे हैं)। उसी समय, आप आसानी से अपने डेटा तक पहुंच सकते हैं और उनके साथ काम करना जारी रख सकते हैं। सभी की जरूरत है कि लक्ष्य सर्वर पर डेटा Deduplication विकल्प शामिल है।

6) संसाधन खपत का अनुकूलन - ये तंत्र रीड / राइट ऑपरेशन पर लोड को कम करने के लिए एल्गोरिदम का अनुकूलन करते हैं, इसलिए अगर हम डेटा ब्लॉक के हैश इंडेक्स के आकार के बारे में बात कर रहे हैं, तो प्रति 1 डेटा ब्लॉक इंडेक्स का आकार 6 बाइट्स है। इस प्रकार, आप बहुत बड़े पैमाने पर डेटासेट में कटौती भी लागू कर सकते हैं।
इसके अलावा, एल्गोरिथ्म हमेशा जांचता है कि क्या डुप्लीकेशन प्रक्रिया का संचालन करने के लिए पर्याप्त मेमोरी संसाधन हैं - यदि उत्तर नहीं है, तो एल्गोरिथम प्रक्रिया को स्थगित कर देगा जब तक कि आवश्यक मात्रा में संसाधन जारी नहीं किया जाता है।

7) ब्रांच कैचे के साथ एकीकरण - डिडक्लिपिक के लिए अनुक्रमण तंत्र भी ब्रांच कैचे के लिए आम हैं - इसलिए, संयोजन में इन तकनीकों का उपयोग करने की प्रभावशीलता संदेह से परे है!

Deduplicated Volumes के लिए विश्वसनीयता संबंधी बातें

विश्वसनीयता का मुद्दा कटे हुए डेटा के लिए अत्यंत तीव्र है - कल्पना करें कि एक डेटा ब्लॉक जिस पर कम से कम 1000 फाइलें निर्भर करती हैं, जो निराशाजनक रूप से क्षतिग्रस्त है ... मुझे लगता है कि मान्य-ए-ई-सेवा तब निश्चित रूप से काम में आएगी, लेकिन हमारे मामले में नहीं।

1) बैकअप - सिस्टम सेंटर डेटा प्रोटेक्शन मैनेजर 2012 SP1 की तरह विंडोज सर्वर 2012, बैकअप प्रक्रियाओं के संदर्भ में पूरी तरह से कटौती किए गए संस्करणों का समर्थन करता है। एक विशेष एपीआई भी उपलब्ध है जो तृतीय-पक्ष डेवलपर्स को डिडुप्लीकेशन तंत्र का उपयोग करने और समर्थन करने की अनुमति देता है, साथ ही साथ डुप्लीकेट अभिलेखागार से डेटा को पुनर्स्थापित करता है।

2) महत्वपूर्ण डेटा के लिए अतिरिक्त प्रतियां - जिस डेटा में सबसे अधिक बार पहुंच पैरामीटर होता है, अतिरिक्त बैकअप ब्लॉक बनाने की प्रक्रिया द्वारा किया जाता है - ये तंत्र एल्गोरिदम की विशेषताएं हैं। इसके अलावा, स्टोरेज स्पेस तंत्र का उपयोग करने के मामले में, जब एक बुरा ब्लॉक पाया जाता है, तो एल्गोरिथ्म स्वचालित रूप से दर्पण में एक जोड़ी से एक अभिन्न के साथ बदल देता है।

3) डिफ़ॉल्ट रूप से, सप्ताह में एक बार, कचरा और खराब ब्लॉकों को खोजने की प्रक्रिया शुरू की जाती है, जो अधिग्रहित विकृति विज्ञान के डेटा को सही करती है। इस प्रक्रिया को मैन्युअल रूप से एक गहरे स्तर पर शुरू करने का अवसर भी है। यदि डिफ़ॉल्ट प्रक्रिया इवेंट लॉग में दर्ज की गई त्रुटियों को ठीक करती है, तो एक गहरी प्रक्रिया में संपूर्ण वॉल्यूम को स्कैन करना शामिल है।

कहां से शुरू करें और कैसे मापें

समर्पण को चालू करने से पहले, एक सामान्य व्यक्ति हमेशा सोचता रहेगा कि यह तंत्र उसके विशेष मामले में कितना प्रभावी होगा। आप इसके लिए Deduplication Data Evaluation Tool का उपयोग कर सकते हैं।
समर्पण स्थापित करने के बाद, आप DDPEval.exe नामक एक उपकरण पा सकते हैं, जो कि \ Windows \ System32 \ में स्थित है - इस उपयोगिता को हटाने योग्य मीडिया या किसी अन्य वॉल्यूम में पोर्ट किया जा सकता है। समर्थित ओएस विंडोज 7 और उच्चतर। तो आप अपने डेटा का विश्लेषण कर सकते हैं और भेड़ की त्वचा के मूल्य को समझ सकते हैं। (स्माइल)।

इससे मेरी समीक्षा समाप्त होती है। मुझे आशा है कि आप रुचि रखते थे। यदि आपके कोई प्रश्न हैं - आप बेझिझक मुझे सोशल नेटवर्क पर पा सकते हैं - VKontakte, Facebook - नाम और उपनाम से - और मैं आपकी मदद करने की कोशिश करूंगा।
जो लोग विंडोज सर्वर 2012 में नई सुविधाओं के बारे में सीखना चाहते हैं, साथ ही साथ सिस्टम सेंटर 2012 SP1 - मैं सभी को IT शिविर की यात्रा के लिए आमंत्रित करता हूं - 26 नवंबर , टेकएड रूस 2012 की पूर्व संध्या पर यह कार्यक्रम आयोजित किया जाएगा - मैं जॉर्ज गैडिएम और साइमन पेरीमैन द्वारा आयोजित किया जाएगा, जो विशेष रूप से संयुक्त राज्य अमेरिका से हमारे लिए उड़ान भरता है।

आप आईटी शिविर और TechEd में मिलते हैं !

निष्ठा से,
आग लगाने वाला
जॉर्ज ए। गाज़ीव

Microsoft निगम