नेक्सेंटा ऑपरेटिंग अनुभव, या 2 महीने बाद

कुछ महीने पहले, हमने बड़े पैमाने पर वर्चुअलाइजेशन की जरूरतों के लिए नेक्सेंटा पर आधारित स्टोरेज सिस्टम लॉन्च किया था। हमने इसे एक अच्छे लोड के तहत रखा और न कि सब कुछ घड़ी की कल और एक किताब की तरह चला गया। जो लोग चौंकाने वाले विवरण और संचालन अनुभव में रुचि रखते हैं, उनके लिए मैं बिल्ली के लिए पूछता हूं।


आपको याद दिला दूं, Nexenta ZFS / OpenSolaris पर आधारित स्टोरेज सिस्टम के लिए एक ऐसा व्यावसायिक सॉफ्टवेयर है। वह बहुत सी चीजों को जानता है, लेकिन हमें उसकी वर्चुअलाइजेशन नोड्स केवीएम और हाइपर-वी / विंडोज 2008 एचए क्लस्टर के माध्यम से आईएससीएसआई के माध्यम से खिलाने की आवश्यकता है - कटौती, कैश और अन्य सभी जिंजरब्रेड कुकीज़ के साथ।
कार को फिट किया गया था, 300Gb SAS 15K के 36 डिस्क्स, 300Gb एसडीडी इंटेल 710 श्रृंखला (उस समय कहीं भी कूलर) और इतने पर मिला।

हमने सर्वर को इकट्ठा किया, नेक्सेंट को सेट किया। हमें इसके आधिकारिक भागीदारों के साथ नेक्सेंट्स, प्रमाणित इंजीनियरों द्वारा आपूर्ति की गई थी। सब कुछ शुरू हुआ, इसने काम किया। ख़ुशी से समर्पण पर मुड़ गया, आनन्दित। एक बाकाप सेट करें।

हमने हाइपर-वी / विंडोज 2008 आर 2 क्लस्टर से आभासी मशीनों को वहां स्थानांतरित करना शुरू कर दिया। लेकिन मुझे कहना होगा कि उनमें से कई हैं, कई सौ और उनका आकार छोटा नहीं है - औसतन 20 जीबी। 5GB हैं, और 200 हैं।

हमने क्लस्टर को विभाजित किया, पुराना एक पुराने डेटा सेंटर में था, और हमने नए क्लस्टर को नए में इकट्ठा किया। इसलिए, वे लैन के माध्यम से नहीं चले गए, लेकिन कई सौ मेगाबिट्स पर वीएलएएन के माध्यम से - 200 जीबी डिस्क के साथ एक वीएम के प्रवास में कई घंटों तक देरी हुई।

सबकुछ ठीक हो जाएगा, लेकिन हमने एक हफ्ते में पहला कैंट पकड़ लिया - जैसे ही हम नेक्सेंट चले गए , समर्पण तालिका के लिए स्मृति भाग गई। मुझे कहना होगा कि नेक्सेंट में, डिडुप्लीकेशन टेबल एक डिस्क पूल को संदर्भित करता है, न कि एक विशिष्ट वॉल्यूम को। यदि मेमोरी खत्म हो जाती है, तो इसका मतलब यह नहीं है कि स्मार्ट सिस्टम पहले से फैशन सुविधा को अक्षम कर देगा। एक स्मार्ट प्रणाली एक आदेश या दो से उत्पादकता में गिरावट के साथ एक स्तूप में जाएगी। यानी यदि पहले आप एक गीगाबिट पोर्ट के माध्यम से 80-90MB / s की गति से VM निकायों को निकालते हैं, तो अब यह 3-4MB / s और 200-300 IOPS होगा।

नतीजतन, नेक्सेंटे पूल में प्रत्येक एफएस ब्लॉक के लिए, कटौती तालिका के लिए लगभग 500 बाइट्स की आवश्यकता होती है। यदि हमारे पास 128GB मेमोरी सिस्टम में है, तो नेक्सेंटा 256,000,000 ब्लॉक के बारे में जानकारी स्टोर कर सकता है:
4K ब्लॉक पर अधिकतम कब्जे वाले पूल का आकार 1Tb, 16K ब्लॉकों पर - 4Tb, 32K ब्लॉकों पर - 8Tb और 64K ब्लॉकों पर - 16Tb है। दीवार पर लाल मार्कर के साथ इसे लिखें! विदेश जाओ और अलविदा बोनस =)

यदि ब्लॉक का आकार बहुत शुरुआत में सेट नहीं किया गया था, तो सही आकार के साथ एक नई मात्रा में माइग्रेट करने के अलावा , कुछ भी मदद नहीं करेगा । यदि आप समर्पण को बंद कर देते हैं, तो कुछ भी नहीं होगा। कटौती तालिका कहीं नहीं है, जिसमें मेमोरी शामिल है। तुम सब कर सकते हैं कटौती के बिना एक और नई मात्रा बनाने के लिए और पुराने एक की प्रतिलिपि बनाएँ। हां, यदि आपकी डीडी तालिका इस बिंदु पर भरी हुई है, तो इसे लगभग 3-4GB प्रति मिनट पर कॉपी किया जाएगा। हमारे मामले में, वॉल्यूम लगभग 4TB था, माइग्रेशन (zfs send / zfs प्राप्त) में लगभग 16 घंटे लगते थे। फिर हमने डिडुप्लीकेशन वॉल्यूम को मिटा दिया, कुछ घंटों के बाद कार को इतना हल्का महसूस हुआ कि हम सब कुछ ऑपरेशन में डाल पाए।

कृपया ध्यान दें कि हमारे पास वॉल्यूम पर खाली जगह थी - हम ऐसा कर सकते थे। लेकिन अगर डिस्क या सीमित लाइसेंस की कमी के कारण भंडारण के अंदर प्रवास के लिए पर्याप्त जगह नहीं है, तो चमत्कार और रोमांच की दुनिया में आपका स्वागत है। iSCSI इस स्थिति में बमुश्किल काम करता है और लगातार विंडोज़ से टाइमआउट से गिर जाता है, लिनक्स स्थिर रूप से ब्रेक को स्थानांतरित करता है। ब्लॉक डिवाइस को माउंट करना होगा और कई घंटों तक वहां से सामग्री को मर्ज करने की कोशिश करनी होगी, एक अन्य विकल्प नेक्सेंटा के साथ सर्वर में मेमोरी खत्म करना है (एक नियम के रूप में, मां को लहराने के लिए), ताकि वह अपने होश में आ जाए ...

ब्लॉक-स्तरीय समर्पण के बारे में अधिक। यह काम नहीं करता, इसे भूल जाओ। सैकड़ों क्लाइंट VMs के सरणी (sic!) 4Kb ब्लॉक पर पकड़। 3-4 टेम्पलेट्स से एकत्र किए गए, हमने उम्मीद की थी कि यह NetApp के बारे में एक किताब की तरह होगा, गुणांक 8-10 है। यह काम नहीं करता था, डिडअप अनुपात लगभग 2-3 था। यानी मूल संपीड़न को शामिल करने से एक समान परिणाम होता है - 40%। 8-10 बाधाओं को प्राप्त करने के लिए, आपको संभवतः रेंगने वाले आकार के ब्लॉक के साथ ऑफ़लाइन कटौती का उपयोग करना होगा। यह नए विंडोज 2012 या ONTAP के स्टोरेज पूल की तरह है।

आगे और भी। समर्पण को बंद कर दिया, सब कुछ शुरू हुआ। बड़े वॉल्यूम, प्रत्येक 7TB। हम पुराने क्लस्टर से नए तक हाइपर- V वीएम के प्रवास को जारी रखते हैं, हम MRTG पर ध्यान देते हैं - लिखने की गति कम हो जाती है। एकदम से नहीं, धीरे-धीरे। प्रति दोहे 50-60MB / s की गति से प्रति दिन प्रवास।

क्यों? फिर एक दूसरा जाम पॉप अप होता है, जो विपणन सामग्रियों में तुरंत वर्णित नहीं होता है। जैसे ही ZFS पूल भरा होता है, यह प्रदर्शन में भारी गिरावट आती है । 30% से अधिक खाली स्थान स्पष्ट नहीं है (लेकिन यह ग्राफ पर देखा जा सकता है), 30 से 10% से सब कुछ तीन बार धीमा काम करता है, और अगर अंतरिक्ष 10% से कम हो जाता है - सब कुछ परिमाण धीमे के एक क्रम में काम करता है।

नैतिकता, जगह पर नज़र रखें । यदि पूल पर कोई जगह नहीं बची है, तो यह एक आपदा होगी - आपको पूल को असामान्य रूप से डिस्क / अलमारियों / लाइसेंसों पर आराम करना होगा या पड़ोसी भंडारण / स्थानीय डिस्क नोड्स पर डेटा स्थानांतरित करना होगा। नेक्सेंटा अच्छा स्वास्थ्य महसूस करता है, अगर उसके पास 30% से अधिक मुक्त स्थान है - सर्वरों की गणना करते समय यह योजना बनाएं।

लेकिन यह सबसे अप्रिय नहीं है। सबसे अप्रिय बात यह है कि जब हाइपर- V कोरम डिस्क या 4TB के लिए पूरा क्लस्टर साझा वॉल्यूम खो देता है और तीन बड़े नोड्स को खिलाता है और किसी भी माध्यम से इसे नोड्स में से एक पर माउंट करना असंभव है। इस तरह के जादुई परिणाम कैसे प्राप्त करें: एक सीएसवी वॉल्यूम पर विंडोज के तहत सैकड़ों वीएम डालें, उन्हें शुरू करें और इस वॉल्यूम में कई और वीएम माइग्रेट करना शुरू करें। सबसे पहले, सब कुछ तेजी से कॉपी किया जाता है, फिर कॉपी प्रक्रिया फ्रीज हो जाती है, और फिर सीएसवी बंद हो जाता है। हां, पूरे क्लस्टर पर। उसी समय, लक्ष्य दिखाई देंगे, लेकिन आप उनसे वॉल्यूम को माउंट नहीं कर सकते।

कुछ मामलों में, इसे वापस माउंट किया जा सकता है, और कुछ मामलों में, एमएस और नेक्सेंटा समर्थन के साथ दैनिक संचार के बाद, पूर्व क्लस्टर के नोड्स में से एक पर माउंट करना संभव होगा, जिस पर .vhd फाइलें स्थित हैं - बिना कॉन्फ़िगरेशन के। फिर आप उन्हें उपरोक्त गति के साथ नोड्स की अच्छी पुरानी हार्ड ड्राइव पर कॉपी कर पाएंगे और एक बार में हाइपर-वी पेन में बदल देंगे।

यह केवल हाइपर-वी / विंडोज 2008 आर 2 पर लागू होता है और केवीएम पर लागू नहीं होता है। यह स्टारविंड पर लागू नहीं होता है - यह इस मोड में आसानी से काम करता है। हमारी राय यह है कि iSCSI विंडोज 2008 और नेक्सेंट एक दूसरे के साथ पूरी तरह से संगत नहीं हैं, बड़े पैमाने पर समानांतर लिखते हैं / ताले, टाइमआउट और क्रैश को पढ़ते हैं। किसी ने भी हमें दोनों कंपनियों के समर्थन में कुछ भी समझदारी से नहीं बताया। फ़ोरम कहते हैं कि कुछ पैच विंडोज को कुछ मामलों में मदद करते हैं, कि LUN प्रकार को बदलने की आवश्यकता है, आदि।

इसके अलावा, नेक्सेंट पर सिस्टम के अपग्रेड को इसके रिबूट की आवश्यकता है। यदि भंडारण से कोई अत्यधिक सुलभ क्लस्टर नहीं है, तो तकनीकी कार्य की घोषणा करने के लिए तैयार हो जाएं या सभी वीएम को पड़ोसी स्टोरेज में स्थानांतरित करें। इसे ध्यान में रखें, नेक्सेंटा के संस्करणों के बीच चैंज बहुत बड़ा है।
इसके अलावा, नेक्सेंटा डिस्क पूल को समान रूप से एक ही छापे समूह में इकट्ठे हुए डिस्क से मिलकर बनाना चाहिए। आप इन समूहों का विस्तार जारी नहीं रख सकते हैं या उनमें छापे का प्रकार नहीं बदल सकते हैं।

सामान्य तौर पर, 2 महीने के काम के बाद नेक्सेंटा के इन छापों के बारे में। अब हमारे पास लिनक्स वर्चुअलाइजेशन है जो काफी आसानी से और जल्दी से नेक्सेंटा के साथ काम कर रहा है। विंडोज 2012 कलस्टर स्टारविंड के साथ काम करता है और हम अत्यधिक सुलभ सीएसवी को व्यवस्थित करने के लिए स्टोरेज पूल एसएमबी 3.0 के तंत्र और गति का परीक्षण कर रहे हैं। हां, ऑफ़लाइन समर्पण वहां काम करता है और हम अच्छा अंतर देखते हैं, लेकिन यह एक और लेख का विषय है।

सामान्य प्रदर्शन कारणों और IO पैटर्न के लिए। वीपीएस कार्यों के लिए, पूल में एसएएस डिस्क की आवश्यकता नहीं है, हम प्रत्येक 1 टीबी के 12 एसएटीए डिस्क होते। हमने योजना बनाई कि सबकुछ समर्पण के साथ होगा, लेकिन यह बिना बदले चला गया। अगर उन्हें पहले से पता होता तो वे पैसे बचाते। डिस्क मॉनिटर वहां सुविधाजनक है, यह तुरंत दिखाता है कि डिस्क में कितने ऑपरेशन हैं। कैश में एसएसडी एक सर्वर वर्ग होना चाहिए, इसमें पढ़ने और लिखने दोनों पर लगातार गंभीर भार होता है।

और आप टीबी के दसियों संस्करणों के साथ लोड के तहत नेक्सेंटा को कैसे संचालित करते हैं? बिना भार के, हर कोई सुंदर है।