क्लाउड इंफ्रास्ट्रक्चर के लिए ZFS फाइलर - NexentaStor

Stordata से Megafon के मुख्य डेटा सेंटर के Hostkey के परिवर्तन और Windows के लिए मुख्य वर्चुअलाइजेशन प्लेटफ़ॉर्म और ट्रांज़िशन के स्थानांतरण के संबंध में, हमें iSCSI / NFS / SMB को क्लस्टर्स के लिए और निजी क्लाउड / क्लस्टर्स को व्यवस्थित करने के लिए अपने क्लाइंट को जारी करने के लिए एक नया उच्च-प्रदर्शन फ़ाइलर बनाना था। हमने NexentaStor को चुना और कार्यान्वित किया और यह वही है जो इसके बारे में आया और हमने इसे कैसे किया।

पिछले शुक्रवार को, हमने सोलुसवीएम के माध्यम से 180 आईपीएस को तैनात करने के साथ अनुभव के बारे में बात की, जो कि संसाधनों के सूक्ष्म आवंटन की कमी को छोड़कर हम सभी को पसंद आया। लिनक्स के साथ KVM और हाइपर- V विंडोज सर्वर 2012 पर आधारित क्लस्टर की निर्बाध सेवा सुनिश्चित करना हमारे लिए महत्वपूर्ण था।

पिछले 2 वर्षों से, हमने स्टारविंड में अलग-अलग सफलता के साथ काम किया है। परिवर्तनीय सफलता यह थी कि हाइपर-वी (जैसा कि नियोजित) के लिए दो समकक्ष फाइलरों के एक अत्यधिक सुलभ क्लस्टर को भूल जाना पड़ा - सप्ताह में एक बार गिर गया। नतीजतन, यह केवल प्राथमिक और बैकअप के साथ काम करने के लिए अधिक या कम विश्वसनीय हो गया, जहां अतुल्यकालिक प्रतिकृति की गई। MPIO सेटिंग्स का उपयोग करते हुए, हमने हाइपर-वी क्लस्टर को क्रैश के अलावा सभी मामलों में बैकअप फाइलर का उपयोग करने से हतोत्साहित किया, लेकिन कभी-कभी लक्ष्य खुद ही आर्क फिलर पर क्रॉल हो जाते हैं।

एक और माइनस यह है कि आप पहले से बनाए गए वॉल्यूम के साथ कुछ भी नहीं कर सकते हैं: न तो माइग्रेट करें, न ही विस्तार करें, सेटिंग्स बदलें, आदि। यदि वॉल्यूम में लगभग 8 टीबी का आकार है और 1000 से 2000 आईओपीएस के निरंतर लोड के तहत, यह एक समस्या है, और प्रत्येक माइग्रेशन मासिक तैयारी और प्रतिस्थापन सर्वर के साथ एक व्यवस्थापक का बुरा सपना है। सभी प्रकार की छोटी चीजें जैसे कि पुनरुत्थान, जिसमें लगभग 3 दिन लगते हैं, मौत की नीली स्क्रीन, अस्थिर समर्पण आदि। इसे कोष्ठक से बाहर छोड़ दें। समर्थन के माध्यम से समस्या की तह तक पहुंचने का प्रयास - एक मृत संख्या, लॉग और मौन या एक स्लेव्ड उत्तर भेजें जो घटना के सार को प्रतिबिंबित नहीं करता है। कोई भी उन्नत संस्करण == पुनः लोड लक्ष्य == 2-3 दिनों के लिए पुन: सिंक्रनाइज़ेशन == दुःस्वप्न।

सिस्टम विंडोज सर्वर 2008 मानक संस्करण पर चलता है। 2 प्रोसेसर के साथ 2 कारें, प्रत्येक SPLA के लिए प्रति माह ~ 2000 रूबल। 48,000 रूबल एक वर्ष। हमारे 8TB हा लाइसेंस के लिए समर्थन अभी भी लगभग 60,000 रूबल है। कुल, सबसे बुनियादी TCO प्रति वर्ष लगभग 100000r।

Neksenta

हमने लंबे समय तक एक विकल्प की खोज की और ZFS / ओपन सोलारिस पर आधारित NexentaStor सिस्टम को करीब से देखना शुरू किया (हां, मुझे पता है कि सोलारिस वहां काफी खुला नहीं है, यह उस बारे में नहीं है)। नेक्सेंटा को एक सक्षम छोटा स्थानीय साथी मिला जिसने हमें सब कुछ सेट करने में मदद की, आवश्यक कॉन्फ़िगरेशन का सुझाव दिया और सब कुछ सेट किया जैसा कि उसे चाहिए। परीक्षण की शुरुआत से लेकर लॉन्च तक सब कुछ होने में लगभग एक महीने का समय लगा।

मैं ZFS के सिद्धांत पर स्पर्श नहीं करूंगा, इसके बारे में बहुत सारे पोस्ट लिखे गए हैं।

मैं तुरंत कहना चाहता हूं - HCL (हार्डवेयर संगतता सूची) हमारी सब कुछ है। उसमें बताई गई किसी चीज को डालने की कोशिश भी न करें, कोई खुशी नहीं होगी। अपनी मशीनों के 1000 के बेड़े के साथ एक होस्ट के रूप में, यह हमारे लिए अपेक्षाकृत सरल था - वह स्पेयर पार्ट्स या एक निशुल्क सर्वर के साथ कैबिनेट में चढ़ गया और एक वैकल्पिक भाग प्राप्त किया। एक त्रुटि के मामले में कॉर्पोरेट क्लाइंट के लिए यह आसान नहीं होगा। सोलारिस के पास अन्य लोकप्रिय ओएस के रूप में कई ड्राइवर नहीं हैं।
8TB और समर्थन के लिए लाइसेंस हमें $ 1,700 की लागत देता है, 18TB के लिए समर्थन के बिना एक मुफ्त संस्करण है। सभी समान, लेकिन उपयोगी और आवश्यक प्लग-इन के बिना। TCO - केवल एक समर्थन अनुबंध, प्रति वर्ष लगभग 30000r। हम खरोंच से बचाते हैं 70000r।

हमारे सहयोग का परिणाम निम्नलिखित विन्यास का सर्वर था:

materiel

विशेष सुपरमाइक्रो फिलर, सुपरचैसिस 847E16 ।

4U, निरर्थक बिजली की आपूर्ति, 36 3.5 ”के दोनों किनारों पर गर्म-स्वैप ड्राइव, 2 उच्च-गुणवत्ता वाले बैकप्लेन, बड़े प्रशंसकों को बदलने की क्षमता और 8 कम प्रोफ़ाइल वाले विस्तार कार्ड के साथ एक मानक मां के लिए जगह।
सुपरमाइक्रो मदरबोर्ड, 2x s1366, 6xPCIe 8x, 2xSAS 2.0, 2x Xeon E5520, 192Gb DDR3 LV RAM प्रोसेसर।
3 LSI HBA LSI9211-8i कंट्रोलर - नेक्सांटे को RAID के बिना, खुद ड्राइव की जरूरत है
1 एलएसआई एचबीए एलएसआई 9200-8 ई नियंत्रक - एसएएस पर डिस्क अलमारियों द्वारा विस्तार के लिए।
SSD को जोड़ने के लिए 4 पोर्ट के साथ 1 Adaptec कंट्रोलर
2 एसएफपी + पोर्ट के लिए 1 10G इंटेल 520 नेटवर्क एडाप्टर, कॉपर डायरेक्ट-कनेक्टेड मॉड्यूल के माध्यम से, हम इसके माध्यम से स्विच के साथ काम करते हैं

ड्राइव - 35x हिताची अल्ट्रास्टार एसएएस 300 जीबी 15K
एक पोर्ट पर दो छोटे 2.5 के साथ एजस्टार हॉट स्वैप बॉक्स का कब्जा है। ZFS लॉग्स (ZIL) को स्टोर करने के लिए SSD ड्राइव्स, उपभोग्य सामग्रियों को आसानी से और बस बदला जाना चाहिए (और बॉक्स सिर्फ 3.5 की तरह स्लॉट में प्रवेश करता है)। बॉक्स Adaptek से जुड़ा है।
300Gb सर्वर वर्ग Intel 710 पर एक SSD, यह केंद्रीय कैश ZFS है। घर उपयुक्त नहीं हैं, वे एक समय में बाहर जला देते हैं। Adaptek से जुड़ा।
नेक्सेंटा में रैम में कैश होता है और मेमोरी में डिडुप्लीकेशन टेबल और मेटाडाटा होता है। याददाश्त जितनी बेहतर होगी। हमने अधिकतम, 12x16Gb = 192 पर सेट किया है।
इवेंट बजट: ~ 350 000 रगड़।

नेटवर्क का वातावरण

हमारे पास Intel 520 नियंत्रक पर मदरबोर्ड 2 गीगाबिट पोर्ट और 2 10G पोर्ट हैं। 10G पोर्ट सिस्को 2960S स्विच - 24 1G पोर्ट और 2 10G पोर्ट, SFP + (~ 90000) से जुड़े हैं। वे तांबा एसएफपी + डायरेक्ट कनेक्ट के माध्यम से जुड़े हुए हैं, यह सस्ती है - एसएफपी + कनेक्टर्स के साथ प्रति मीटर 1000r के बारे में।
निकट भविष्य में, एक चरम शिखर सम्मेलन 640 स्विच 48 10G SFP + पोर्ट (~ 350,000r) के साथ हमारे पास आएगा, फिर हम फाइलर को वहां स्थानांतरित करेंगे और 1G द्वारा इसे कम करने के लिए Tsiska का उपयोग करेंगे।

विभाजन डिस्क

जैसा कि यह निकला, सबसे विश्वसनीय तरीका RAID50 का एनालॉग है, डिस्क के ट्रिक्स को RAIDZ1 में इकट्ठा किया जाता है और उन सभी को साझा डिस्क पूल में जोड़ा जाता है। उनके लिए कई हॉट-स्वैप ड्राइव जोड़े जाते हैं। जैसा कि आप जानते हैं, जेडएफएस में एक विशेष स्क्रब रीड विधि है, जो अपने खाली समय में डिस्क की वास्तविक सामग्री को ब्लॉक के चेकसम के साथ जांचती है और यदि इसमें कोई अंतर पाया जाता है, तो वह इसे तुरंत ठीक कर देता है। यदि बहुत सारी त्रुटियां हैं, तो डिस्क सरणी से बाहर चली जाती है, और इसके स्थान पर एक बैकअप डाला जाता है।

प्रबंध

सहज ज्ञान युक्त वेब इंटरफेस के माध्यम से सामान्य ऑपरेशन। सरल सिंटैक्स और सामान्य ZFS प्रबंधन कमांड के साथ एक कंसोल है। वेब, सांख्यिकी, iSCSI / NSF / SMB लक्ष्य पीढ़ी, आरोह बिंदु का निर्माण और प्रबंधन। यहाँ, बस सबसे महत्वपूर्ण बात यह है कि हमने नेक्सेंट को क्यों लिया - पतली प्रावधान और कटौती। वर्चुअलाइजेशन की दुनिया में, समर्पण सब कुछ है - प्रत्येक 10Gb विंडोज VPS के सैकड़ों में, स्थान लगभग समान हैं। नपुंसक में, वे ब्लॉक स्तर पर एक साथ आते हैं।

इसके अलावा, ग्राहक वायरलोक के लिए बड़े डिस्क का ऑर्डर करते हैं और उन्हें पूरी तरह से उपयोग नहीं करते हैं। OS के साथ औसत उपयोग लगभग 15G है। नेक्सेंट में, हम एक मनमाना आकार के साथ एक आभासी iSCSI लक्ष्य (ISCSI पर साझा माउंट बिंदु) बना सकते हैं, उदाहरण के लिए, 500T। यह डिस्क उपयोग को प्रभावित नहीं करता है, क्योंकि नया डेटा वहां दिखाई देता है - अंतरिक्ष बर्बाद हो जाता है।

नए डिस्क को जोड़कर किसी भी समय पूल की क्षमता का विस्तार किया जा सकता है। पारंपरिक नियंत्रक पर 10Tb की क्षमता के साथ RAID6 का विस्तार करते समय यह एक नाटकीय घटना नहीं है, आप बस अधिक डिस्क जोड़ते हैं और सिस्टम उनका उपयोग करना शुरू कर देता है। कुछ भी पुनर्निर्माण नहीं किया गया है, डेटा कहीं भी स्थानांतरित नहीं किया गया है।

नेक्सेंटा यह कैसे महसूस करता है और खुद के लिए काम करता है पर पूर्ण आँकड़े देता है - यहां प्रोसेसर लोड, नेटवर्क इंटरफेस, मेमोरी, कैश, डिस्क द्वारा असहमति, डिस्क / लक्ष्य द्वारा आईओपीएस, आदि।

बैकअप

प्रकृति ZFS - स्नैपशॉट की सादगी। सिस्टम किसी दिए गए अंतराल पर माउंट बिंदुओं से चित्र ले सकता है और उन्हें बाहरी भंडारण पर संग्रहीत कर सकता है। आप आसन्न पक्ष के साथ अतुल्यकालिक प्रतिकृति कर सकते हैं। वर्चुअलाइजेशन की प्रयुक्त प्रणाली के माध्यम से आभासी मशीनों को स्वयं बेक किया जा सकता है।

उत्पादकता

हां, 10 जी और बहु-स्तरीय भंडारण लगभग चमत्कार करते हैं। Windows 2008 मानक संस्करण से परीक्षण पर एक मानक iSCSI सर्जक और एक Qlogic कार्ड के साथ खड़ा है, हमें लगभग 2-4 एमएस की देरी, लगभग 700-800 एमबी प्रति सेकंड के रैखिक स्थानान्तरण और 16 अनुरोधों की कतार की गहराई पर पढ़ने के लिए 31,000 से अधिक आईओपीएस प्राप्त हुए। लगभग 25,000 प्रति IOPS रिकॉर्ड था, लेकिन हमारे बड़े पैमाने पर वर्चुअलाइजेशन वातावरण में, प्रति रिकॉर्ड पढ़ने के बारे में 1 में 10. संदर्भित करता है। हमारे पास लगभग 3,000 IOPS प्रति पंक्ति है। परीक्षणों के लिए फ़ाइल का आकार गति को प्रभावित नहीं करता है, आप कम से कम 1T बना सकते हैं।
जैसे-जैसे डिस्क भरती जाती है और लोड बढ़ता जाता है, हम और डिस्क जोड़ते जाएंगे, जिससे गति और स्थान जुड़ते जाएंगे।

के उपयोग

इस समाधान का मुख्य उद्देश्य क्लस्टर साझा किए गए वॉल्यूम के लिए Windows Server 2012 के अत्यधिक सुलभ क्लस्टर में iSCSI लक्ष्य भेजना है और LVM को व्यवस्थित करने के लिए SolusVM के तहत काम करने वाले KVM नोड्स के साथ जिसमें हम काम कर रहे हैं। डेडुप्लीकेशन और ऊपर वर्णित सभी बन्स हमें एक उत्कृष्ट स्तर पर कीमतें रखने की अनुमति देते हैं।

दूसरा उद्देश्य iSCSI लक्ष्य सेवा के साथ ग्राहकों को पे-ए-यू-गो सेवा के रूप में प्रदान करना है, ताकि हमारे ग्राहकों को क्लस्टर बनाने के लिए अपने स्वयं के फाइलर बनाने की आवश्यकता न हो। चूंकि हम 4 घंटे के लिए SLA के साथ बड़े समर्पित सर्वरों के विशेषज्ञ हैं, हम जानते हैं कि उन्हें क्यों लिया जाता है। केंद्रीयकृत बुनियादी ढांचे के उपयोग के माध्यम से गंभीरता से बचत करना संभव होगा।

अब हम 1GB, और 10GB की गति से लक्ष्य वितरित कर सकते हैं। क्लाइंट लक्ष्य स्वचालित रूप से स्नैपशॉट और संग्रह संग्रहण के लिए दोहराया जाता है।

मुझे उम्मीद है कि यह पोस्ट उपयोगी होगी और बहु-स्तरीय बजट वाल्ट के लिए एक समाधान चुनने पर रेक से बचने में मदद करेगी। हम काम करेंगे, मैं टिप्पणियों को लिखूंगा। हम टिप्पणियों के लिए तत्पर हैं और HOSTKEY में आपका स्वागत है।