लिनक्स के लिए एक डिस्ट्रीब्यूटेड फाइल सिस्टम चुनना। सिफ और बाकी के बारे में कुछ शब्द

कई दर्जन फ़ाइल सिस्टम हैं, जिनमें से सभी डेटा संग्रहीत करने के लिए उपयोगकर्ता इंटरफ़ेस प्रदान करते हैं। प्रत्येक प्रणाली अपने तरीके से अच्छी है। हालांकि, प्रसंस्करण के लिए डेटा के उच्च भार और पेटाबाइट्स की हमारी उम्र में, यह पता लगाना काफी मुश्किल है कि आपको क्या चाहिए, आपको बस वितरित डेटा, वितरित भार, कई आरडब्ल्यू माउंट और अन्य क्लस्टर आकर्षण के बारे में सोचने की आवश्यकता है।


कार्य: एक वितरित फ़ाइल भंडारण को व्यवस्थित करें
- स्व-इकट्ठे गुठली के बिना, मॉड्यूल, पैच,
- आरडब्ल्यू मोड में कई बढ़ते की संभावना के साथ,
- POSIX संगतता,
- दोष सहिष्णुता,
- पहले से ही इस्तेमाल की जाने वाली प्रौद्योगिकियों के साथ संगतता,
- स्थानीय फ़ाइल सिस्टम की तुलना में I / O संचालन पर उचित ओवरहेड,
- विन्यास, रखरखाव और प्रशासन में आसानी।

हमारे काम में, हम Proxmox और OpenVZ कंटेनर वर्चुअलाइजेशन का उपयोग करते हैं। यह सुविधाजनक है, यह उड़ता है, इस समाधान में समान उत्पादों की तुलना में अधिक फायदे हैं। कम से कम हमारी परियोजनाओं के लिए और हमारी वास्तविकताओं में।
भंडारण खुद हर जगह एफसी पर मुहिम शुरू की है।

OCFS2

इस फाइल सिस्टम का उपयोग करने में हमें सफल अनुभव हुआ, हमने पहले इसे आजमाने का फैसला किया। Proxmox ने हाल ही में Redhat कर्नेल पर स्विच किया है, इसमें ocfs2 समर्थन बंद है। कर्नेल में एक मॉड्यूल है, लेकिन ओपनवेज़ और प्रॉक्समोक्स फ़ोरम इसका उपयोग करने की अनुशंसा नहीं करते हैं। हमने कोशिश की और कर्नेल का पुनर्निर्माण किया। मॉड्यूल संस्करण 1.5.0, डेबियन निचोड़, प्रॉक्समोक्स 2.0beta3, कर्नेल 2.6.32-6-pve पर आधारित 4 लोहे की मशीनों का एक समूह। परीक्षणों के लिए, तनाव का उपयोग किया गया था। कई सालों तक समस्याएं जस की तस रहीं। सब कुछ शुरू हुआ, इस झुंड को स्थापित करने में बल से आधे घंटे लगते हैं। हालाँकि, लोड के तहत, क्लस्टर अनायास गिर सकता है, जिससे एक बार में सभी सर्वरों पर कुल कर्नेल घबराहट होती है। परीक्षणों के दिन के दौरान, मशीनों ने कुल पांच बार रिबूट किया। इसका इलाज किया जाता है, लेकिन ऐसी प्रणाली को एक उपयोगी स्थिति में लाना काफी कठिन है। मुझे कर्नेल का पुनर्निर्माण भी करना पड़ा और ocfs2 को सक्षम करना पड़ा। माइनस।

GFS2

यद्यपि कर्नेल रेडहैट है, मॉड्यूल डिफ़ॉल्ट रूप से सक्षम है, हम इसे यहां भी शुरू करने में सक्षम नहीं हैं। यह प्रॉक्समॉक्स के बारे में है, जो दूसरे संस्करण से अपने स्वयं के क्लस्टर के साथ अपने विन्यास को संग्रहीत करने के लिए शतरंज और कवियों के साथ आया था। वहाँ cfs, gos2-tools से कॉरसिंक और अन्य पैकेज, केवल सभी विशेष रूप से pve के लिए बनाए गए हैं। इसलिए gfs2 के लिए स्नैप-इन को केवल पैकेज से बाहर नहीं रखा जाता है, क्योंकि यह पहले सभी प्रॉक्सोम को ध्वस्त करने की पेशकश करता है, जो हम नहीं कर सकते थे। नशे की लत के तीन घंटों में, मैं जीतने में कामयाब रहा, लेकिन फिर से कर्नेल आतंक समाप्त हो गया। हमारी समस्याओं को हल करने के लिए प्रॉक्समोक्स के लिए संकुल को अनुकूलित करने का प्रयास असफल रहा, दो घंटे के बाद इस विचार को छोड़ने का निर्णय लिया गया।

CEPH

हम उस पर रुक गए।

POSIX संगत, उच्च गति, उत्कृष्ट मापनीयता, कार्यान्वयन के लिए कई साहसिक और दिलचस्प दृष्टिकोण।

फ़ाइल सिस्टम में निम्नलिखित घटक होते हैं:


1. ग्राहक। डेटा उपयोगकर्ता।
2. मेटाडेटा सर्वर। वितरित मेटाडेटा कैश और सिंक्रनाइज़ है। मेटाडेटा का उपयोग करते हुए, क्लाइंट किसी भी समय जानता है कि उसे जिस डेटा की आवश्यकता है वह कहाँ स्थित है। मेटाडेटा सर्वर भी नए डेटा वितरित करते हैं।
3. वस्तुओं के भंडारण के लिए एक क्लस्टर। यहां, डेटा और मेटाडेटा दोनों को ऑब्जेक्ट के रूप में संग्रहीत किया जाता है।
4. क्लस्टर मॉनिटर। वे संपूर्ण प्रणाली के स्वास्थ्य की निगरानी करते हैं।

वास्तविक फ़ाइल I / O क्लाइंट और ऑब्जेक्ट स्टोरेज क्लस्टर के बीच होता है। इस प्रकार, उच्च-स्तरीय POSIX फ़ंक्शन (खोलने, बंद करने और नाम बदलने) का प्रबंधन मेटाडेटा सर्वरों का उपयोग करके किया जाता है, और सामान्य POSIX फ़ंक्शंस (पढ़ना और लिखना) को सीधे ऑब्जेक्ट स्टोरेज क्लस्टर के माध्यम से प्रबंधित किया जाता है।

व्यवस्थापक का सामना करने वाले कार्यों के आधार पर, कई घटक हो सकते हैं।

फ़ाइल सिस्टम को कर्नेल मॉड्यूल का उपयोग करके या FUSE के माध्यम से सीधे जोड़ा जा सकता है। उपयोगकर्ता के दृष्टिकोण से, सेफ फाइल सिस्टम पारदर्शी है। उनके पास बस एक विशाल डेटा स्टोरेज सिस्टम तक पहुंच है और मेटाडेटा सर्वर, मॉनिटर और व्यक्तिगत उपकरणों के बारे में पता नहीं है जो इसके लिए उपयोग किए जाने वाले बड़े भंडारण पूल को बनाते हैं। उपयोगकर्ता केवल एक माउंट पॉइंट देखते हैं जिस पर मानक फ़ाइल I / O संचालन किया जा सकता है। व्यवस्थापक के दृष्टिकोण से, क्लस्टर को पारदर्शी रूप से आवश्यकतानुसार कई घटकों, मॉनिटर, स्टोरेज, मेटाडेटा सर्वरों में जोड़कर विस्तार करना संभव है।

डेवलपर्स गर्व से सिफ इकोसिस्टम कहते हैं।


GPFS, चमक और अन्य फ़ाइल सिस्टम, साथ ही ऐड-ऑन, हमने इस समय पर विचार नहीं किया, वे या तो कॉन्फ़िगर करने में बहुत मुश्किल हैं, या वे विकसित नहीं होते हैं, या वे कार्य को फिट नहीं करते हैं।

विन्यास और परीक्षण

कॉन्फ़िगरेशन मानक है, सब कुछ सेफ विकी से लिया गया है। सामान्य तौर पर, फ़ाइल सिस्टम ने एक अच्छा प्रभाव छोड़ा। एसएएस और एसएटीए डिस्क (एफसी द्वारा ब्लॉक उपकरणों का निर्यात), एक्स 3 में विभाजन से 2 टीबी की एक सरणी को इकट्ठा किया गया था।
सेफ हार्डवेयर स्टोरेज 4 हार्डवेयर नोड्स पर 12 वर्चुअल मशीनों के अंदर रखा गया है, सभी माउंट पॉइंट्स से रीड-राइट। तनाव परीक्षण का चौथा दिन सामान्य रूप से गुजरता है, I / O औसत 75 mb / s पर जारी किया जाता है। शिखर रिकॉर्डिंग पर।

हमने अभी तक अन्य सिफ कार्यों पर विचार नहीं किया है (और अभी भी उनमें से बहुत सारे हैं), FUSE के साथ भी समस्याएं हैं। लेकिन यद्यपि डेवलपर्स चेतावनी देते हैं कि सिस्टम प्रयोगात्मक है, इसका उपयोग उत्पादन में नहीं किया जाना चाहिए, हम मानते हैं कि यदि आप वास्तव में चाहते हैं, तो आप कर सकते हैं -_-

मैं सभी इच्छुक, साथ ही सभी सहानुभूति रखने वालों से पीएम में पूछता हूं। विषय बहुत दिलचस्प है, हम समान विचारधारा वाले लोगों की तलाश कर रहे हैं जो उन समस्याओं पर चर्चा करें और उन्हें हल करने के तरीके खोजें।

संदर्भ:
- http://ru.wikipedia.org/wiki/Ceph
- परियोजना स्थल
- इस लेख को लिखने में प्रयुक्त एक संक्षिप्त अवलोकन