s3ql - क्लाउड स्टोरेज के आधार पर फाइल सिस्टम

विवरण

S3QL का उपयोग करके, आप Selectel Storage क्लाउड स्टोरेज के आधार पर एक फाइल सिस्टम बना सकते हैं जिसे OS Linux, FreeBSD या Mac OS X के किसी भी आधुनिक संस्करण पर लगाया जा सकता है।

अवसरों

पारदर्शिता

S3QL व्यावहारिक रूप से स्थानीय फ़ाइल सिस्टम से अप्रभेद्य है। यह हार्डलिंक, सिमलिंक, मानक सिस्टम अनुमतियां, विस्तारित विशेषताएँ और आकार में 2TB तक की फ़ाइलों का समर्थन करता है।

गतिशील आकार

फ़ाइल सिस्टम का आकार सीमित नहीं है, यह तब बढ़ता है जब डेटा सहेजा जाता है और इसे हटाए जाने के बाद घट जाता है। कैश्ड डेटा को स्थानीय ड्राइव पर संग्रहीत किया जाता है।

दबाव

क्लाउड स्टोरेज में सेव करने से पहले, डेटा को संकुचित किया जा सकता है (lzma, bzip2, zlib समर्थित)।

एन्क्रिप्शन

संपीड़न के बाद (लेकिन भंडारण में लोड करने से पहले), डेटा को 256 बिट कुंजी के साथ एईएस एन्क्रिप्शन एल्गोरिथ्म के साथ एन्क्रिप्ट किया जा सकता है। बाह्य हेरफेर से डेटा की सुरक्षा के लिए एक वैकल्पिक SHA256 HMAC चेकसम का भी उपयोग किया जाता है।

डेटा डिडुप्लीकेशन

यदि कई फ़ाइलों में समान सामग्री है, तो डुप्लिकेट डेटा केवल एक बार दर्ज किया जाएगा, जो आपको न्यूनतम कब्जे वाली मात्रा के साथ समान डेटा की एक बड़ी संख्या को प्रभावी रूप से संग्रहीत करने की अनुमति देता है। यह कार्यक्षमता संपूर्ण फ़ाइलों और डेटा के ब्लॉक दोनों पर काम करती है जो विभिन्न फ़ाइलों में दोहराई जाती हैं।

कॉपी-ऑन-राइट / स्नैपशॉट

S3QL अतिरिक्त डिस्क स्थान की आवश्यकता के बिना पूरी निर्देशिका को जल्दी से कॉपी कर सकता है। केवल किसी एक प्रति में परिवर्तन करते समय, परिवर्तित डेटा अतिरिक्त स्थान लेगा।

परिवर्तन के खिलाफ डेटा संरक्षण

आप निर्देशिकाओं के लिए बदलते डेटा को प्रतिबंधित कर सकते हैं, उदाहरण के लिए, बैकअप को संग्रहीत करने के लिए जो आकस्मिक विलोपन से सुरक्षित होगा।

नेटवर्क विलंबता की परवाह किए बिना उच्च प्रदर्शन

संरचना को बदलने (निर्देशिका बनाने, फ़ाइलें चलाने और अनुमतियाँ बदलने) से संबंधित ऑपरेशन बहुत तेज़ हैं, क्योंकि उन्हें नेटवर्क इंटरैक्शन की आवश्यकता नहीं है।

धीमा लिंक समर्थन

S3QL फ़ाइलों की सामग्री को छोटे ब्लॉकों में विभाजित करता है और उन्हें स्थानीय रूप से कैश करता है, जो डेटा को पढ़ने और लिखने के लिए नेटवर्क कॉल की संख्या को कम करता है, और हस्तांतरित डेटा की मात्रा को भी कम करता है, क्योंकि केवल परिवर्तित डेटा ब्लॉक नेटवर्क पर प्रेषित होते हैं।

स्थापना

S3ql पैकेज डेबियन (सिड) और उबंटू रिपॉजिटरी में उपलब्ध है, जिसकी स्थापना केवल apt-get install s3ql को चलाने के लिए उबलती है।
यदि आपके पास रिपॉजिटरी में यह पैकेज नहीं है या आप इसके संस्करण से खुश नहीं हैं, तो आप हमेशा निर्देशों का उपयोग करके इसे मैन्युअल रूप से इंस्टॉल कर सकते हैं।

फ़ाइल सिस्टम निर्माण

mkfs.s3ql swift://auth.selcdn.ru/container
डिफ़ॉल्ट रूप से, सभी इनोड्स को 10 एमबी के ब्लॉक में विभाजित किया जाता है, यह पैरामीटर सेट किया जा सकता है - अधिकतम-ओबज-आकार फ़ाइल सिस्टम। फ़ाइल सिस्टम बनाने के बाद, इस पैरामीटर को बदला नहीं जा सकता है।
इसके अलावा, डिफ़ॉल्ट रूप से, फ़ाइल सिस्टम बनाते समय, आपको डेटा एन्क्रिप्ट करने के लिए पासवर्ड दर्ज करना होगा, लेकिन अगर आपको एन्क्रिप्शन की आवश्यकता नहीं है, तो आप --plain विकल्प को निर्दिष्ट कर सकते हैं और फिर डेटा एन्क्रिप्ट नहीं किया जाएगा, जो फ़ाइल सिस्टम के प्रदर्शन को बढ़ा सकता है।

बढ़ते

क्लाउड स्टोरेज कनेक्ट करना बहुत सरल है:
mount.s3ql swift://auth.selcdn.ru/container /mnt/container

दबाव

फ़ाइल सिस्टम बढ़ते समय, आप आवश्यक डेटा कम्प्रेशन एल्गोरिथ्म निर्दिष्ट कर सकते हैं, लेकिन आपको यह समझना चाहिए कि डेटा को सहेजते समय कंप्रेशन, प्रोसेसर पर लोड जितना अधिक और गति कम होगी। संपीड़न एल्गोरिदम एक दूसरे से संबंधित हैं: lzma धीमा है, लेकिन bzip2 के सापेक्ष बेहतर संपीड़न है, और bzip2, बदले में, zlib के सापेक्ष बेहतर संपीड़न है, लेकिन इसकी तुलना में धीमा है। अधिकतम फ़ाइल सिस्टम प्रदर्शन के लिए, नेटवर्क बैंडविड्थ के आधार पर एक संपीड़न एल्गोरिदम चुनना सबसे अच्छा है

कैशिंग

S3QL तेजी से पहुंच के लिए एक स्थानीय फ़ाइल सिस्टम डेटा कैश का समर्थन करता है। कैश डेटा ब्लॉक पर आधारित है, इसलिए यह संभव है कि फाइलों के कुछ हिस्से कैश में हों।

अतिरिक्त टीमें

s3qladm - एन्क्रिप्शन के लिए पासवर्ड बदलने, फ़ाइल सिस्टम को अपडेट करने, सभी डेटा को हटाने और रिपॉजिटरी से मेटाडेटा डाउनलोड करने के लिए उपयोग किया जाता है;
fsck.s3ql - कभी-कभी स्टोरेज से नेटवर्क कनेक्शन खोने के बाद या s3ql क्रैश होने के बाद, फ़ाइल सिस्टम की जांच करना आवश्यक है, जिसके बिना आगे बढ़ने की कोई संभावना नहीं है;
s3qlcp - आपको उसी s3ql फ़ाइल सिस्टम के भीतर निर्देशिकाओं को दोहराने की अनुमति देता है;
s3qlctrl - घुड़सवार फ़ाइल सिस्टम की वर्तमान सेटिंग्स का प्रबंधन करने के लिए, उदाहरण के लिए, कैश आकार और लॉगिंग स्तर, और फ्लशचैफ़ के जबरन निष्पादन और रिपॉजिटरी में मेटा डेटा को लोड करने की भी अनुमति देता है;
s3qllock - फ़ोल्डर्स को अपरिवर्तनीय बनाता है;
s3qlrm - s3ql फ़ाइल सिस्टम पर फ़ाइलों और निर्देशिकाओं को पुन: हटाता है, उन निर्देशिकाओं को भी हटा सकता है जिन्हें अपरिवर्तनीय के रूप में चिह्नित किया गया है;
s3qlstat - एक माउंटेड फ़ाइल सिस्टम के लिए आंकड़े प्रदर्शित करता है।

अनमाउंट

umount.s3ql /mnt/container
केवल उपयोगकर्ता जो इसे या रूट माउंट करता है, वह फ़ाइल सिस्टम को अनमाउंट कर सकता है। जब अनमाउंटिंग, अतिरिक्त डेटा को स्टोरेज में लोड किया जाता है जो अभी तक रिकॉर्ड नहीं किया गया है - डाउनलोड पूरा होने तक कमांड को ब्लॉक किया जाता है।

परिणाम

आकर्षण आते हैं

• ग्राहक पक्ष पर एन्क्रिप्शन, जो भंडारण में पूरी तरह से एन्क्रिप्टेड डेटा का भंडारण सुनिश्चित करता है;
• डेटा कटौती का उपयोग करके, आप पारंपरिक दृष्टिकोण के सापेक्ष क्लाउड में डेटा संग्रहीत करने की लागत को कम कर सकते हैं;
• डेटा कैशिंग भंडारण के लिए आउटबाउंड यातायात की लागत को कम कर सकता है।

कमियों

• एकाधिक बढ़ते (एक साथ विभिन्न मशीनों पर) की कोई संभावना नहीं है।

PS s3ql के साथ अधिक विस्तृत परिचित के लिए, आप इसके प्रलेखन का उपयोग कर सकते हैं

लेख का स्रोत ।