क्वांटकास्ट फाइल सिस्टम और इसका छोटा अवलोकन

सूचना प्रौद्योगिकी के विकास के साथ, बड़ी मात्रा में सूचनाओं के भंडारण और प्रसंस्करण की आवश्यकता बढ़ रही है। वितरित फ़ाइल सिस्टम का उपयोग बड़ी मात्रा में डेटा संग्रहीत करने के लिए किया जाता है। इन फ़ाइल सिस्टमों में से एक पर इस लेख में चर्चा की जाएगी।
परियोजना पर काम करते समय, मुझे बड़ी मात्रा में डेटा स्टोर करने की आवश्यकता का सामना करना पड़ा। सी ++ में लिखित परियोजना के कार्यक्रमों में से एक, बड़ी मात्रा में आंकड़े उत्पन्न करता है, जिसे आगे कहीं संग्रहीत किया जाना चाहिए। एक सर्वर पर स्वायत्त रूप से काम करते हुए, इस तरह के कार्यक्रम से सैकड़ों गीगाबाइट जानकारी उत्पन्न होती है, और भविष्य में, केवल उत्पन्न जानकारी की मात्रा में वृद्धि की भविष्यवाणी की जाती है।

तदनुसार, सवाल उठता है - यह सारा डेटा कहां स्टोर करना है? यदि आप उत्तर में डेटा स्टोर करते हैं जहां प्रोग्राम चल रहा है, तो डिस्क स्थान बहुत जल्द समाप्त हो जाएगा। यह स्पष्ट हो गया कि डेटा को स्टोर करने के लिए वितरित फ़ाइल सिस्टम का उपयोग करना आवश्यक है, लेकिन केवल एक ही? इंटरनेट पर Googling हम विभिन्न वितरित फ़ाइल सिस्टम पाते हैं, लेकिन देखो अनैच्छिक रूप से नए वितरित फ़ाइल सिस्टम QFS (क्वांटकास्ट फाइल सिस्टम) पर रुक जाता है। आइए समझते हैं क्यों। QFS (क्विक फाइल सिस्टम) के साथ भ्रमित न हों - सन माइक्रोसिस्टम्स की एक फाइल प्रणाली।

QFS (क्वांटकास्ट फाइल सिस्टम) क्या है

क्वांटकास्ट फाइल सिस्टम (क्यूएफएस) एक उच्च-प्रदर्शन, दोष-सहिष्णु, वितरित फाइल सिस्टम है, जिसे मैपआरड्यूस तकनीक और अन्य बड़ी अनुक्रमिक फ़ाइल पढ़ने और लिखने के अनुप्रयोगों के समर्थन के लिए डिज़ाइन किया गया है।

QFS एक खुला स्रोत वितरित फ़ाइल सिस्टम है जिसे अपाचे 2.0 लाइसेंस के तहत वितरित किया गया है, जो क्वांटकास्ट द्वारा विकसित किया गया है और एचडीएफएस के विकल्प के रूप में प्रस्तुत किया गया है। यह KFS (कोस्मोस फाइल सिस्टम) से बनाया गया था, जिसे क्वांटकास्ट ने माध्यमिक भंडारण के लिए उपयोग करना शुरू किया। 2011 में, उन्होंने कोर डेटा प्रोसेसिंग को QFS में स्थानांतरित कर दिया और HDFS का उपयोग करना बंद कर दिया। अगले वर्ष, उन्होंने 4 से अधिक सूचनाओं को दर्ज किया और पढ़ा, जो प्रकाशन के लिए उत्पाद की तत्परता की गारंटी बन गया। सितंबर 2012 में, QFS 1.0 जारी किया गया था। फ़ाइल सिस्टम कोड अब github.com/quantcast/qfs पर उपलब्ध है

क्वांटकास्ट के बारे में थोड़ा विकिपीडिया से

क्वांटकास्ट एक वेब एनालिटिक्स कंपनी है जो एक स्वतंत्र ऑडियंस मीटर के रूप में कार्य करती है। कंपनी की गतिविधि मुख्य रूप से विज्ञापनदाताओं और विज्ञापन प्लेटफार्मों को एक-दूसरे को खोजने में मदद करने के लिए है, और फिर एक तटस्थ तीसरे पक्ष के रूप में कार्य करता है, माप का संचालन करता है जो बेची गई विज्ञापन की मात्रा निर्धारित करता है।

QFS वास्तुकला

QFS में 3 घटक होते हैं

• Metaserver
  एक केंद्रीय मेटाडेटा सर्वर जो फ़ाइल सिस्टम की निर्देशिका संरचना और भौतिक भंडारण के लिए फ़ाइलों के मानचित्रण का प्रबंधन करता है।
• चंक सर्वर
  एक सर्वर जो डेटा को स्टोर करता है।
• ग्राहक पुस्तकालय
  एक पुस्तकालय जो फ़ाइल सिस्टम एपीआई प्रदान करता है, क्यूएफएस के साथ बातचीत करने के लिए आवेदन की अनुमति देता है

QFS सुविधाएँ

• scalability
  आप किसी भी समय सिस्टम में एक और चंक सर्वर जोड़ सकते हैं। जब इसे जोड़ा जाता है, तो चंक सर्वर मेटासेवर के साथ एक कनेक्शन स्थापित करेगा और सिस्टम का हिस्सा बन जाएगा। आपको Metserver को पुनरारंभ करने की आवश्यकता नहीं होगी
• संतुलन
  डेटा देते समय, मेटाज़र सिस्टम के सभी नोड्स में डेटा को संतुलित रखने की कोशिश करता है।
• पुनर्संतुलन
  सिस्टम में नोड्स के बीच डेटा को असंतुलित करने पर मेटसेवर, सर्वर का पता लगाता है कि कुछ नोड्स अप्रयुक्त हैं (उदाहरण के लिए, chunk सर्वर डिस्क स्थान का 20% से कम का उपयोग करता है) और अन्य नोड्स अतिभारित हैं (उदाहरण के लिए, chunk सर्वर डिस्क स्थान का 80% से अधिक उपयोग करता है)।
• प्रतिरोधी छोड़ें
  डेटा हानि का प्रतिरोध एक वितरित फ़ाइल सिस्टम के सबसे महत्वपूर्ण गुणों में से एक है। QFS टुकड़ा प्रतिकृति (यानी प्रत्येक टुकड़े की कई प्रतियां संग्रहीत करता है) और रीड - सोलोमन 6 + 3 एन्कोडिंग , गैर-बाइनरी साइक्लिक कोड का समर्थन करता है जो डेटा ब्लॉक में त्रुटियों को सही करने की अनुमति देता है - इस प्रकार, शास्त्रीय प्रतिकृति के साथ गलती सहिष्णुता की एक ही डिग्री के साथ, संग्रहीत की कुल राशि। कम जानकारी! उदाहरण के लिए, यदि HDFS में 300 टेराबाइट के लिए खाली जगह को 3 सर्वरों पर प्रतिकृति के साथ 100 टेराबाइट डेटा स्टोर करने की आवश्यकता होती है, तो QFS में स्टोरेज के लिए केवल 150 टेराबाइट्स की आवश्यकता होती है।
• पुन: प्रतिकृति
  यदि फ़ाइल प्रतिकृति की डिग्री सेट मूल्य से नीचे आती है (उदाहरण के लिए, चंक सर्वर के लंबे समय तक बंद होने के कारण), तो मेटासेवर स्वचालित रूप से फ़ाइल के दुर्गम टुकड़ों को दोहराता है। इस प्रक्रिया को सिस्टम को ओवरलोड किए बिना पृष्ठभूमि में किया जाता है।
• डेटा अखंडता
  डेटा ब्लॉक के डिस्क पर क्षति से निपटने के लिए, प्रत्येक ब्लॉक के चेकसम की गणना की जाती है। हर बार जब पढ़ते हैं, तो ब्लॉक के चेकसम को चेक किया जाता है और यदि ब्लॉक क्षतिग्रस्त हो जाता है, तो इसे पुनर्स्थापित करने के लिए प्रतिकृति तंत्र का उपयोग किया जाता है।
• क्लाइंट साइड मेटा सूचना कैशिंग
  पथ का अनुवाद करते समय फिर से सर्वर की खोज से बचने के लिए QFS लाइब्रेरी क्लाइंट निर्देशिका-संबंधित मेटाडेटा को कैश करता है। यह जानकारी 30 सेकंड के बाद कैश से साफ़ हो जाती है।
• दर्ज करने के लिए लिखें
  QFS क्लाइंट लाइब्रेरी राइट-बैक कैश का उपयोग करता है। एक बार कैश भर जाने के बाद, डेटा को चंक सर्वर पर भेजा जाता है। एक एप्लिकेशन मैन्युअल रूप से सिंक () विधि का उपयोग करके एक चंक सर्वर पर डेटा रीसेट कर सकता है
• संस्करण नियंत्रण
  डेटा का हिस्सा एक संस्करण है ताकि पुराने डेटा का पता लगाया जा सके। इस परिदृश्य पर विचार करें:
  
  • मान लीजिए कि chunk सर्वर s1, s2 और s3 स्टोर संस्करण V का टुकड़ा C है
  • मान लीजिए कि सर्वर s1 क्रैश है और सर्वर s1 झूठ बोल रहा है, तो ग्राहक C को लिखना शुरू कर देता है
  • रिकॉर्डिंग s2 और s3 सर्वर पर की जाएगी। टुकड़ा संस्करण को V2 में बदल दिया जाएगा
  • जब s1 शुरू होता है, तो यह सभी टुकड़ों के भंडार के लिए मेटासेवर से पूछेगा जो इसे स्टोर करता है।
    मेटा सर्वर नोटिस करेगा कि सर्वर s1, C के पुराने संस्करण को संग्रहीत करता है और इसे सर्वर s1 को रिपोर्ट करेगा
  • सर्वर s1 अप्रचलित टुकड़ा C को हटा देगा
• क्लाइंट-साइड फॉल्ट टॉलरेंस
  क्लाइंट लाइब्रेरी सर्वर के विफल होने के लिए प्रतिरोधी है। पढ़ने के दौरान, यदि क्लाइंट लाइब्रेरी यह निर्धारित करती है कि जिस चंक सर्वर के साथ सूचना का आदान-प्रदान हो रहा था, वह अनुपलब्ध हो गया है, तो क्लाइंट लाइब्रेरी दूसरे चंक सर्वर पर स्विच हो जाती है और पढ़ना जारी रखती है। यह दोष सहिष्णुता संपत्ति आवेदन के लिए पारदर्शी है।
• लिनक्स फ्यूज समर्थन
• यूनिक्स शैली अनुमतियों का समर्थन करता है

ज्ञात मुद्दे और सीमाएँ

• सिस्टम में केवल एक ही Metserver है। यह विफलता का एकल बिंदु है। फ़ाइल सिस्टम सामग्री के नुकसान को रोकने के लिए स्थानीय डिस्क पर मेटासेवर फ़ाइलों को संग्रहीत किया जाता है; इस जानकारी को समय-समय पर दूरस्थ सर्वर पर कॉपी किया जाना चाहिए।
• अधिकतम प्रतिकृति मूल्य 64 है
• गतिशील संतुलन की कमी। जब कोई फ़ाइल गर्म हो जाती है तो मेटासेवर वर्तमान में किसी फ़ाइल के टुकड़ों का समर्थन नहीं करता है। हालाँकि, सिस्टम जब भी यह निर्धारित करता है कि कुछ नोड्स पर डिस्क का उपयोग किया जा रहा है और अन्य नोड पर जानकारी के साथ अतिभारित हैं, एक सीमित रूप का संतुलन साधता है।
• स्नैपशॉट फ़ाइल सिस्टम के लिए कोई समर्थन नहीं
• रीड-सोलोमन एल्गोरिदम द्वारा एन्कोडेड फ़ाइलों को यादृच्छिक लिखना सीमित करें। दूसरे शब्दों में, व्यवहार में, रीड-सोलोमन एल्गोरिदम द्वारा एन्कोडेड फ़ाइलों के लिए केवल अनुक्रमिक लेखन संभव है।
• एक टुकड़े से / से एक साथ पढ़ने और लिखने का समर्थन नहीं किया जाता है। फ़ाइल का एक टुकड़ा तब तक पढ़ा नहीं जा सकता जब तक कि लेखन कार्यक्रम इसे बंद न कर दे।

जल्दी शुरू करो

एक परीक्षण कॉन्फ़िगरेशन में QFS स्थापित करना काफी सरल है

• Github.com/quantcast/qfs/wiki/Binary-Distributions प्रोजेक्ट सोर्स कोड डाउनलोड करें
• संग्रह अनपैक करें
• Github.com/quantcast/qfs/wiki/Developer-Documentation के निर्देशों के बाद आप परियोजना एकत्र करते हैं
• अगला, do ./examples/sampleservers/sample_setup.py -a install करें
  यदि सब कुछ सफलतापूर्वक हुआ, तो निम्नलिखित जानकारी प्रदर्शित की जाएगी:
  बायनेरिज़ उपस्थिति की जाँच - ठीक है।
  सेटअप निर्देशिका - ठीक है।
  सेटअप फ़ाइलों को कॉन्फ़िगर करें - ठीक है।
  शुरू किया सर्वर - ठीक है।
• आपके पास स्थानीय इंटरफ़ेस तक पहुंच होगी: २२०००

QFS के साथ काम करने वाले C ++ एप्लिकेशन का एक उदाहरण प्रोजेक्ट आर्काइव में /examples/cc/qfssample_main.cc पर पाया जा सकता है

प्रसिद्ध रेक

इस फाइल सिस्टम के प्रयोगों से कुछ समस्याएं सामने आईं।

• C ++ क्लाइंट लाइब्रेरी 32-बिट डेबियन पर स्थिर नहीं है। रिकॉर्डिंग के दौरान डेटा की हानि, कभी-कभी एक विभाजन त्रुटि होती है।
• यदि मेटा सर्वर और चंक सर्वर एक ही सर्वर पर हैं, तो चंक सर्वर की सेटिंग में मेटा सर्वर का IPv4 पता निर्दिष्ट करें, लोकलहोस्ट निर्दिष्ट न करें, अन्यथा क्लाइंट लाइब्रेरी सर्वर को 127.0.1.1 पर कनेक्ट करने का प्रयास करेगी

दिलचस्प लिंक (अंग्रेजी)

• मुख्य साइट
  quantcast.imtqy.com/qfs
• स्रोत कोड
  github.com/quantcast/qfs
• प्रदर्शन की तुलना
  github.com/quantcast/qfs/wiki/Performance-Comparison-to-HDFS
• QFS स्थापना
  github.com/quantcast/qfs/wiki/Developer-Documentation

निष्कर्ष

इस पोस्ट का सार विभिन्न वितरित फ़ाइल सिस्टम की समीक्षा नहीं है, और QFS क्षमताओं की तुलना नहीं है, उदाहरण के लिए HDFS Hadoop। इस पोस्ट का उद्देश्य घरेलू आईटी समुदाय का ध्यान दूसरों की तुलना में एक नए, दिलचस्प फाइल सिस्टम QFS (Quancast File System) की ओर आकर्षित करना है। हालांकि कुछ दोषों के बिना युवा और नहीं, लेकिन निकट भविष्य में डीएफएस पारिस्थितिकी तंत्र में उसकी जगह लेने के लिए निश्चित रूप से तैयार हैं।

जहां तक ​​मुझे पता है, यह इस परियोजना के लिए समर्पित पहला रूसी-भाषा का लेख है, इसलिए मैंने प्रस्तुति की परिचयात्मक शैली को चुना, परियोजना की वास्तुकला, इसकी स्थापना और कॉन्फ़िगरेशन में गंभीरता से ध्यान दिए बिना।