इविडॉन ने क्लाउड वीडियो स्टोरेज लॉन्च किया

समाप्त होने पर कुछ कलाकार अपनी रचनाओं का आभास नहीं दे सकते। और मैं अपना सबसे बड़ा प्रशंसक हूं। OW अनुदान (अंतरराज्यीय 60)



एक वर्ष से अधिक समय से, इविडॉन टीम अपने क्लाउड में संग्रहीत वीडियो रिकॉर्डिंग के दूरस्थ भंडारण के लिए एक सेवा पर काम कर रही है (मुझे यह शब्द पसंद नहीं है)। क्यों इतना लंबा, तकनीकी विवरण और हैबर के पाठकों के लिए इसे मुफ्त में कैसे प्राप्त किया जाए - आप एक बिल्ली के नीचे सीखेंगे।

आप मौजूदा क्लाउड स्टोरेज का उपयोग क्यों नहीं कर सकते हैं?

क्लाउड स्टोरेज बनाने के लिए कई प्रसिद्ध प्लेटफॉर्म हैं। उदाहरण के लिए, वही ओपनस्टैक, जो, वैसे, हमने भी समर्थन किया। फिर भी, अपने लिए, उन्हें अपने निर्णय का पूरा एहसास था। हमने ऐसा क्यों किया? इस प्रश्न का उत्तर देने के लिए आपको दूरस्थ वीडियो निगरानी संग्रह संग्रहीत करने की बारीकियों को समझने की आवश्यकता है। तथ्य यह है कि लगभग सभी क्लाउड प्लेटफ़ॉर्म मुख्य रूप से रिकॉर्ड पर रीड ऑपरेशंस की प्रबलता के लिए डिज़ाइन किए गए हैं। आंशिक रूप से यही कारण है कि बादलों के लिए आने वाला ट्रैफ़िक मुक्त है, और आउटगोइंग की लागत पैसे है। इस तरह के एक मंच के लिए, ज्यादातर मामलों में यह महत्वपूर्ण नहीं है कि किस क्रम में रिकॉर्ड की गई फाइलें डिस्क पर संग्रहीत की जाती हैं। हालांकि अनुकूलन पर काम निश्चित रूप से चल रहा है।

वीडियो निगरानी प्रणालियों के भंडारण के साथ चीजें अलग हैं। सबसे पहले, रीड ऑपरेशंस पर राइट ऑफ़ ऑपरेशन्स का एक स्पष्ट महत्वपूर्ण प्रावधान है। लोग सभी संग्रहीत अभिलेखों का 1 - 2% से अधिक नहीं देखते हैं। और कभी-कभी कम भी।

इस तथ्य के बावजूद कि गति डिटेक्टर का उपयोग करके रिकॉर्डिंग की जाती है, बड़ी संख्या में ग्राहकों के साथ, डेटा प्रवाह निरंतर है। और सब कुछ ठीक होगा अगर यह सीमित मात्रा में हार्ड ड्राइव के लिए नहीं था। कुछ बिंदु पर, नए के लिए जगह बनाने के लिए सबसे पुरानी उपयोगकर्ता प्रविष्टियों को हटा दिया जाना चाहिए। और यहां साधारण बादलों के साथ समस्याएं शुरू होती हैं।

कल्पना करें कि प्रति दिन हमारे आँकड़ों के अनुसार औसत उपयोगकर्ता एक कैमरे से विभिन्न अवधि के लगभग 1200 वीडियो निगरानी रिकॉर्डिंग उत्पन्न कर सकता है। उपयोगकर्ता को पूरी रिकॉर्डिंग समाप्त होने के बाद नहीं होने के लिए वीडियो को एक्सेस करने के लिए, लेकिन, उदाहरण के लिए, एक मिनट के बाद, प्रत्येक रिकॉर्डिंग को छोटे भागों में तोड़ना आवश्यक है जो कि क्लाउड में संग्रहीत होना चाहिए। यही है, फाइलें 1200 नहीं हो सकती हैं, लेकिन काफी अधिक हैं। मान लीजिए उनमें से 2500 हैं।



अब कल्पना करें कि एक भौतिक हार्ड ड्राइव पर, 200 उपयोगकर्ताओं से एक सप्ताह में फाइलें हैं। और कुछ बिंदु पर, संग्रह रोटेशन की प्रक्रिया शुरू होती है - तीन दिनों में दर्ज की गई सबसे पुरानी फाइलों को हटाना। एक बार में लगभग 1.5 मिलियन फ़ाइलों को हटाना आवश्यक है! बेशक - बादल काम करेगा। धीरे-धीरे, लेकिन यह काम करेगा। केवल हार्ड ड्राइव लंबे समय तक इस तरह के भार का सामना नहीं करेंगे, और जैसा कि आप जानते हैं, क्लाउड स्टोरेज में यह सबसे महंगे तत्वों में से एक है। और हमें लगता है कि क्लाउड स्टोरेज औसत उपयोगकर्ता के लिए बहुत महंगी सेवा होगी। और हम हमेशा लोगों को न केवल उच्चतम गुणवत्ता देने के लिए प्रयास करते हैं, बल्कि उन सभी से सस्ती सेवा भी देते हैं जो बाजार में हैं।

हमने अपने भंडारण को कैसे लागू किया

इविडॉन क्लाउड में एक पदानुक्रमित संरचना है और इसे पूरे इविडॉन मंच के एक स्वतंत्र तत्व के रूप में बनाया गया है। अर्थात्, इसे संपूर्ण रूप से संपूर्ण सेवा से अलग से विकसित और परीक्षण किया जा सकता है। हम अपने विकास के दौरान इस दृष्टिकोण को सुनिश्चित करने का प्रयास करते हैं ताकि अपेक्षाकृत स्वतंत्र विकास दल व्यक्तिगत मॉड्यूल पर काम कर सकें। नतीजतन, हमें अपने मंच के तत्वों की विकास गति को बढ़ाने का अवसर मिलता है, जिससे परियोजना के नए डेवलपर्स को आकर्षित किया जाता है।

सीमांत के रूप में हम बड़ी मात्रा में रैम के साथ सर्वरों के एक समूह का उपयोग करते हैं। वर्तमान में, इनमें से प्रत्येक सर्वर में लगभग 96 जीबी मेमोरी है।

इस सर्वर का कार्य कैमरों से कई मिनटों के लिए समाप्त टुकड़ों को जमा करना है। ये सभी टुकड़े विशेष रूप से RAM में लिखे गए हैं।
प्रत्येक कैमरे के लिए लगभग 80 - 100 एमबी आवंटित किए जाते हैं। सर्वर को विभिन्न कैमरों से बहुत सारे वीडियो फ्रेम प्राप्त होते हैं। जैसे ही टुकड़ा पूरा हो जाता है - तुरंत बैकएंड स्टोरेज में भेजने के लिए कतारबद्ध हो जाता है। अधिक मेमोरी विशेष रूप से एक टुकड़े के आकार से आवंटित की जाती है, ताकि पूर्ण टुकड़ा भेजते समय एक नया रिकॉर्ड करने के लिए एक जगह हो।

बैकएंड क्या हैं? यह 36 डिस्क वाले सर्वरों का एक समूह है, जो एक डेटा सेंटर या कई में स्टोरेज विश्वसनीयता की आवश्यक डिग्री के आधार पर स्थित हो सकता है। हम ऐसे सर्वर को नोड कहेंगे। प्रत्येक खंड को उपयोगकर्ता की टैरिफ योजना की सेटिंग के आधार पर नोड्स की एक संख्या पर दोहराया जा सकता है। और नोड्स पर लोड वितरित करने के लिए, शार्किंग तंत्र का उपयोग किया जाता है। नोड में भौतिक रिकॉर्डिंग की अधिकतम गति की गणना और नियंत्रित की जाती है ताकि प्रति यूनिट समय पर प्रेषित डेटा की मात्रा इस पैरामीटर से अधिक न हो।



सॉफ़्टवेयर के दृष्टिकोण से, हम ओपनस्टैक, वेब-डेव, एनएफ़एस, आदि नोड्स का समर्थन करते हैं। लेकिन हमारे डेटा केंद्रों में संग्रह को संग्रहीत करने के लिए, हम नोड सॉफ़्टवेयर के अपने स्वयं के कार्यान्वयन का उपयोग करते हैं। इस मामले में, इसके साथ संचार एक आंतरिक HTTP- बेस प्रोटोकॉल के माध्यम से किया जाता है। वास्तव में, समाप्त टुकड़े का लगभग तात्कालिक हस्तांतरण और नोड में इसकी रिकॉर्डिंग की जाती है। आंतरिक डेटाबेस में टुकड़े के बारे में डेटा दर्ज करने के साथ-साथ। आधार अलग सर्वर पर mongoDB स्थापित है।

लेकिन यह सब नहीं है। इस रिकॉर्ड को हटाने के परिणामस्वरूप पुराने रिकॉर्ड को हटाने और डिस्क के विखंडन को कम करने की समस्या को हल करने के लिए, हमने अपने नोड कार्यान्वयन में अपनी खुद की फ़ाइल प्रणाली विकसित की। बेशक, यह बहुत जोर से लगता है, लेकिन वास्तव में इसके बारे में कुछ भी जटिल नहीं है। प्रत्येक टुकड़े को एक अलग फ़ाइल के रूप में डिस्क के लिए नहीं लिखा जाता है, लेकिन पिछले वाले के साथ क्रमिक रूप से जोड़ा जाता है, जिससे एक घंटे के भीतर रिकॉर्डिंग के साथ एक बड़ी फ़ाइल बन जाती है। निम्नलिखित लेखों में हम आपको इसके बारे में और बताने की कोशिश करेंगे।

फिलहाल जब अभिलेख को घुमाने और कई दिनों के लिए डेटा को हटाने के लिए आवश्यक है, तो नोड को अस्थायी रूप से चिह्नित किया जाता है, जो रिकॉर्डिंग के लिए तैयार नहीं है और अन्य नोड्स के बीच नए टुकड़े वितरित किए जाते हैं। ऐसा इसलिए किया जाता है ताकि विलोपन के दौरान विखंडन को रोकने के लिए नोड को रिकॉर्ड न किया जाए।

फिर स्थापना रद्द करने की प्रक्रिया स्वयं शुरू होती है। जिसमें आपको प्रत्येक उपयोगकर्ता से 7500 छोटी फ़ाइलों को हटाने की आवश्यकता है, लेकिन केवल 72, क्योंकि प्रत्येक फ़ाइल एक घंटे में एक रिकॉर्ड है।

सारांश

यहां मैंने अपने प्लेटफ़ॉर्म की कई सूक्ष्मताओं के बारे में बात नहीं की, उदाहरण के लिए, विभिन्न टैरिफ योजनाओं से जुड़े। कोई संग्रह का एक सप्ताह रखता है, और कोई महीने में। इसके अलावा, मैंने हमारे मंच में उपयोग किए जाने वाले प्रसिद्ध तत्वों के साथ काम करने के विशिष्ट विवरणों पर ध्यान केंद्रित नहीं किया। उदाहरण के लिए, MongoDB। और यह अगले लेख के लिए विषय है।

मुझे उम्मीद है, इसके लिए, प्रस्तुति समझ में आ गई और एक ही समय में उपयोगी थी।
मैं सिर्फ यही कहना चाहता हूं, हमेशा की तरह, हमारे डेटा केंद्रों में हम विशेष रूप से लिनक्स का उपयोग करते हैं और इसके लिए अपने सर्वर सॉफ़्टवेयर का अनुकूलन करते हैं।

और अंत में। हमने अपने रिमोट स्टोरेज प्लेटफॉर्म के व्यापक और लोड परीक्षण का संचालन करने की बहुत कोशिश की। फिर भी, हम इसे बीटा मोड में लॉन्च करते हैं और "निरोधक" टैरिफ सेट करते हैं ताकि लोड वृद्धि हमारे द्वारा नियंत्रित हो। लेकिन अगर हेब के पाठकों में से एक परीक्षण में भाग लेने के लिए हमारी मदद करना चाहता है, तो एक व्यक्तिगत ईमेल में लिखें, अपने व्यक्तिगत खाते का ई-मेल दर्ज करें और हम आपके खाते में आवश्यक राशि डाल देंगे ताकि Ivideon क्लाउड स्टोरेज का उपयोग आपके लिए नि: शुल्क हो।