वितरित वीडियो एन्कोडिंग

मुझे लगता है कि अधिकांश हब्बर उपयोगकर्ताओं को कम से कम एक बार वीडियो को एनकोड करना पड़ा। शायद आप मेट्रो पर अपनी पसंदीदा श्रृंखला के नवीनतम एपिसोड को देखना चाहते थे, और आपका स्मार्टफोन या अन्य पोर्टेबल डिवाइस इस कोडेक को खेलना नहीं चाहते थे, या स्मार्टटीवी ने वीडियो फ़ाइल में ध्वनि को डिकोड करने से इनकार कर दिया था, या आप 2004 में फंस गए और H.264 को MPEG-4 के लिए ट्रांसकोड किया। आपका पुराना डीवीडी प्लेयर। या, उदाहरण के लिए, वे एक अविश्वसनीय आकार के वीडियो को कैमरे में शूट कर रहे थे जो आकार में कम या ज्यादा सभ्य थे। निश्चित रूप से आपने देखा कि यह सबसे तेज़ प्रक्रिया नहीं है।

वीडियो एन्कोडिंग के लिए सॉफ्टवेयर की एक बड़ी मात्रा बनाई गई है, जैसे प्रोग्राम से शुरू होता है "प्रेस को क्रॉस को एनकोड करें" और सॉफ्टवेयर के साथ समाप्त होता है जो इनपुट के लिए एवीसिंथ स्क्रिप्ट को स्वीकार करता है। हालांकि, कोडिंग के कम से कम कुछ वितरण का समर्थन करने वाले कार्यक्रमों को एक हाथ की उंगलियों पर गिना जा सकता है।

वितरित वीडियो एन्कोडिंग से आपका क्या मतलब होना चाहिए? मेरे विचार में, 2 अलग-अलग कार्य हैं:

1. एक साथ कई कंप्यूटरों पर बड़ी संख्या में वीडियो फ़ाइलों को एन्कोड करना
2. एक ही समय में कई कंप्यूटरों पर भागों में एक वीडियो फ़ाइल एन्कोडिंग

पहले कार्य में बड़ी संख्या में वीडियो फ़ाइलों की उपस्थिति शामिल है, जो कंप्यूटरों की तुलना में बहुत बड़ी हैं, जिन पर उन्हें एन्कोड किया जा सकता है, और सीएलआई एन्कोडर का उपयोग करके काफी आसानी से स्वचालित किया जाता है, उदाहरण के लिए, हैंडब्रेक या एफएफएमपीपी और वितरण का समर्थन करने वाले किसी भी स्वचालन उपकरण, जैसे कि जीएनयू समानांतर या पीपीएसएस ( वैसे, उसके बारे में कम ही लोग जानते हैं, मैं सलाह देता हूं!)।

दूसरा कार्य छोटी संख्या में फ़ाइलों और बड़ी संख्या में कंप्यूटरों की उपस्थिति का तात्पर्य करता है, और यह कुछ अधिक जटिल है: हमें फ़ाइल को छोटे भागों में विभाजित करने की आवश्यकता है, दूसरे, उन्हें ट्रांसकोड करें और तीसरा, उन्हें वापस इकट्ठा करें।

आमतौर पर, मुझे 1-2 10-बिट वीडियो फ़ाइलों को H.264 कोडेक द्वारा 8-बिट में एन्कोडेड करने की आवश्यकता है, एक मध्यम , धीमी या धीमी प्रीसेट के साथ । एक नियम के रूप में, एक मिनट के वीडियो में 6-8 मिनट के एन्कोडिंग की आवश्यकता होती है। मैं इसे तेजी से पसंद करूंगा।

शब्दकोष

जीओपी (चित्रों का समूह) - शाब्दिक, छवियों का एक समूह। फ़्रेम का एक हिस्सा I-फ़्रेम (कुंजी फ़्रेम) से दूसरे तक, अंतिम सहित नहीं।

वर्कर - एक प्रोग्राम जो किसी वितरित प्रणाली में किसी प्रकार का कार्य (आमतौर पर सबसे महंगा) करता है। हमारे मामले में, वीडियो एन्कोडिंग।

तैयार समाधान

कई दिनों से मैं दोनों कार्यों के वितरित कोडिंग के लिए लाइव प्रोजेक्ट्स की तलाश कर रहा था, और यहाँ वही है जो मुझे मिला:
1. मीडिया कोडर
MediaCoder एक काफी उन्नत और सुविधाजनक संयोजन है, जो सेटिंग्स की संख्या और उपयोग में आसानी के बीच अच्छा संतुलन रखता है। हालांकि, इसमें वितरित कोडिंग पहले से कहीं ज्यादा खराब है: वीडियो को स्थानीय रूप से डिकोड किया गया है, और कार्यकर्ता एक असम्पीडित डिकोड फ़्रेम भेजता है। वे एक गीगाबिट नेटवर्क की सलाह देते हैं, इसलिए इंटरनेट पर यह धीरे-धीरे अविश्वसनीय रूप से काम करेगा। सर्वर केवल विंडोज (और वाइन में भी) के तहत काम करता है, कार्यकर्ता विंडोज और लिनक्स के तहत काम करता है। केवल H.264 और VP8 समर्थित हैं।

2.dvd :: चीर
इस परियोजना में वितरण विधियां, दुर्भाग्य से, पारंपरिक वितरण साधनों का उपयोग करने से बेहतर नहीं हैं। आपको प्रत्येक मशीन पर एसएसएच सर्वर और मशीन पर एनएफएस सर्वर को फाइलों के साथ उठाना होगा। एकाधिक कंप्यूटरों पर एक फ़ाइल को एनकोड नहीं किया जा सकता।

3. रिपबॉट 264
सबसे अच्छा मैंने देखा है। फ़ाइलों को सही ढंग से काटता है (जीओपी के माध्यम से), आसानी से कॉन्फ़िगर किया गया है, लेकिन, दुर्भाग्य से, विंडोज के लिए फाइल शेयरिंग के साधनों का उपयोग करता है, जो वास्तव में एक ही नेटवर्क के बाहर काम को समाप्त करता है (प्रोग्राम को सभी कंप्यूटरों को एक ही कार्यसमूह में होने की आवश्यकता है)। और यह केवल विंडोज पर काम करता है।

अपनी बाइक बनाएं

दुर्भाग्य से, लिनक्स के तहत मुझे कुछ भी सहन करने योग्य नहीं मिला और मुझे अपना काम करने का विचार मिला। एक वितरित वीडियो कोडिंग प्रणाली के लिए मैंने क्या आवश्यकताएं रखीं?

• सिस्टम को कई श्रमिकों पर एक फ़ाइल को एनकोड करने में सक्षम होना चाहिए (जीओपी द्वारा फाइल को काटना और बाद में पीछे हटना)
• जितने भी डिकोडर, एनकोडर और कंटेनर संभव हो (कम से कम mkv और mp4) का समर्थन किया जाना चाहिए
• यदि संभव हो, तो अस्थायी फ़ाइलें बनाने से बचें और श्रमिकों द्वारा रैम की खपत को कम करें

वीडियो को एन्कोडिंग के लिए मैंने FFmpeg का उपयोग करने का निर्णय लिया, और फ़ाइलों को mkvmerge को काटने और ग्लूइंग करने के लिए, और, तदनुसार, मैट्रोस्का कंटेनर (क्योंकि FFmpeg के परीक्षण की प्रक्रिया में, mkv-muxer में प्रतिगमन निकल गया)।
मैंने प्रोजेक्ट को 6 बार कॉपी किया। क्या विचार त्याग दिए गए:

• जॉब सर्वर ( गियरमैन , बीनस्टॉकड ) और मैसेज ब्रोकर ( रैबिटएमक्यू ) का उपयोग करके जॉब के भीतर एन्कोडिंग के लिए वीडियो के टुकड़े को स्थानांतरित करना। यह, ज़ाहिर है, बहुत सुविधाजनक है, लेकिन मैं मेमोरी में मूल और ट्रांसकोडेड फ़ाइल के टुकड़ों को स्टोर करने का जोखिम नहीं उठा सकता। इसके अलावा, पहले आपको पूरी तरह से वीडियो प्राप्त करना था, फिर इसे ट्रांसकोड करना चाहिए, और उसके बाद ही इसे भेजें।
• इसी कारण से RPC का उपयोग करना।
• फ़ाइलों को अपलोड करने और प्राप्त करने के लिए एक HTTP सर्वर का उपयोग करना

और सब कुछ सॉकेट्स में लौट आया। वास्तव में, सॉकेट्स से बेहतर कुछ सोचना मुश्किल है - एक सॉकेट को स्टड FFmpeg और stdout दोनों में जमा किया जा सकता है, और कोई अस्थायी फाइल नहीं बनाई जाएगी, और RAM को कम से कम किया जाएगा, और एन्कोडेड वीडियो को सीधे सर्वर पर अपलोड किया जाएगा।

और मैंने कर दिया।
github.com/ValdikSS/distvidc - DistVIDc (जैसे distcc , वीडियो केवल)
जब मैंने पहला वर्किंग वर्जन और पहला कमिटमेंट मिला, तो मैंने रेज ड्रिवेन डेवलपमेंट का इस्तेमाल किया और बहुत रिलैक्स किया।

यह कैसे काम करता है?

तीन स्क्रिप्ट हैं - सर्वर, क्लाइंट और वर्कर। सर्वर फ़ाइल का इंतजार करता है और क्लाइंट से एन्कोडिंग पैरामीटर, इसे टुकड़ों में काटता है, इसे कार्यकर्ता के बीच वितरित करता है, भागों को देता है और परिवर्तित भागों को लेता है, टुकड़ों को एक फ़ाइल में इकट्ठा करता है। कार्यकर्ता, क्रमशः, सर्वर से जुड़ता है, एक कमांड का इंतजार करता है और टुकड़ों को एनकोड करता है।

समस्याएं हैं:

• परिवर्तनीय फ्रेम दर (VFR) वीडियो को गलत तरीके से एन्कोड किया जा सकता है और सिंक से बाहर हो सकता है
• इस तथ्य के कारण कोडिंग दक्षता थोड़ी कम है कि कटे हुए टुकड़े के अंत में जीओपी बिना कटौती के कम हो सकता है।

सकारात्मक पहलू:

• आप इनपुट के लिए आवेदन कर सकते हैं और वह सब कुछ प्राप्त कर सकते हैं जो FFmpeg परियोजना द्वारा समर्थित है। वेब में VP8 में ogg में theora? कोई बात नहीं। भगवान mkv में HEVC में AVI में msmpeg2 भूल गए? हाँ आसानी से!
• प्रभावी काम करने वाला। केवल 200KB RAM की खपत होती है!

DistVIDc लिनक्स के तहत और विंडोज के तहत काम करेगा (वर्तमान में, कार्यकर्ता केवल लिनक्स के तहत काम करता है)। मुझे इस परियोजना में रुचि रखने वाले किसी भी व्यक्ति के लिए खुशी होगी।