Zendframework + ffmpeg + gearman + amazon = वीडियो एनकोडर सेवा

मैं वीडियो को परिवर्तित करने और क्लाउड स्टोरेज में सहेजने के लिए एक वेब सेवा बनाने के अनुभव के साथ साझा करना चाहता हूं। तुरंत एक आरक्षण करें, सेवा एक यूरोपीय कंपनी द्वारा आंतरिक उपयोग के लिए लिखी गई है, और 6 महीने से अधिक समय से काम कर रही है। कंपनी के क्षेत्रों में से एक WebTv उत्पाद है। प्रत्येक नई साइट पर वीडियो रूपांतरण के लिए एक संरचना को तैनात करना बहुत समस्याग्रस्त था, और अक्सर ये प्रक्रियाएं सर्वर को बहुत बाधित करती हैं।
यह एक ऐसी सेवा बनाने का निर्णय लिया गया जो निम्नलिखित आवश्यकताओं को पूरा करे:

• किसी भी साइट के साथ आसान एकीकरण।
• एक ही समय में एक से अधिक वीडियो फ़ाइल को परिवर्तित करने की प्रक्रिया को लागू करें।
• Ftp, IMAP से वीडियो एकत्र करने की प्रक्रिया को लागू करें और सीधे HTTP POST के माध्यम से वीडियो फ़ाइल प्राप्त करें।
• वैकल्पिक रूप से, अतिरिक्त मापदंडों की मदद से, वीडियो को प्रसारित करने, वॉटरमार्क प्रसारित करने में सक्षम हो, आदि।
• सामने एक सुरक्षित प्राधिकरण प्रणाली लागू करें, जहां उपयोगकर्ता वीडियो फ़ाइल के अलावा वीडियो सेवा में क्या डेटा देख सकते हैं।
• Amazon S3 के लिए तैयार परिणाम भेजें।
• त्रुटियों को अच्छी तरह से संभालें, और इसके बारे में ग्राहक सेवा को सूचित करें।

सेवा के साथ एकीकरण की सबसे सरल योजना।

सबसे ज्यादा इस्तेमाल की जाने वाली योजना POST वीडियो अपलोड है। क्लाइंट साइट पर, एक नया वीडियो जोड़ने के लिए एक फ्लैश लोडर के रूप में एम्बेडेड है, जो प्राधिकरण डेटा के साथ फाइल को वीडियो सेवा में तुरंत भेजता है। सभी चरणों का विवरण नीचे दिया गया है:

सेवा पक्ष पर डेटा और वीडियो की जाँच करना।

प्रमाणीकरण
क्योंकि ऑथराइजेशन के लिए लॉगिन और पासवर्ड HTML कोड में उपलब्ध हैं, और यह अच्छा नहीं है, आपको कुछ के साथ आना होगा। इसका समाधान सीमित जीवनकाल और दो-चरणीय प्रमाणीकरण प्रणाली के साथ वन-टाइम पासवर्ड का उपयोग करना था। क्लाइंट सेवा एक पासवर्ड जेनरेट करती है और उसे डेटाबेस में (साथ ही जेनरेशन टाइम और टोकन का उपयोग / उपयोग नहीं किया जाता है) स्वयं सेव करती है। अनुरोध प्राप्त करने के बाद, वीडियो सेवा क्लाइंट सर्वर पर पूर्व निर्धारित URL पर दस्तक देती है और पासवर्ड की प्रासंगिकता की पुष्टि प्राप्त करती है।

वीडियो की जांच
स्वाभाविक रूप से, हम आँख बंद करके विश्वास नहीं कर सकते कि डाउनलोड की गई फ़ाइल वास्तव में एक वीडियो फ़ाइल है।
Ffmpeg_movie वर्ग का उपयोग करते हुए, हम वीडियो फ़ाइल के बारे में जानकारी का पता लगाने की कोशिश करते हैं, अगर हम क्लाइंट सर्वर में कोई त्रुटि नहीं दे पा रहे थे जो कि फ़ाइल का उपयोग नहीं किया जा सकता है।

Gearman

वास्तव में, कार्य डेटाबेस को अनुरोध को सहेजने के बाद वीडियो को परिवर्तित करना शुरू करना था। स्वाभाविक रूप से, अच्छा पुराना क्रोन यहां खराब होता है, एक मिनट में एक बार लॉन्च होता है, क्रमिक निष्पादन होता है। इससे पहले, मैंने पहले ही गियरमैन का उपयोग किया और मेरी पसंद इस उपकरण पर गिर गई। वास्तव में, मुझे उसके साथ टिंकर करना पड़ा, किसी कारणवश पहली बार बिंदु रिक्त सीमा पर मैं वह काम नहीं करना चाहता था जैसा मुझे करना चाहिए:

function converter() { //   } $worker = new GearmanWorker(); $worker->addFunction("convert", "converter"); // .. 

श्रमिक लगातार -1 लौट आए और उनकी मौत हो गई। मुझे याद आया कि पिछली परियोजनाओं में मैंने कुछ अलग तरीके से काम किया था। और उन्हें गियरमैनवर्कर से विरासत में मिला, सभी प्रकार के श्रमिकों के लिए आधार परत बनाया:

  class App_Model_Worker_Abstract extends GearmanWorker { public function __construct($gearman) { parent::__construct(); if (!$this->addServer($gearman['host'], $gearman['port'])) { throw new Exception("Can't connect to Gearman"); } } public function work() { while (parent::work()); return true; } } 

और फिर मैंने पहले से ही आवश्यक श्रमिकों को एकत्र किया:

  //  class App_Model_Worker_Converter extends App_Model_Worker_Abstract { public function __construct($gearman) { parent::__construct($gearman); //    } public function action($job) { $fileId = $job->workload(); $file = $this->_modelFileResponse->getPrepareToConvertFile($fileId); //  . } } //,       class App_Model_Worker_SendResponse extends App_Model_Worker_Abstract { public function __construct($gearman) { parent::__construct($gearman); } public function action($job) { $responseId = $job->workload(); //   . } } 

इसके बाद, एक और अप्रिय बात सामने आई, निश्चित समय के बाद DB से कनेक्शन बंद हो गया, इसलिए मैंने फैसला किया कि मैं रूपांतरण प्रक्रिया शुरू करने से पहले कनेक्शन बंद कर दूंगा:

  $model->getAdapter()->closeConnection(); 

आंकड़े बताते हैं कि सामान्य रूप से प्रति घंटे 10 अनुरोधों को पूरा करने के लिए 3-4 श्रमिकों को ड्राइव करना पर्याप्त है। गियरमैन के बारे में और अधिक पढ़ें यहां Gearman.org

FFmpeg

इस "फल" के साथ मेरी कई रातों की नींद हराम है। सबसे पहले, सब कुछ तुच्छ था, मेरे पास पहले से ही मानक अनुरोध डिबग किए गए थे, जैसे कि आकार परिवर्तन, बिट दर और वह सब - जो सब कुछ तुच्छ है। सबसे दिलचस्प बात तब शुरू हुई जब इसे बदलना और घुमाना और एक पास में मुखौटा और गद्दी जोड़ना आवश्यक था, सामान्य तौर पर, यह सब इसके बजाय कोई भी काम नहीं करना चाहता था। Vfilters बचाव में आए, जिन्हें अपेक्षाकृत हाल ही में जोड़ा गया था। सभी आकर्षण यह है कि आप लगातार फ़िल्टर लागू कर सकते हैं, अर्थात्। उदाहरण के लिए, पहले घुमाएँ, आकार बदलें, गद्दी जोड़ें, वॉटरमार्क लटकाएँ। यहाँ एक सामान्य ffmpeg कमांड है जो मेरी सेवा में दिखता है:

/usr/local/bin/ffmpeg -i "/home/encoderws/public_html/data/files/requests/example-test-5c2a1c8a2e9e540690ba05670a526872_d917a8705cade8efdd87008df20ef19c" -acodec libfaac -vcodec mpeg4 -b 400k -ar 44100 -f mp4 -ab 96k -ac 2 -vf "[in] rotate=90 [rt0], [rt0] scale=203:360 [sc0], [sc0] pad=640:360:219 [pd0], [pd0] scale=640:360 [sc1], movie=0:png:/home/encoderws/public_html/data/files/watermarks/watermark.png [wm], [sc1] [wm] overlay=0:0:1 [out]" -y '/home/encoderws/public_html/data/files/responses/example-test-5c2a1c8a2e9e540690ba05670a526872_d917a8705cade8efdd87008df20ef19c.mp4


क्योंकि चूंकि प्रत्येक अनुरोध में दो flv + mp4 वीडियो के निर्माण की आवश्यकता होती है, कार्य के अंत में, डेटा को सिंक्रनाइज़ किया जाता है और कार्यकर्ता, जिसका काम बाद में पूरा हो गया था, तैयार डेटा को अमेज़ॅन में डाउनलोड करने के कार्य को डालता है। यदि रूपांतरण के दौरान त्रुटियां हैं, तो इस बारे में सर्वर को सूचित करें।

वीरांगना

एक अन्य प्रकार का गियरमैन कार्यकर्ता अमेज़ॅन एपी के साथ काम करने के लिए मानक ज़ेंड पुस्तकालय का उपयोग करके तैयार डेटा को अमेज़ॅन एस 3 पर अपलोड कर रहा है।
सामान्य तौर पर, मैं कहना चाहता हूं कि पिछले एक साल में, अमेज़ॅन ने कई बार परेशान किया है, उदाहरण के लिए, यूरोप का एक प्रबंधक मुझे लिखता है कि वह सामने वाला वीडियो नहीं खेलता है, और मैं उसे लिखता हूं, इस तरह, मैं यह वीडियो देखते हुए बैठा हूं कि आप नहीं देख रहे हैं काम नहीं करता है। फिर यह पारित करने के लिए आया था, हम विभिन्न अमेज़ॅन डेटा केंद्रों की ओर रुख करते हैं। और बड़े वीडियो डाउनलोड करने में भी समस्याएं हैं, महीने में लगभग एक बार, कुछ वीडियो लोड नहीं हो सकते हैं, और अमेज़ॅन सर्वर कुछ प्रकार की अप्राप्य त्रुटि कोड वापस कर देगा।

आप अमेज़ॅन एस 3 के बारे में और अधिक यहाँ पढ़ सकते हैं अमेज़ॅन सिंपल स्टोरेज ।

अन्य अच्छाईयां

मांग पर सेवा वीडियो पर वॉटरमार्क लटका सकती है, वीडियो को घुमा सकती है, निर्दिष्ट मापदंडों के अनुसार सही ढंग से आकार बदल सकती है, खाली स्थान को काले रंग के साथ भर सकती है। ऐसा करने के लिए, हाल के संस्करणों में ffmpeg के साथ आने वाले vfilters का उपयोग करें।

यह ftp, imap, amazon s3 स्टोरेज से वीडियो एकत्र करने में सक्षम है और इसे रूपांतरित भी करता है, फिर सर्वर को सूचित करता है (लेकिन इन विधियों का उपयोग बहुत कम ही किया जाता है)।

वास्तव में IMAP के बारे में एक उत्सुक बात, हम एमएमएस के माध्यम से भेजे गए वीडियो को इकट्ठा करने के बारे में बात कर रहे हैं। मैं कार्यान्वयन विवरणों में नहीं गया था, मेरा व्यवसाय बस नए संदेशों को खोजने, उनसे सभी वीडियो फ़ाइलों को इकट्ठा करने और उन्हें संसाधित करने के लिए IMAP प्रोटोकॉल का उपयोग करके मेल में आने के लिए था।

और अब कंपनी एक और अच्छाइयों के बारे में सोच रही है। Asteriks को फास्ट करें , और उदाहरण के लिए, एक ग्राहक अपने फोन से एक वीडियो कॉल करता है, जो 3G का समर्थन करता है, एक वीडियो संदेश छोड़ता है, Asteriks के माध्यम से यह बात एक विशेष डैडी में हो जाती है। प्रत्येक 5 मिनट में, ftp में एक वीडियो सेवा इसे देखती है यदि यह कुछ नया पाता है, इसे संसाधित करता है, और ग्राहक के सर्वर पर उपयोग के लिए तैयार वीडियो पर वापस लौटता है।

पिछले 3 महीनों से, सर्वर काफी काम कर रहा है, और कभी क्रैश नहीं हुआ है। आधे साल के लिए, 4000 से अधिक अनुरोध संसाधित किए गए थे।

राय, टिप्पणी, रचनात्मक आलोचना सुनना दिलचस्प है।