🕓 🚷 🍦 रास्पबेरी पाई: एन .264 लाइव वीडियो एनकोड करें ♨️ 👵 🛒

Itseez के कंप्यूटर विज़न प्रोजेक्ट्स में से एक में, हम एक वेब कैमरा से वीडियो स्ट्रीम को प्रोसेस करने के लिए रास्पबेरी पाई का उपयोग कर रहे हैं, और हमने हाल ही में एक फ्लैश कार्ड में वीडियो रिकॉर्ड करने की समस्या का सामना किया। कठिनाई यह थी कि सीपीयू संसाधनों को अन्य महत्वपूर्ण कार्यों द्वारा खपत किया गया था, लेकिन फिर भी वीडियो को बचाने के लिए यह आवश्यक था। और इसके लिए कोई वरीयता नहीं थी कि किस कोडेक को संपीड़ित किया जाए और किस प्रारूप का उपयोग किया जाए, यदि केवल इससे एफपीएस (प्रति सेकंड फ्रेम की संख्या) प्रभावित न हो। RAW से H.264 तक बड़ी संख्या में सॉफ़्टवेयर कोडेक्स आज़माने के बाद (FFmpeg पर OpenCV रैपर का उपयोग किया गया था), हम इस नतीजे पर पहुंचे कि इससे कुछ नहीं होगा, क्योंकि उच्च भार पर, एफपीएस 20 से 5 फ्रेम प्रति सेकंड से नीचे चला गया, जबकि चित्र 320x240 के संकल्प के साथ काले और सफेद है। थोड़ा गुगली करने पर, हमें पता चला कि रास्पबेरी पाई प्रोसेसर में H.264 मानक (जहां तक मुझे पता है, केवल इसके लिए एक लाइसेंस खरीदा गया था) के समर्थन के साथ एक हार्डवेयर एनकोडर है। साथ ही, एन्कोडर के साथ इंटरैक्शन ओपनमैक्स मानक के अनुसार लागू किया गया था, इसलिए ओपनमैक्स का उपयोग करके लेखन कोड लेने का फैसला किया गया था और देखें कि क्या होता है। यह निकला, वैसे, बहुत बुरा नहीं है!

हार्डवेयर त्वरण लागू करने से पहले नीचे एक नमूना वीडियो है:

।

OpenMAX (ओपन मीडिया एक्सेलेरेशन) एक क्रॉस-प्लेटफ़ॉर्म एपीआई है जो वीडियो और ऑडियो प्रसंस्करण के हार्डवेयर त्वरण के लिए उपकरणों का एक सेट प्रदान करता है और विभिन्न मल्टीमीडिया सिस्टम के साथ काम करता है, जिसे स्वतंत्र रूप से ओएस या हार्डवेयर प्लेटफ़ॉर्म के उपयोग के लिए डिज़ाइन किया गया है। मैं तुरंत एक आरक्षण कर दूंगा कि रास्पबेरी पाई "क्लीन" ओपनमैक्स आईएल (इंटीग्रेशन लेयर) एपीआई को लागू नहीं करती है, लेकिन ब्रॉडकॉम चिप के लिए कुछ अनुकूलित संस्करण है। इसलिए, किसी अन्य बोर्ड पर कोड का पुन: उपयोग करने का प्रयास विफल हो सकता है। इसके अलावा, रास्पबेरी पाई डेवलपर्स द्वारा प्रदान किए गए ओपनमैक्स रैपर का उपयोग करने का निर्णय लिया गया था - ilcient। रास्पियन मट्ठा वितरण में पहले से ही डिफ़ॉल्ट लाइब्रेरी और ओपनमैक्स का उपयोग करने के उदाहरण हैं, जो / ऑप्ट / वीसी / निर्देशिका में स्थित हैं। OpenMAX से अधिक के रैपर के लिए / opt / vc / src / hello_pi / libs / ilclient / subdirectory में स्रोत कोड होता है। ये ilclient.c ilclient.h और ilcore.c फाइलें हैं।
आइए कार्य पर वापस जाएं। कैमरे से एक छवि है, एकल-चैनल (जो कि, काले और सफेद), 320x240 के संकल्प के साथ, हमारे मामले में यह ओपनसीवी से आईप्लेमैज संरचना है, और आपको इसे एचवी कंटेनर के माध्यम से चलाने के बाद, इसे AVI कंटेनर में सहेजने की आवश्यकता है। यहाँ से निम्नलिखित सबटैक्शंस और उन तरीकों का पालन करें जिनमें वे हल किए गए थे:

एन्कोडिंग से पहले छवि को कुछ रंग मॉडल में लाना आवश्यक है, उदाहरण के लिए YUV420p, हम FFmpeg लाइब्रेरी संस्करण 0.7.1 के सेट से स्वस्केल मॉड्यूल का उपयोग करेंगे।
हम OpenMAX का उपयोग करके प्राप्त बफर को एनकोड करते हैं, पहले इसे कॉन्फ़िगर किया गया है ताकि YUV420p में छवि युक्त इनपुट बफर इनपुट बफर होगा, और आउटपुट बफर छवि के साथ इसे H.264 कोडेक के साथ संसाधित करने के बाद।
हम एक ही FFmpeg का उपयोग करके एक AVI कंटेनर में संकुचित छवि को बचाते हैं।

तो अंक पर:

परिवर्तित

यहां सब कुछ सरल है: हम एक रूपांतरण संदर्भ और दो AVPicture संरचनाएं बनाते हैं। पहला एकल-चैनल छवि के लिए है, दूसरा YUV420p के लिए है:

#define WIDTH 320 #define HEIGHT 240 AVFrame *input_frame = avcodec_alloc_frame(); r = avpicture_alloc((AVPicture *) input_frame, PIX_FMT_GRAY8, WIDTH, HEIGHT); AVFrame *omx_input_frame = avcodec_alloc_frame(); r = avpicture_alloc((AVPicture *) omx_input_frame, PIX_FMT_YUV420P, WIDTH, HEIGHT); SwsContext *img_convert_ctx = sws_getContext(WIDTH, HEIGHT, PIX_FMT_GRAY8, WIDTH, HEIGHT, PIX_FMT_YUV420P, SWS_BICUBIC, NULL, NULL, NULL);

रूपांतरण, क्रमशः, इस प्रकार है:

 avpicture_fill ((AVPicture *) input_frame, (uint8_t *) frame->imageData, PIX_FMT_GRAY8, WIDTH, HEIGHT); buf->nFilledLen = avpicture_fill ((AVPicture *) omx_input_frame, buf->pBuffer, PIX_FMT_YUV420P, WIDTH, HEIGHT); sws_scale(img_convert_ctx, (const uint8_t* const*)input_frame->data, input_frame->linesize, 0, HEIGHT, omx_input_frame->data, omx_input_frame->linesize);

जहां buf कोडेक इनपुट बफर है, और फ्रेम IplImage * कैमरे से है।

कोडिंग

यहाँ यह अधिक जटिल है, विशेष रूप से सही ढंग से और सही क्रम में यह महत्वपूर्ण है कि एनकोडर को प्रारंभ करें:

 OMX_VIDEO_PARAM_PORTFORMATTYPE format; OMX_PARAM_PORTDEFINITIONTYPE def; COMPONENT_T *video_encode; ILCLIENT_T *client; OMX_BUFFERHEADERTYPE *buf; //  OMX_BUFFERHEADERTYPE *out; //  int r = 0; #define VIDEO_ENCODE_PORT_IN 200 #define VIDEO_ENCODE_PORT_OUT 201 #define BITRATE 400000 #define FPS 25 bcm_host_init(); client = ilclient_init(); OMX_Init(); ilclient_create_component(client, &video_encode, "video_encode", (ILCLIENT_CREATE_FLAGS_T)(ILCLIENT_DISABLE_ALL_PORTS | ILCLIENT_ENABLE_INPUT_BUFFERS | ILCLIENT_ENABLE_OUTPUT_BUFFERS)); memset(&def, 0, sizeof(OMX_PARAM_PORTDEFINITIONTYPE)); def.nSize = sizeof(OMX_PARAM_PORTDEFINITIONTYPE); def.nVersion.nVersion = OMX_VERSION; def.nPortIndex = VIDEO_ENCODE_PORT_IN; OMX_GetParameter(ILC_GET_HANDLE(video_encode), OMX_IndexParamPortDefinition, &def); def.format.video.nFrameWidth = WIDTH; def.format.video.nFrameHeight = HEIGHT; def.format.video.xFramerate = FPS << 16; def.format.video.nSliceHeight = def.format.video.nFrameHeight; def.format.video.nStride = def.format.video.nFrameWidth; def.format.video.eColorFormat = OMX_COLOR_FormatYUV420PackedPlanar; r = OMX_SetParameter(ILC_GET_HANDLE(video_encode), OMX_IndexParamPortDefinition, &def);

यहां क्लाइंट बनाया गया है और इनपुट बफर के पैरामीटर सेट किए गए हैं: छवि की ऊँचाई और चौड़ाई, एफपीएस और रंग योजना। पोर्ट 200 विडियो_एन्कोड घटक चालक के लिए डेवलपर्स द्वारा परिभाषित इनपुट पोर्ट है, 201 इस घटक का आउटपुट पोर्ट है। अन्य संचालन (वीडियो डिकोडिंग, ऑडियो एन्कोडिंग, डिकोडिंग, आदि) के लिए, अन्य बंदरगाहों का उपयोग तदनुसार किया जाता है।

 memset(&format, 0, sizeof(OMX_VIDEO_PARAM_PORTFORMATTYPE)); format.nSize = sizeof(OMX_VIDEO_PARAM_PORTFORMATTYPE); format.nVersion.nVersion = OMX_VERSION; format.nPortIndex = VIDEO_ENCODE_PORT_OUT; format.eCompressionFormat = OMX_VIDEO_CodingAVC; r = OMX_SetParameter(ILC_GET_HANDLE(video_encode), OMX_IndexParamVideoPortFormat, &format); OMX_VIDEO_PARAM_BITRATETYPE bitrateType; memset(&bitrateType, 0, sizeof(OMX_VIDEO_PARAM_BITRATETYPE)); bitrateType.nSize = sizeof(OMX_VIDEO_PARAM_PORTFORMATTYPE); bitrateType.nVersion.nVersion = OMX_VERSION; bitrateType.eControlRate = OMX_Video_ControlRateVariable; bitrateType.nTargetBitrate = BITRATE; bitrateType.nPortIndex = VIDEO_ENCODE_PORT_OUT; r = OMX_SetParameter(ILC_GET_HANDLE(video_encode), OMX_IndexParamVideoBitrate, &bitrateType); ilclient_change_component_state(video_encode, OMX_StateIdle);

ऊपर, आउटपुट बफर और बिट दर निर्धारित है। पैरामीटर फॉर्मेट ।eCompressionFormat = OMX_VIDEO_CodingAVC केवल यह निर्धारित करता है कि छवि H.264 में एन्कोडेड होगी। इष्टतम बिटरेट को मैन्युअल रूप से गणना की गई थी, जैसा कि यहां वर्णित है: www.ezs3.com/public/What_bitrate_should_I_use_when_encoding_my_video_How_do_I_optimize_my_video_for_the_web.cfm ।

 ilclient_enable_port_buffers(video_encode, VIDEO_ENCODE_PORT_IN, NULL, NULL, NULL); ilclient_enable_port_buffers(video_encode, VIDEO_ENCODE_PORT_OUT, NULL, NULL, NULL); ilclient_change_component_state(video_encode, OMX_StateExecuting);

इसके बाद, बफ़र्स चालू करें और ड्राइवर को निष्पादन स्थिति में रखें।
दरअसल, एन्कोडिंग ही:

 buf = ilclient_get_input_buffer(video_encode, VIDEO_ENCODE_PORT_IN, 1); OMX_EmptyThisBuffer(ILC_GET_HANDLE(video_encode), buf); out = ilclient_get_output_buffer(video_encode, VIDEO_ENCODE_PORT_OUT, 1); OMX_FillThisBuffer(ILC_GET_HANDLE(video_encode), out);

वीडियो सहेजें

यहाँ, उन लोगों के लिए भी कुछ भी जटिल नहीं है, जिन्होंने FFmpeg का इस्तेमाल किया। आउटपुट स्वरूप के संदर्भ में प्रारंभिक:

 AVCodecContext *cc; char *out_file_name; //    .avi AVOutputFormat *fmt; AVFormatContext *oc; AVStream *video_st; av_register_all(); fmt = av_guess_format(NULL, out_file_name, NULL); oc = avformat_alloc_context(); oc->debug = 1; oc->start_time_realtime = AV_NOPTS_VALUE; oc->start_time = AV_NOPTS_VALUE; oc->duration = 0; oc->bit_rate = 0; oc->oformat = fmt; snprintf(oc->filename, sizeof(out_file_name), "%s", out_file_name); video_st = avformat_new_stream(oc, NULL); cc = video_st->codec; cc->width = WIDTH; cc->height = HEIGHT; cc->codec_id = CODEC_ID_H264; cc->codec_type = AVMEDIA_TYPE_VIDEO; cc->bit_rate = BITRATE; cc->profile = FF_PROFILE_H264_HIGH; cc->level = 41; cc->time_base.den = FPS; cc->time_base.num = 1; video_st->time_base.den = FPS; video_st->time_base.num = 1; video_st->r_frame_rate.num = FPS; video_st->r_frame_rate.den = 1; video_st->start_time = AV_NOPTS_VALUE; cc->sample_aspect_ratio.num = video_st->sample_aspect_ratio.num; cc->sample_aspect_ratio.den = video_st->sample_aspect_ratio.den;

अगला, रिकॉर्डिंग के लिए फ़ाइल खोलें और हेडर और सामग्री प्रारूप के बारे में जानकारी लिखें:

 avio_open(&oc->pb, out_file_name, URL_WRONLY); avformat_write_header(oc, NULL); if (oc->oformat->flags & AVFMT_GLOBALHEADER) oc->streams[0]->codec->flags |= CODEC_FLAG_GLOBAL_HEADER; av_dump_format(oc, 0, out_file_name, 1);

एन्कोडेड छवि को सहेजने की प्रक्रिया:

 AVPacket pkt; AVRational omxtimebase = { 1, FPS}; OMX_TICKS tick = out->nTimeStamp; av_init_packet(&pkt); pkt.stream_index = video_st->index; pkt.data= out->pBuffer; pkt.size= out->nFilledLen; if (out->nFlags & OMX_BUFFERFLAG_SYNCFRAME) pkt.flags |= AV_PKT_FLAG_KEY; pkt.pts = av_rescale_q(((((uint64_t)tick.nHighPart)<<32) | tick.nLowPart), omxtimebase, oc->streams[video_st->index]->time_base); pkt.dts = AV_NOPTS_VALUE; av_write_frame(oc, &pkt); out->nFilledLen = 0;

Av_rescale_q फ़ंक्शन कोडेक टाइमस्टैम्प को कंटेनर में संबंधित फ़्रेम टाइमस्टैम्प में डालता है।
बनाने के लिए, आपको निम्नलिखित हेडर फ़ाइलों को शामिल करना होगा:

 #include "opencv2/core/core_c.h" #include "opencv2/imgproc/imgproc_c.h" #include "libavcodec/avcodec.h" #include "libavformat/avformat.h" #include "libswscale/swscale.h" #include "libavutil/opt.h" #include "libavutil/avutil.h" #include "libavutil/mathematics.h" #include "libavformat/avio.h" #include "bcm_host.h" #include "ilclient.h"

तदनुसार, आपको FFmpeg और OpenCV का निर्माण करना या स्थापित करना होगा, हालांकि वीडियो को फ़ाइल में सहेजने के लिए आपको अन्य पुस्तकालयों का उपयोग करने से कुछ भी नहीं रोक रहा है। फ़ाइलें "bcm_host.h" और "ilclient.h" पथ / ऑप्ट / vc / के उपनिर्देशिकाओं में पाई जा सकती हैं। ilclient.c और ilcore., जिसमें OpenMAX क्लाइंट कोड स्थित है, को प्रोजेक्ट के साथ एक साथ इकट्ठा किया जाता है।
लिंक करने के लिए निम्नलिखित पुस्तकालयों की आवश्यकता है:

 -L/opt/vc/lib -lbcm_host -lopenmaxil -lbcm_host -lvcos -lvchiq_arm –lpthread

ठीक है, इसके अलावा आपको FFmpeg और OpenCV लाइब्रेरी निर्दिष्ट करने की आवश्यकता होगी, उदाहरण के लिए, जैसा कि नीचे दिखाया गया है:

 -L/usr/local/lib -lavcodec -lavformat -lavutil -lswscale \ -L/usr/local/lib -lopencv_imgproc -lopencv_core

वह, वास्तव में, सब है। मैं केवल यह जोड़ूंगा कि जब हमारे वीडियो में सेव किए गए वीडियो फ़ंक्शन के साथ हमारे सिस्टम के बिल्ट-इन एफपीएस का उपयोग किया जाता है, तो वे व्यावहारिक रूप से भिन्न नहीं होते हैं, जबकि पहले सॉफ्टवेयर कोडेक्स एफपीएस का उपयोग करते समय 40-60% तक गिर गया था। अपने लिए देखें:

रास्पबेरी पाई: एन .264 लाइव वीडियो एनकोड करें

परिवर्तित

कोडिंग

वीडियो सहेजें

More articles: