🏴󠁧󠁢󠁥󠁮󠁧󠁿 🤐 🙏🏿 Ffmpeg आधारित वीडियो प्लेयर 🕯️ 📰 💇🏻

हेलो, हेब्र!

यह लेख FFmpeg परियोजना से पुस्तकालयों का उपयोग करते हुए एक साधारण खिलाड़ी के विकास पर केंद्रित होगा।
मुझे इस विषय पर Habré पर लेख नहीं मिला, इसलिए मैंने इस अंतर को भरने का फैसला किया।
वीडियो डिकोडिंग को FFmpeg लाइब्रेरी, डिस्प्ले - SDL का उपयोग करके किया जाएगा।

परिचय

FFmpeg का उपयोग करके, आप बड़ी संख्या में वीडियो प्रसंस्करण कार्य कर सकते हैं: एन्कोडिंग और डिकोडिंग, मल्टीप्लेक्सिंग और डीमुल्टिप्लेक्सिंग। यह मल्टीमीडिया अनुप्रयोगों के विकास को बहुत आसान बनाता है।

मुख्य समस्याओं में से एक, अधिकांश ओपन सोर्स प्रोजेक्ट्स के साथ, प्रलेखन है। यह बहुत छोटा है, और वह जो हमेशा प्रासंगिक नहीं होता है, क्योंकि यह एक तेजी से बदल रही परियोजना है जिसमें कभी-कभी एपीआई बदलते हैं। इसलिए, प्रलेखन का मुख्य स्रोत स्वयं पुस्तकालय का स्रोत कोड है। पुराने लेखों से मैं आपको [1] और [2] पढ़ने की सलाह देता हूं। वे सामान्य रूप से पुस्तकालयों के साथ काम करने का विचार देते हैं।

FFmpeg विभिन्न मीडिया प्रारूपों के साथ काम करने के लिए उपयोगिताओं और पुस्तकालयों का एक समूह है। उपयोगिताओं के बारे में बात करने का शायद कोई मतलब नहीं है - हर किसी ने उनके बारे में सुना है, लेकिन आप पुस्तकालयों पर अधिक विस्तार से रह सकते हैं।

libavutil - में सहायक कार्यों का एक सेट होता है, जिसमें यादृच्छिक संख्या जनरेटर, डेटा संरचनाएं, गणितीय प्रक्रियाएं, बुनियादी मल्टीमीडिया उपयोगिताओं, और बहुत कुछ शामिल होता है;
libavcodec - में ऑडियो / वीडियो कोडेक्स के लिए एन्कोडर्स और डिकोडर्स शामिल हैं (जल्दी से इस वाक्यांश को एक पंक्ति में दस बार उच्चारण करें);
libavformat - मल्टीमीडिया कंटेनरों के मल्टीप्लेक्सर्स और डीमुल्टिप्लेक्स होते हैं;
libavdevice - आम मल्टीमीडिया फ्रेमवर्क से कैप्चरिंग और रेंडरिंग के लिए इनपुट और आउटपुट डिवाइस हैं (Video4Linux, Video4Linux2, VfW, ALSA);
libavfilter - रूपांतरण के लिए फ़िल्टर का एक सेट होता है;
libswscale - चित्र स्केलिंग, रंग स्थान और पिक्सेल प्रारूपों के रूपांतरण के लिए अच्छी तरह से अनुकूलित कार्य शामिल हैं;
libswresample - ऑडियो के ओवरसैंपलिंग और नमूना प्रारूपों के रूपांतरण के लिए अच्छी तरह से अनुकूलित कार्य शामिल हैं।

स्क्रीन पर वीडियो प्रदर्शित करने के लिए, हम एसडीएल का उपयोग करेंगे। यह काफी सरल एपीआई के साथ एक सुविधाजनक और क्रॉस-प्लेटफॉर्म फ्रेमवर्क है।

एक अनुभवी पाठक को लग सकता है कि ऐसा कोई खिलाड़ी FFmpeg वितरण में पहले से ही मौजूद है, इसका कोड ffplay.c फ़ाइल में उपलब्ध है, और यह SDL का भी उपयोग करता है! लेकिन शुरुआती FFmpeg डेवलपर्स को समझने के लिए इसका कोड काफी मुश्किल है और इसमें बहुत सारी अतिरिक्त कार्यक्षमता है।
एक समान खिलाड़ी को [1] में भी वर्णित किया गया है, लेकिन यह उन कार्यों का उपयोग करता है जो अब FFmpeg में नहीं हैं या जिन्हें वे पदावनत कर रहे हैं।
मैं वर्तमान API का उपयोग करके एक न्यूनतर और समझने योग्य खिलाड़ी का उदाहरण देने का प्रयास करूंगा। सरलता के लिए, हम केवल ध्वनि के बिना, वीडियो प्रदर्शित करेंगे।
तो चलिए शुरू करते हैं।

कोड

सबसे पहले, हम आवश्यक हेडर फाइलें शामिल करते हैं:

#include <stdio.h> #include <SDL.h> #include <libavcodec/avcodec.h> #include <libavformat/avformat.h> #include <libswscale/swscale.h>

इस छोटे से उदाहरण में, सभी कोड मुख्य होंगे।
सबसे पहले, av_register_all () के साथ ffmpeg लाइब्रेरी को इनिशियलाइज़ करें। आरंभीकरण के दौरान, लाइब्रेरी में उपलब्ध सभी फ़ाइल प्रारूप और कोड पंजीकृत हैं। उसके बाद, इस प्रारूप की फाइलें और इन कोडेक्स के साथ खोलने पर उनका उपयोग स्वचालित रूप से किया जाएगा।

 int main(int argc, char* argv[]) { if (argc < 2) { printf("Usage: %s filename\n", argv[0]); return 0; } // Register all available file formats and codecs av_register_all();

अब SDL को इनिशियलाइज़ करें। एक तर्क के रूप में, SDL_Init फ़ंक्शन सबसिस्टम का एक सेट लेता है जिसे आरंभीकृत किया जाना चाहिए (एक तार्किक या कई सबसिस्टम को इनिशियलाइज़ करने के लिए उपयोग किया जाता है)। इस उदाहरण में, हमें केवल वीडियो सबसिस्टम की आवश्यकता है।

 int err; // Init SDL with video support err = SDL_Init(SDL_INIT_VIDEO); if (err < 0) { fprintf(stderr, "Unable to init SDL: %s\n", SDL_GetError()); return -1; }

अब हम इनपुट फ़ाइल खोलते हैं। फ़ाइल नाम कमांड लाइन पर पहले तर्क के रूप में पारित किया गया है।
Avformat_open_input फ़ंक्शन फ़ाइल हेडर पढ़ता है और AVFormatContext संरचना में पाए गए स्वरूपों के बारे में जानकारी संग्रहीत करता है। शेष तर्क NULL पर सेट किए जा सकते हैं, जिस स्थिति में libavformat स्वचालित पैरामीटर का पता लगाता है।

  // Open video file const char* filename = argv[1]; AVFormatContext* format_context = NULL; err = avformat_open_input(&format_context, filename, NULL, NULL); if (err < 0) { fprintf(stderr, "ffmpeg: Unable to open input file\n"); return -1; }

क्योंकि चूंकि avformat_open_input केवल फ़ाइल हेडर पढ़ता है, इसलिए अगला चरण फ़ाइल में धाराओं के बारे में जानकारी प्राप्त करना है। यह avformat_find_stream_info फ़ंक्शन द्वारा किया जाता है।

  // Retrieve stream information err = avformat_find_stream_info(format_context, NULL); if (err < 0) { fprintf(stderr, "ffmpeg: Unable to find stream info\n"); return -1; }

उसके बाद, format_context-> स्ट्रीम में सभी मौजूदा फ़ाइल स्ट्रीम शामिल हैं। उनकी संख्या format_context-> nb_streams के बराबर है।
आप av_dump_format फ़ंक्शन के साथ फ़ाइल और सभी धाराओं के बारे में विस्तृत जानकारी प्रदर्शित कर सकते हैं।

 // Dump information about file onto standard error av_dump_format(format_context, 0, argv[1], 0);

अब हमें format_context-> स्ट्रीम में वीडियो स्ट्रीम की संख्या मिलती है । इस संख्या से हम कोडेक संदर्भ ( AVCodecContext ) प्राप्त कर सकते हैं, और फिर इसका उपयोग फ़ाइल को पढ़ते समय पैकेज के प्रकार को निर्धारित करने के लिए किया जाएगा।

  // Find the first video stream int video_stream; for (video_stream = 0; video_stream < format_context->nb_streams; ++video_stream) { if (format_context->streams[video_stream]->codec->codec_type == AVMEDIA_TYPE_VIDEO) { break; } } if (video_stream == format_context->nb_streams) { fprintf(stderr, "ffmpeg: Unable to find video stream\n"); return -1; }

स्ट्रीम में कोडेक के बारे में जानकारी को "कोडेक संदर्भ" ( AVCodecContext ) कहा जाता है। इस जानकारी का उपयोग करके, हम आवश्यक कोडेक ( AVCodec ) पा सकते हैं और इसे खोल सकते हैं।

  AVCodecContext* codec_context = format_context->streams[video_stream]->codec; AVCodec* codec = avcodec_find_decoder(codec_context->codec_id); err = avcodec_open2(codec_context, codec, NULL); if (err < 0) { fprintf(stderr, "ffmpeg: Unable to open codec\n"); return -1; }

एसडीएल का उपयोग करके वीडियो आउटपुट के लिए एक विंडो तैयार करने का समय है (हम वीडियो के आकार को जानते हैं)। सामान्य तौर पर, हम किसी भी आकार की एक विंडो बना सकते हैं और फिर libswscale का उपयोग करके वीडियो को स्केल कर सकते हैं। लेकिन सरलता के लिए, आइए विंडो को वीडियो का आकार बनाएं।
खिड़की के अलावा, आपको एक ओवरले (ओवरले) भी जोड़ना होगा, जिसमें हमारा वीडियो प्रदर्शित होगा। एसडीएल स्क्रीन पर चित्र बनाने के लिए बड़ी संख्या में तरीकों का समर्थन करता है और विशेष रूप से वीडियो प्रदर्शित करने के लिए डिज़ाइन किया गया है - इसे YUV ओवरले कहा जाता है। YUV RGB की तरह एक कलर स्पेस है। वाई - ल्युमा घटक का प्रतिनिधित्व करता है, और यू और वी रंग घटक हैं। यह प्रारूप RGB से अधिक जटिल है क्योंकि रंग की जानकारी का हिस्सा छोड़ दिया गया है और हर 2 वाई नमूने के लिए केवल एक यू और वी नमूना हो सकता है। YUV ओवरले YUV डेटा की एक सरणी लेता है और इसे प्रदर्शित करता है। यह 4 अलग-अलग प्रारूपों का समर्थन करता है, लेकिन उनमें से सबसे तेज वाईवी 12 है। एक और YUV प्रारूप है - YUV420P। यह YV12 के समान है सिवाय इसके कि U और V सरणियाँ उलट जाती हैं। FFmpeg छवियों को YUV420P में परिवर्तित कर सकता है, और अधिकांश वीडियो स्ट्रीम पहले से ही इस प्रारूप में निहित हैं, या बस इसे रूपांतरित किया गया है।
इस प्रकार, हम SDL से YV12 ओवरले का उपयोग करेंगे, वीडियो को FFmpeg में YUV420P फॉर्मेट में रूपांतरित करेंगे, और प्रदर्शित करते समय, U और V के ऑर्डर को स्वैप करेंगे।

  SDL_Surface* screen = SDL_SetVideoMode(codec_context->width, codec_context->height, 0, 0); if (screen == NULL) { fprintf(stderr, "Couldn't set video mode\n"); return -1; } SDL_Overlay* bmp = SDL_CreateYUVOverlay(codec_context->width, codec_context->height, SDL_YV12_OVERLAY, screen);

पिक्सेल स्वरूपों को बदलने के साथ-साथ FFmpeg में स्केलिंग करना, libswscale का उपयोग किया जाता है।
रूपांतरण दो चरणों में किया जाता है। पहला चरण एक परिवर्तन संदर्भ ( संरचना SwsContext ) बनाना है। इससे पहले, दोस्ताना नाम sws_getContext के साथ एक फ़ंक्शन का उपयोग इसके लिए किया गया था । लेकिन अब इसे हटा दिया गया है, और संदर्भ का निर्माण sws_getCachedContext का उपयोग करके करने की सिफारिश की गई है । हम इसका उपयोग करेंगे।

  struct SwsContext* img_convert_context; img_convert_context = sws_getCachedContext(NULL, codec_context->width, codec_context->height, codec_context->pix_fmt, codec_context->width, codec_context->height, PIX_FMT_YUV420P, SWS_BICUBIC, NULL, NULL, NULL); if (img_convert_context == NULL) { fprintf(stderr, "Cannot initialize the conversion context\n"); return -1; }

खैर, यहाँ हम सबसे दिलचस्प हिस्से में आते हैं, जिसका नाम है वीडियो डिस्प्ले।
फ़ाइल से डेटा बैचों ( एवीपैकेट ) में पढ़ा जाता है, और प्रदर्शन के लिए एक फ्रेम ( AVFrame ) का उपयोग किया जाता है।
हम केवल वीडियो स्ट्रीम से संबंधित पैकेजों में रुचि रखते हैं (याद रखें, हमने वीडियो स्ट्रीम में वीडियो स्ट्रीम की संख्या को बचाया है)।
Avcodec_decode_video2 फ़ंक्शन एक फ्रेम में एक पैकेट को कूट-कूट कर उपयोग करता है जो हमें पहले मिला था ( codec_context )। फ़ंक्शन फ्रेम के लिए एक सकारात्मक मान सेट करता है। यदि पूरा फ्रेम डिकोड किया जाता है (यानी, एक फ्रेम कई पैकेटों पर कब्जा कर सकता है और फ्रेम_फिनिश केवल अंतिम पैकेट को डिकोड करने पर सेट किया जाएगा)।

  AVFrame* frame = avcodec_alloc_frame(); AVPacket packet; while (av_read_frame(format_context, &packet) >= 0) { if (packet.stream_index == video_stream) { // Video stream packet int frame_finished; avcodec_decode_video2(codec_context, frame, &frame_finished, &packet); if (frame_finished) {

अब आपको खिड़की में प्रदर्शन के लिए चित्र तैयार करने की आवश्यकता है। सबसे पहले, हम अपने ओवरले को ब्लॉक करते हैं, क्योंकि हम इसे डेटा लिखेंगे। फ़ाइल में वीडियो किसी भी प्रारूप में हो सकता है, और हमने YV12 के लिए प्रदर्शन को कॉन्फ़िगर किया है। लिब्सस्केल बचाव के लिए आता है। इससे पहले, हम img_convert_context रूपांतरण संदर्भ सेट करते हैं। इसे लागू करने का समय आ गया है। मुख्य libswscale विधि बेशक sws_scale है । वह आवश्यक रूपांतरण करता है। सरणियाँ असाइन करते समय सूचकांकों के बेमेल पर ध्यान दें। यह कोई टाइपो नहीं है। जैसा कि पहले उल्लेख किया गया है, YUV420P केवल YV12 से अलग है जिसमें रंग घटक एक अलग क्रम में हैं। हम YUV420P में कनवर्ट करने के लिए libswscale सेट करते हैं, और SDL हमसे YV12 की उम्मीद करता है। यहां हम यू और वी का प्रतिस्थापन करेंगे ताकि सब कुछ सही हो।

  SDL_LockYUVOverlay(bmp); AVPicture pict; pict.data[0] = bmp->pixels[0]; pict.data[1] = bmp->pixels[2]; // it's because YV12 pict.data[2] = bmp->pixels[1]; pict.linesize[0] = bmp->pitches[0]; pict.linesize[1] = bmp->pitches[2]; pict.linesize[2] = bmp->pitches[1]; sws_scale(img_convert_context, frame->data, frame->linesize, 0, codec_context->height, pict.data, pict.linesize); SDL_UnlockYUVOverlay(bmp);

हम विंडो में ओवरले से छवि प्रदर्शित करते हैं।

 SDL_Rect rect; rect.x = 0; rect.y = 0; rect.w = codec_context->width; rect.h = codec_context->height; SDL_DisplayYUVOverlay(bmp, &rect);

पैकेज को संसाधित करने के बाद, आपको उस मेमोरी को मुक्त करने की आवश्यकता है जो वह व्याप्त है। यह av_free_packet फ़ंक्शन द्वारा किया जाता है।

  } } // Free the packet that was allocated by av_read_frame av_free_packet(&packet);

ताकि OS हमारे एप्लिकेशन को हैंग करने पर विचार न करे, साथ ही विंडो को बंद करते समय एप्लिकेशन को पूरा करने के लिए, हम चक्र के अंत में एक एसडीएल ईवेंट की प्रक्रिया करें।

 // Handling SDL events there SDL_Event event; if (SDL_PollEvent(&event)) { if (event.type == SDL_QUIT) { break; } } }

खैर, अब सभी प्रयुक्त संसाधनों की सफाई के लिए मानक प्रक्रिया है।

 sws_freeContext(img_convert_context); // Free the YUV frame av_free(frame); // Close the codec avcodec_close(codec_context); // Close the video file avformat_close_input(&format_context); // Quit SDL SDL_Quit(); return 0; }

हम विधानसभा में पास होते हैं। Gcc का उपयोग करने का सबसे सरल विकल्प कुछ इस प्रकार है:

 gcc player.c -o player -lavutil -lavformat -lavcodec -lswscale -lz -lbz2 `sdl-config --cflags --libs`

हम शुरू करते हैं। और हम क्या देखते हैं? वीडियो जबरदस्त गति से खेल रहा है! सटीक होने के लिए, पढ़ने की गति पर प्लेबैक होता है और किसी फ़ाइल से फ़्रेम को डिकोड करना। दरअसल। हमने फ्रेम दर को नियंत्रित करने के लिए कोड की एक भी पंक्ति नहीं लिखी थी। और यह विषय पहले से ही एक अन्य लेख के लिए है। इस कोड में कई चीजें हैं जिन्हें बेहतर बनाया जा सकता है। उदाहरण के लिए, ध्वनि प्लेबैक जोड़ें, या अन्य धाराओं में फ़ाइल का पढ़ना और प्रदर्शन करना। यदि हेब्रोसोकीटी की दिलचस्पी है, तो मैं निम्नलिखित लेखों में इस बारे में बात करूंगा।

पूरे स्रोत कोड।

आपका ध्यान देने के लिए आप सभी का धन्यवाद!

निरंतरता: ffmpeg वीडियो प्लेयर को अंतिम रूप देना

Ffmpeg आधारित वीडियो प्लेयर

परिचय

कोड

संदर्भ

More articles: