इंटेल एचडी एंबेडेड वीडियो का उपयोग करते हुए वीडियो एन्कोडिंग

इस पोस्ट में, हम आधुनिक इंटेल प्रोसेसर में एकीकृत GPU पर h264 वीडियो कोडेक का उपयोग करते हुए "एक औद्योगिक पैमाने पर" वीडियो एन्कोडिंग के मुद्दों पर ध्यान केंद्रित करेंगे और अनुभव करेंगे कि हमारी कंपनी इन्वेंटोस ने वीडियो स्ट्रीमिंग के प्रसंस्करण के लिए एक मीडिया सर्वर बनाने और अनुकूलन की प्रक्रिया में अधिग्रहण किया है।

परिचय

तो, कार्य एक मीडिया सर्वर विकसित करना था, जो सभी अवसरों के लिए "हारवेस्टर" का एक प्रकार है और निम्नलिखित कार्य करने में सक्षम है:

• HLS, HDS, RTMP, mp4, आदि सहित लगभग सभी ज्ञात प्रारूपों के लिए ऑडियो / वीडियो को एन्कोडिंग / रीसम्पलिंग करना;
• एसडीआई, डीवीबी से समर्थन सिग्नल पिक-अप;
• संतुलन और स्केलिंग वितरण और कोडिंग सर्वर;
• एम्बेडेड भाषा में एनकोडर कॉन्फ़िगरेशन का विवरण;
• ध्वनि सामान्यीकरण, प्रवर्धन, वीडियो डिएनेरलिंग, आदि के लिए विभिन्न मॉड्यूल।

यह उत्पाद, जिसका नाम "स्ट्रीमबिल्डर" है, वेबकास्टर.प्रो मीडिया प्लेटफॉर्म का बैकएंड है। समाधान C ++ में लिबावकोडेक लाइब्रेरीज़ का उपयोग करते हुए लिखा गया है, जो कई जाने-माने कोडेक्स को लागू करते हैं, जैसे कि h264, mpeg4, आदि। यह समाधान आपको किसी भी जटिलता की सामग्री वितरण संरचना को जल्दी से तैनात करने की अनुमति देता है और कॉन्फ़िगरेशन के मामले में लचीला है।

हमारा मीडिया सर्वर, या बल्कि, कॉन्फ़िगरेशन भाषा, हमें एक निर्देशित चक्रीय ग्राफ के रूप में ऑडियो / वीडियो प्रसंस्करण के सभी चरणों का प्रतिनिधित्व करने की अनुमति देता है। जड़ शीर्ष पर संकेत का स्रोत है, और बाकी विभिन्न ब्लॉक हैं जो डेटा पर संचालन करते हैं। कॉन्फ़िगरेशन फ़ाइलों का उपयोग करके, हम उन ग्राफ़ का वर्णन कर सकते हैं जो लगभग किसी भी आवश्यकता को पूरा करते हैं। बहुत ही सरल रूप में, यह ग्राफ इस तरह दिखेगा:



इस तथ्य के बावजूद कि लिबावकोडेक लाइब्रेरीज़ के कोड को अच्छी तरह से अनुकूलित किया गया है, यह सीपीयू पर काम करने के लिए डिज़ाइन किया गया है जिसमें एक्ट्यूएटर्स की एक सीमित संख्या है, जैसे कि x86 आधारित। कोर की संख्या में वृद्धि केवल आंशिक रूप से समस्या को हल करती है, क्योंकि यह सस्ता नहीं है, और कोर में हमेशा एन्कोडिंग वीडियो के अलावा लोड करने के लिए कुछ होता है। और एक तार्किक कदम इस समस्या को हल करने के लिए ग्राफिक्स त्वरक की क्षमताओं का उपयोग करने का एक प्रयास था।

अब थोड़ा वीडियो एन्कोडिंग के बारे में ही। जैसा कि आप जानते हैं, वीडियो संपीड़न का आधार गणित के विभिन्न वर्गों से कई एल्गोरिदम हैं। यह फूरियर विश्लेषण, वेवलेट्स, मैट्रिसेस, वैक्टर, प्रोबेबिलिस्टिक एल्गोरिदम, आदि के साथ संचालन है। यह एक चीज को जोड़ती है - वे सभी किसी न किसी तरह से वीडियो डेटा के साथ काम करते हैं, जो वैक्टर और मैट्रीस के अलावा कुछ भी नहीं है। हम विशिष्ट वीडियो कोडेक्स की संपीड़न सुविधाओं में नहीं झुकेंगे, लेकिन यह समझा जाना चाहिए कि ऐसे कार्य स्मृति और विशेष रूप से प्रोसेसर समय के मामले में बेहद संसाधन-गहन हैं। खासकर जब यह औद्योगिक पैमाने पर कोडिंग की बात आती है। कुछ समय पहले तक, केंद्रीय प्रोसेसर पर कोडिंग प्रक्रिया की जाती थी। सीपीयू को मुख्य रूप से सीमित संख्या में निष्पादन इकाइयों की विशेषता है। और इस तथ्य के बावजूद कि आधुनिक प्रोसेसर में कई कोर दिखाई दिए हैं, निष्पादन इकाइयों की संख्या सीमित रहती है। बेशक, प्रोसेसर निर्माता अपने चिप्स में सुपरस्क्लेर आर्किटेक्चर तत्व जोड़ते हैं (उदाहरण के लिए, इंटेल का SSExxx / AVX निर्देश सेट)। वे आपको एक निर्देश के साथ एक ही प्रकार की कई संख्याओं को संसाधित करने की अनुमति देते हैं, लेकिन वीडियो संपीड़न जैसे हमेशा कार्य होते हैं, जब अभी भी कई संसाधन नहीं हैं, खासकर नए प्रसारण मानकों (एचडी, 4k, आदि) के उद्भव के प्रकाश में। जीपीयू, बदले में, निष्पादन इकाइयों की एक बड़ी संख्या है, जो, हालांकि, सीमित संख्या में निर्देशों का निष्पादन कर सकता है। तदनुसार, GPUs समानांतर एल्गोरिदम का उपयोग करके एक ही प्रकार के डेटा को संसाधित करने के लिए आदर्श हैं। इसके अलावा, कई GPU निर्माता मल्टीमीडिया वीडियो के प्रसंस्करण में तेजी लाने के लिए अपने वीडियो त्वरक पर अतिरिक्त कमांड जोड़ते हैं।

इंटेल समाधान

प्रयोग के रूप में, हमने आधुनिक इंटेल प्रोसेसर में निर्मित इंटेल एचडी ग्राफिक्स सह-प्रोसेसर का उपयोग करके वीडियो एन्कोडिंग को गति देने का प्रयास करने का निर्णय लिया। इंटेल कृपया अपने मीडिया एसडीके को एन्कोडिंग, डिकोडिंग, रीसम्पलिंग और अन्य वीडियो प्रोसेसिंग एल्गोरिदम प्रदान करता है। यह एसडीके, हमारे महान आनंद के लिए, अब लिनक्स के लिए उपलब्ध है, जो औद्योगिक उपयोग के लिए अत्यंत महत्वपूर्ण है। यह लिनक्स समर्थन के आगमन के लिए धन्यवाद था कि हम इस समाधान में रुचि रखते हैं। इंटेल के सहकर्मी औद्योगिक उपयोग में इस एसडीके के व्यावहारिक उपयोग के परिणामों में भी रुचि रखते हैं। उसी समय, मुझे ध्यान देना चाहिए कि पूरे विकास काल में, इंटेल के कर्मचारियों ने हमारी बहुत मदद की, सवालों के जवाब दिए (जो पहले कई थे) और वास्तव में मूल्यवान सलाह दी।

साथ में मीडिया एसडीके लगभग सभी अवसरों के लिए अच्छे प्रलेखन और उदाहरणों के साथ आता है। इंटेल मीडिया एसडीके के एकीकरण की प्रक्रिया ने उदाहरणों की उपलब्धता को बहुत सरल कर दिया; उनके बिना, यह कहा जाना चाहिए कि यह सबसे महत्वपूर्ण नहीं लगेगा। एकीकरण का सार इंटेल एचडी ग्राफिक्स की हार्डवेयर क्षमताओं का उपयोग करके उपयुक्त मॉड्यूल के साथ सबसे अधिक मांग वाले हार्डवेयर एन्कोडिंग / डिकोडिंग / रीसम्प्लिंग सॉफ़्टवेयर मॉड्यूल को बदलना था।

परीक्षण

हमारे परीक्षण बेंच का कॉन्फ़िगरेशन: प्रोसेसर i7-3770 3.4 GHz, मेमोरी 3 जीबी। Linux सर्वर संस्करण के लिए Intel Media SDK 16.1.0.10043 है। विभिन्न मीडिया फ़ाइलों को एक स्रोत के रूप में लिया गया था और परिणाम औसत था।

H264 में RAW वीडियो एनकोडिंग

	ffmpeg	इंटेल मीडिया sdk
720x608, h264 RAW, 30 सेकंड, 3000 kb / s	1.2 सेकंड	0.24 सेकंड

Ffmpeg डिक्सर / मक्सर के साथ ट्रांसकोडिंग का उदाहरण (ऑडियो पैकेट ट्रांसकोडिंग के बिना लिखे गए थे)

	ffmpeg	इंटेल मीडिया sdk
720x608, aac + h264, 30 सेकंड, 3000 kb / s	1.6 सेकंड	0.32 सेकंड

streambuilder

	सरल धारा	इंटेल मीडिया sdk के साथ
1920x800 + आकार 1280x720, 3000 kb / s h264, aac, 12 मिनट	5.4 मि	2.3 मि

अब आइए परिणामों को देखें। आरंभ करने के लिए, हमने किट के साथ आए उदाहरण एकत्र किए। H264 में RA एन्कोडिंग वीडियो में, परीक्षण कार्यक्रम ने ffmpeg h264 एनकोडर को 4-5 बार समान मापदंडों के साथ पछाड़ दिया, और आपको डिस्क लिखने / पढ़ने के संचालन (यानी वास्तविक परिणाम थोड़ा अधिक है) पर खर्च किए गए समय के लिए सुधार करने की आवश्यकता है। एक ही समय में 100% सभी CPU कोर लोड Fmpeg। वीडियो डिकोडर और हार्डवेयर आकार परिवर्तन समान परिणाम दिखाते हैं। हमने साथ में ffmpeg डिमॉक्सर / मक्सर के साथ ट्रांसकोडिंग का एक उदाहरण भी दिया। यह उदाहरण फ़्रेम के साथ काम करने के लिए एक विशेष प्रकार की मेमोरी का उपयोग करता है और इसमें फ़्रेम को डिकोडर से एन्कोडर में स्थानांतरित किया जाता है, जो सिस्टम मेमोरी में एसडीके मेमोरी से वाईयूवी प्रारूप में डेटा कॉपी करने के चरण को दरकिनार करता है। तदनुसार, यहां इंटेल मीडिया एसडीके ने एफएफएमपी का उपयोग करके समान ट्रांसकोडिंग की तुलना में 5 गुना अधिक औसत प्रदर्शन किया।

हमारे मीडिया कन्वेयर ने हार्डवेयर कोडिंग मॉड्यूल के साथ मिलकर उत्पादकता में 2-3 गुना वृद्धि दिखाई। और यह अपेक्षित परिणाम है, क्योंकि अधिकांश प्रदर्शन मेमोरी कॉपी ऑपरेशन पर खो गए थे। Gprof से पता चला है कि प्रोसेसर का 80% समय मेमोरी के साथ काम करने में बिताया गया था, जिससे हार्डवेयर एनकोडर या डिकोडर को फ्रेम की आपूर्ति में देरी हुई। हालांकि, हम निकट भविष्य में इस समस्या को बंद करने की योजना बनाते हैं, विभिन्न मॉड्यूल के बीच पैकेट का आदान-प्रदान करते समय सीधे इंटेल एसडीके मेमोरी संरचनाओं का उपयोग करते हैं। हम यहां उत्पादकता में उल्लेखनीय वृद्धि की उम्मीद करते हैं।

तो, इंटेल के समाधान के फायदे के रूप में, निम्नलिखित को प्रतिष्ठित किया जा सकता है।

• हार्डवेयर एनकोडर (h264 के लिए) एन्कोडिंग मापदंडों को सॉफ्टवेयर एनकोडर (libavcodec) की तुलना में अधिक पर्याप्त रूप से लेता है। उदाहरण के लिए, एन्कोडिंग के दौरान बिट दर अधिक सटीक रूप से बनाए रखा गया था। Ffmpeg एपीआई के लिए इसे लंबे समय तक और दर्द से उठाना आवश्यक है;
• एन्कोडिंग करते समय, लगभग कोई प्रोसेसर उपयोग नहीं किया जाता है। हमारे परीक्षणों में, सीपीयू का उपयोग पाइपलाइन के अंदर ऑडियो स्ट्रीम और मेमोरी ऑपरेशन को ट्रांसकोड करने के लिए किया गया था। कुल भार 25% था (4 में से लगभग एक कोर लोड किया गया था)।

इस समाधान के minuses से, हम एसडीके के केवल एक उच्च प्रवेश दहलीज और बाइंडिंग को एक विशिष्ट लिनक्स कर्नेल के लिए नोट कर सकते हैं, लेकिन यह हमारे लिए महत्वपूर्ण नहीं लगता।

आगे क्या है

नतीजतन, मैं यह नोट कर सकता हूं कि लगभग 1 व्यक्ति-महीने (परीक्षण को छोड़कर) में पूरे उत्पाद के बुनियादी ढांचे को नए एपीआई में स्थानांतरित किया जा सकता है। इसके अलावा, हमने पुराने API का उपयोग किया है। एसडीके के नए संस्करण में कई नए उपहार हैं, जैसे कि 100 फ्रेम पर दो-पास एन्कोडिंग का एक एनालॉग, एक एन्कोडेड पैकेट के डॉट्स की गणना, वीडियो की गुणवत्ता में वृद्धि आदि। परीक्षणों के लिए, हमने एक नियमित रूप से शक्तिशाली सीपीयू के साथ डेस्कटॉप कंप्यूटर का उपयोग किया। निकट भविष्य में हम एपीआई के एक नए संस्करण की कोशिश करने की योजना बनाते हैं, साथ ही सर्वर समाधान पर परीक्षण भी करते हैं। इसके अलावा, हम अधिक संपूर्ण चित्र प्राप्त करने के लिए मापदंडों के विभिन्न सेटों पर उन्नत परीक्षण करने की योजना बनाते हैं, जिसके परिणाम हम निकट भविष्य में साझा करेंगे।

युपीडी
यहां दो वीडियो हैं: पहला ffmpeg का उपयोग करके एन्कोडिंग द्वारा प्राप्त किया गया है, दूसरा इंटेल मीडिया एसडीके का उपयोग करके। और वहां और लगभग सभी डिफ़ॉल्ट पैरामीटर, 8000 Kb / s बिटरेट करते हैं।
webcaster.pro/video1.mp4
webcaster.pro/video2.mp4