👩‍✈️ ◽️ 👩‍🚒 Directshow.NET का उपयोग करके वीडियो रिकॉर्डिंग 🐑 💆🏼 🔕

शुभ दोपहर, प्रिय Habrausers। कुछ समय पहले मुझे एक सरल विंडोज़-एप्लीकेशन पर काम करना था, जिसमें विभिन्न उपकरणों से ऑडियो और वीडियो का उत्पादन करना आवश्यक था। विशेष रूप से, MAudio कार्ड के छह चैनलों से ऑडियो कैप्चर करना आवश्यक था, और दो AverMedia कैप्चर कार्ड से HD वीडियो कैप्चर, सिग्नल जो घटक इनपुट के माध्यम से वीडियो कैमरों से आया था। इसके अलावा, USB इंटरफ़ेस के माध्यम से जुड़े दस्तावेज़ कैमरा से स्क्रीनशॉट लेना आवश्यक था। एप्लिकेशन को C # में लिखने का निर्णय लिया गया था, और DirectShow.NET लाइब्रेरी का उपयोग करके वीडियो तैयार किया गया था।

इस समस्या के समाधान के आधार पर, विचार एक लेख लिखने और वीडियो कैप्चर के बारे में अनुभव साझा करने के लिए उत्पन्न हुआ। शायद यह जानकारी किसी के लिए उपयोगी होगी। कौन परवाह करता है - मैं एक बिल्ली के लिए पूछता हूं।

एक प्रस्तावना के बजाय।

हालाँकि MediaFoundation का उपयोग ऐसे कार्यों को करने के लिए तेजी से किया जा रहा है, यह मंच, मेरी राय में, अभी भी व्यापक नहीं है, यहां तक कि इस तथ्य को ध्यान में रखते हुए कि माइक्रोसॉफ्ट विंडोज के नए संस्करणों में DirectShow के उपयोग और समर्थन को धीरे-धीरे छोड़ देगा, 8 वीं से शुरू होगा। विभिन्न कंप्यूटर दृष्टि पुस्तकालय हैं जो वीडियो रिकॉर्डिंग का समर्थन करते हैं, जैसे कि OpenCV या AForge, लेकिन सरल वीडियो कैप्चर के साथ, उनकी शक्तिशाली प्रसंस्करण कार्यक्षमता बहुत आवश्यक नहीं है, और ऐसे पुस्तकालयों के अंदर अक्सर DirectShow का उपयोग कर सकते हैं।

DirectShow क्या है और यह कैसे काम करता है, इस बारे में इंटरनेट पर काफी कुछ लेख और सामग्रियां हैं, और इस लेख की जानकारी Habré पर फिसल गई है, इसलिए मैं उन शब्दों को न बताने की कोशिश करूंगा जिन्हें मैं स्वयं नहीं जानता, लेकिन मैं व्यावहारिक पक्ष से सब कुछ पर विचार करूंगा - कैसे एक व्यक्ति जो डायरेक्टशो से पहले परिचित नहीं है, वह अपने वीडियो रिकॉर्डिंग एप्लिकेशन को C # में लिख सकता है, कहां शुरू करना है और कहां स्थानांतरित करना है, और उन समस्याओं के बारे में भी बात करना है जो उसे सामना करना पड़ा था।

एक उदाहरण के लिए ( GitHub पर कोड देखें ) इस लेख के लिए मैं एक साधारण USB कैप्चर कार्ड EasyCap का उपयोग करूंगा:

1. कहाँ से शुरू करें। आवश्यकताएँ, उपकरण, और सूचना

आपके लिए आवश्यक उपकरण हैं:

1) K- लाइट कोडेक पैक मेगा और ग्राफस्टडियो टूल - वीडियो कैप्चर ग्राफ के तेजी से प्रोटोटाइप के लिए।

2) GraphEditPlus - GraphStudio का एक वाणिज्यिक एनालॉग, जो आपको कोड उत्पन्न करने की अनुमति देता है। C ++ और C # में ग्राफ तैयार किया गया। एक 30-दिवसीय परीक्षण संस्करण उपलब्ध है, जिसकी सीमा यह है कि उत्पन्न कोड को क्लिपबोर्ड पर कॉपी नहीं किया जा सकता है।
3) C # विकास का माहौल - मेरे मामले में यह विजुअल स्टूडियो 12 होगा।
4) DirectShow.net लाइब्रेरी।
5) विंडोज मीडियालिब लाइब्रेरी।

दुर्भाग्य से, इंटरनेट पर वीडियो रिकॉर्डिंग एप्लिकेशन बनाने के लिए एक पूर्ण और संरचित मार्गदर्शिका प्राप्त करना संभव नहीं था, लेकिन कुछ पृष्ठों ने सबसे पहले वास्तव में अमूल्य मदद प्रदान की:

1) एक छोटा सा पेज जिसके साथ पूरी प्रक्रिया के लिए एक उत्प्रेरक बन गया है। वहां आप DirectShow.net की कक्षाओं और इंटरफेस का स्पष्ट विवरण भी पा सकते हैं। एक बहुत उपयोगी पृष्ठ और इसके लेखक को बहुत धन्यवाद।
2) इस तरह से ओपन सोर्स कोड, जिसने क्रॉसबार और अन्य मुद्दों से निपटने में मदद की।
3) MSDN, जो DirectShow प्रोग्रामिंग के लिए समर्पित एक पूरा खंड है।

2. फिल्टर, वीडियो ग्राफ निर्माण और दृश्य संपादक

DirectShow रेखांकन फिल्टर से निर्मित होते हैं जो इनपुट और आउटपुट पिंस द्वारा एक दूसरे से जुड़े होते हैं।
इसके बारे में अधिक जानकारी यहाँ हैं ।

ग्राफस्टडियो में सबसे सरल मामले के लिए, आप एक ग्राफ बना सकते हैं, उदाहरण के लिए, एक एकीकृत वीडियो कैमरा के लिए निम्नानुसार है:

लेकिन हमारे कार्य के लिए कई फिल्टर की आवश्यकता होती है, और परिणामस्वरूप ग्राफ (WMV प्रारूप में प्रविष्टियों को ध्यान में रखते हुए) इस तरह दिखना चाहिए:

इस ग्राफ पर फिल्टर हैं:

SMI ग्रैबर डिवाइस (फ़िल्टर समूह - WDM स्ट्रीमिंग कैप्चर डिवाइस) - एक फ़िल्टर जो कैप्चर डिवाइस है, यह इससे है कि हम वीडियो (साथ ही ऑडियो) स्ट्रीम प्राप्त करते हैं। लेकिन इस मामले में, कैप्चर डिवाइस से आने वाली ऑडियो स्ट्रीम को रिकॉर्ड नहीं किया गया है, बल्कि माइक्रोफ़ोन से फ़िल्टर (ऑडियो कैप्चर सोर्स समूह से "माइक्रोफ़ोन ..." फ़िल्टर करें)।

SM BDA क्रॉसबार फ़िल्टर कैप्चर डिवाइस के लिए एक क्रॉसबार फ़िल्टर है, यह इसकी सेटिंग है जो इनपुट सिग्नल के स्विचिंग को निर्धारित करता है, चाहे वह SVideo इनपुट से या समग्र इनपुट से आता है।

स्मार्ट टी - दो आउटपुट के साथ एक स्ट्रीम स्प्लिटर, कैप्चर आउटपुट से स्ट्रीम एक फाइल के लिए लिखा जाता है, और
पूर्वावलोकन आउटपुट से स्ट्रीम AVI डेकोम्प्रेसर फ़िल्टर के माध्यम से पूर्वावलोकन विंडो में जाती है। यह ध्यान दिया जाना चाहिए कि श्रृंखला
AVI Decompressor -> जब आप पूर्वावलोकन का चयन करते हैं तो वीडियो रेंडरर स्वचालित रूप से बनाया जाता है -> रेंडर पिन विकल्प।
(एक विषयांतर के रूप में, मैं ध्यान देता हूं कि विभिन्न प्रकार के रेंडरर फ़िल्टर हैं, और सबसे उन्नत में से एक एन्हांस्ड वीडियो रेंडरर है, लेकिन इस उदाहरण में, सामान्य फ़िल्टर डिफ़ॉल्ट रूप से उपयोग किया जाता है)

WM ASF राइटर एक फिल्टर है जो WMV प्रारूप में आवश्यक गुणवत्ता की वीडियो फ़ाइल रिकॉर्ड करने के लिए सबसे सरल विकल्प प्रदान करता है। उसी समय, उपयोगकर्ता सहित रिकॉर्डिंग गुणवत्ता को बदलना संभव है।

इस ग्राफ़ को चलाकर, आप वीडियो स्रोत रिकॉर्ड की शुद्धता को सत्यापित कर सकते हैं।

3. DirectShow.net पुस्तकालय और कोड में ग्राफ का अनुवाद

3.1। GraphEditPlus में कोड जनरेशन

अगला कदम कोड में परिणामी ग्राफ का अनुवाद करना है। GraphEditPlus उपकरण इस मामले में अमूल्य सहायता प्रदान करता है। सामान्य तौर पर, यह ग्राफ़ संपादक K-Lite बंडल से ग्राफस्टडियो की तुलना में अधिक सुविधाजनक है, लेकिन इसकी सबसे महत्वपूर्ण विशेषता निर्मित ग्राफ से कोड उत्पन्न करने की क्षमता है:

दुर्भाग्यवश , यह टूल कुछ फिल्टर जैसे कि क्रॉसबार या WM ASF राइटर के लिए सेटअप कोड को कस्टमाइज़ नहीं कर सकता है , लेकिन यह पहले चरण के रूप में अमूल्य है।

3.2। वीडियो आवेदन

फिर से, इस आलेख के लिए विशेष रूप से लिखे गए एक साधारण आवेदन के लिए कोड को यहाँ देखा और डाउनलोड किया जा सकता है । मैं इसकी गैर-इष्टतमता और SOLID के उल्लंघन के लिए अग्रिम माफी चाहता हूं, क्योंकि यह सिर्फ एक परीक्षण का मामला है।

इस एप्लिकेशन में, ग्राफ पर मुख्य संचालन (बनाने, नष्ट करने, पिंस की खोज, क्रॉसबार रूटिंग, शुरू, रोकना, और अन्य) अमूर्त VideoCapturebase वर्ग में परिभाषित किए गए हैं , और उत्तराधिकारी वर्ग जैसे BuildGraph() , BuildGraph() एक निर्माण विधि को लागू करते हैं। BuildGraph() श्रृंखला में नए फिल्टर जोड़कर। ControlVideoCommon वर्ग में एक विंडो बनाने और उसमें एक ग्राफ को बांधने के लिए ऑपरेशन होता है, एक ग्राफ को रोकने और नष्ट करने के लिए ऑपरेशन, साथ ही साथ कई अन्य उपयोगितावादी ऑपरेशन।

3.3। हमेशा स्पष्ट बिंदु नहीं

3.3.1। उपकरण जोड़ना

यदि एक ही प्रकार के कई उपकरण हैं (उदाहरण के लिए कई समान कैप्चर कार्ड),
तब उनके पास एक ही गाइड होगा, लेकिन अलग-अलग DisplayName पैरामीटर। इस स्थिति में, आपको निम्नलिखित कोड का उपयोग करके सभी डिवाइस ढूंढने होंगे:

 private readonly List<DsDevice> _captures = new List<DsDevice>(); //... //search for devices foreach (var device in DsDevice.GetDevicesOfCat(FilterCategory.VideoInputDevice)) { if (device.Name.ToLower().Contains(deviceNamePart.ToLower()) { _captures.Add(device); } } //full device paths that differ var devicePath1 = _captures[0].DevicePath; var devicePath2 = _captures[1].DevicePath; //...

इसके अलावा, ग्राफ़ बनाते समय, इस विधि द्वारा प्राप्त devicePath1 और devicePath2 पहले से ही उपयोग किए जाते हैं।

3.3.2। क्रॉसबार रूटिंग

एक वीडियो कैप्चर डिवाइस में विभिन्न प्रकार के वीडियो इनपुट का उपयोग करने के लिए क्रॉसबार नहीं हो सकता है (उदाहरण के लिए, इस उदाहरण से AverMedia और EasyCap है, लेकिन एक अंतर्निहित वेबकैम या एक ब्लैकमैजिक कैप्चर कार्ड नहीं है)। इसलिए, यह आवश्यक है कि क्रॉसबार पर बाध्यकारी स्वचालित हो।

इसके लिए, एक विधि को आधार वर्ग में परिभाषित किया गया है
FixCrossbarRouting(ref IBaseFilter captureFilter, PhysicalConnectorType? physicalConnectorType) , जो आवश्यक इनपुट प्रकार पर स्विच करने के साथ एक क्रॉसबार (यदि कोई हो) को खोजता है और जोड़ता है:

 /// <summary> /// Configure crossbar inputs and connect crossbar to input device /// </summary> /// <param name="captureFilter">Filter to find and connect crossbar for</param> /// <param name="physicalConnectorType">crossbar connector type to be used</param> /// <returns></returns> protected int FixCrossbarRouting(ref IBaseFilter captureFilter, PhysicalConnectorType? physicalConnectorType) { object obj = null; //fixing crossbar routing int hr = CaptureGraphBuilder.FindInterface(FindDirection.UpstreamOnly, null, captureFilter, typeof(DirectShowLib.IAMCrossbar).GUID, out obj); if (hr == 0 && obj != null) { //found something, check if it is a crossbar var crossbar = obj as IAMCrossbar; if (crossbar == null) throw new Exception("Crossbar object has not been created"); int numOutPin; int numInPin; crossbar.get_PinCounts(out numOutPin, out numInPin); //for all output pins for (int iOut = 0; iOut < numOutPin; iOut++) { int pinIndexRelatedOut; PhysicalConnectorType physicalConnectorTypeOut; crossbar.get_CrossbarPinInfo(false, iOut, out pinIndexRelatedOut, out physicalConnectorTypeOut); //for all input pins for (int iIn = 0; iIn < numInPin; iIn++) { // check if we can make a connection between the input pin -> output pin hr = crossbar.CanRoute(iOut, iIn); if (hr == 0) { //it is possible, get input pin info int pinIndexRelatedIn; PhysicalConnectorType physicalConnectorTypeIn; crossbar.get_CrossbarPinInfo(true, iIn, out pinIndexRelatedIn, out physicalConnectorTypeIn); //bool indication if current input oin can be connected to output pin bool canRoute = physicalConnectorTypeIn == physicalConnectorType; //get video from composite channel (CVBS) //should output pin be connected to current input pin if (canRoute) { //connect input pin to output pin hr = crossbar.Route(iOut, iIn); if (hr != 0) throw new Exception("Output and input pins cannot be connected"); } } //if(hr==0) } //for(iIn...) } //for(iOut...) } //if(hr==0 && obj!=null) return hr; }

3.3.3। संसाधनों की रिहाई

यदि आप नष्ट होने पर बनाए गए ग्राफ के संसाधनों को जारी नहीं करते हैं, तो पहले फिल्टर के रूप में उसी फिल्टर का उपयोग करके ग्राफ का एक और उदाहरण बनाना असफल हो जाएगा, इसलिए, आपको DisposeFilters() विधि को कॉल करना होगा, जिसमें फ़िल्टर नष्ट ग्राफ से हटा दिए जाते हैं। कुछ प्रयोगों के बाद, निम्न कोड ने ठीक काम किया।

 if (Graph == null) return; IEnumFilters ef; var f = new IBaseFilter[1]; int hr = Graph.EnumFilters(out ef); if (hr == 0) { while (0 == ef.Next(1, f, IntPtr.Zero)) { Graph.RemoveFilter(f[0]); ef.Reset(); } } Graph = null;

3.3.4। स्ट्रीम कॉन्फ़िगरेशन (फ़्रेम दर, रिज़ॉल्यूशन, आदि)

वीडियो कैप्चर डिवाइस विभिन्न वीडियो स्ट्रीम कॉन्फ़िगरेशन का उत्पादन कर सकते हैं, जिनके बीच आप स्विच कर सकते हैं। उदाहरण के लिए, एक एचडी कैमरा 60 फ्रेम प्रति सेकंड पर 640 से 480 चित्र और 30 फ्रेम प्रति सेकंड के साथ एचडी गुणवत्ता चित्र दोनों का उत्पादन कर सकता है। फ्रेम दर के लिए, 29.97 फ्रेम प्रति सेकंड जैसे भिन्नात्मक अंक भी हैं। इस तरह के मापदंडों को कॉन्फ़िगर करने के लिए, आपको FindInterface इंटरफेस के FindInterface विधि का उपयोग करके एक streamConfigObject ऑब्जेक्ट बनाने की आवश्यकता है, इसे IAMStreamConfig इंटरफ़ेस पर IAMStreamConfig , GetFormat विधि को कॉल करें, GetFormat प्रकार का ऑब्जेक्ट AMMEdiaType प्राप्त करने के लिए, हेडर प्राप्त करें:

 var infoHeader = (VideoInfoHeader)Marshal.PtrToStructure(mediaType.formatPtr, typeof(VideoInfoHeader));

इसके मापदंडों पर संचालन करना जारी रखें
AvgTimePerFrame,
BmiHeader.Width,
BmiHeader.Height
और अन्य।

यह कोड में VideoCaptureAsfRecord वर्ग के ConfigureResolution और ConfigureFramerate विधि में देखा जा सकता है।

3.3.5। स्क्रीनशॉट

वीडियो स्ट्रीम से स्क्रीनशॉट लेने में सक्षम होने के लिए, आपको उस वर्ग को इनहेरिट करना होगा जिसमें ग्राफ ( ISampleGrabberCB ) ISampleGrabberCB से बनाया गया है, और दो तरीकों को फिर से परिभाषित करें - BufferCB और SampleCB ।
SampleCB खाली हो सकता है, और BufferCB परिणामस्वरूप सरणी की प्रतिलिपि बनाते हैं:

 if ((pBuffer != IntPtr.Zero) && (bufferLen > 1000) && (bufferLen <= _savedArray.Length)) { Marshal.Copy(pBuffer, _savedArray, 0, bufferLen); }

हैंडलर को बुलाने के साथ:

 _invokerControl.BeginInvoke(new CaptureDone(OnCaptureDone))

जहां विधि को बुलाया जाना चाहिए
SetCallback SamlpleGrabber 'ए

 _iSampleGrabber.SetCallback(null, 0);

BuildGraph विधि में, BuildGraph आप श्रृंखला में SampleGrabber फ़िल्टर को चालू BuildGraph हैं, BuildGraph आपको इसे कॉन्फ़िगर करना चाहिए, और अन्य फ़िल्टर जोड़ने के बाद ट्यूनिंग करना चाहिए (जादू, लेकिन यह अन्यथा काम नहीं करता है)। परीक्षण के मामले में, ConfigureSampleGrabberInitial() और ConfigureSampleGrabberFinal() विधियाँ इसके लिए जिम्मेदार हैं। प्रारंभिक सेटअप के दौरान, AMMEdiaType निर्धारित किया जाता है, और अंतिम सेटअप के दौरान, VideoInfoHeader स्थापित करें और दो ISampleGrabber विधियों को कॉल करें: SetBufferSamples(false) और SetOneShot(false) ।
पहला फिल्टर के माध्यम से गुजरने वाले नमूनों की बफरिंग को अक्षम करने के लिए आवश्यक है, और दूसरा - ताकि स्क्रीनशॉट के कॉलबैक फ़ंक्शन को कई बार खींचा जा सके।

3.3.6। Wmv प्रारूप, .prx और WindowsMediaLib फ़ाइलें

स्वीकार्य रिकॉर्डिंग गुणवत्ता सुनिश्चित करने के लिए, आपको wmv फ़ाइल की रिकॉर्डिंग सेटिंग्स को फिर से परिभाषित करना होगा।
ऐसा करने का सबसे आसान तरीका एक्सटेंशन के साथ एक उपयोगकर्ता प्रोफ़ाइल फ़ाइल बनाना है। इसमें मौजूद स्ट्रीम की गुणवत्ता के लिए जिम्मेदार पैरामीटर को ओवरराइड करें और ओवरराइड करें। कोड में इस फ़ाइल का एक उदाहरण good.prx है

प्रोफ़ाइल फ़ाइलों को पढ़ने के लिए और उनसे ConfigProfileFromFile(IBaseFilter asfWriter, string filename) मेथड ConfigProfileFromFile(IBaseFilter asfWriter, string filename) में प्रोफाइल बनाने के लिए, GPL लाइसेंस के तहत वितरित टीम MediaPortal प्रोजेक्ट से WMLib क्लास का उपयोग किया गया। एक बार बनाने के बाद, प्रोफाइल को ConfigureFilterUsingProfile(wmProfile) इंटरफ़ेस के ConfigureFilterUsingProfile(wmProfile) विधि के माध्यम से ASF राइटर पर लागू किया जाता है।

एक आफ्टरवर्ड या बिग प्रॉब्लम के बजाय मुझे सामना करना पड़ा

Mpeg4Layer3, Codecs, AVIMux और ऑडियो और वीडियो सिंक्रनाइज़ेशन

अनुप्रयोग के विकास की शुरुआत में, Mpeg4 प्रारूप में वीडियो रिकॉर्ड करने और Layer3 प्रारूप में ध्वनि को रिकॉर्ड करने का विचार किया गया था, एवीआई MUX के साथ इन सभी को एक ही फाइल में जोड़कर, जैसा कि निम्नलिखित ग्राफ में है:

जहाँ XVid कोडेक फ़िल्टर के स्थान पर Mpeg-4 में वीडियो कम्प्रेसर से कोई फ़िल्टर हो सकता है। Xvid और ffdshow, और कुछ अन्य फ़िल्टरों का उपयोग करने के लिए प्रयास किए गए थे, हालाँकि, ग्राफ़ को वीडियो रिकॉर्ड करने के लिए मजबूर करने के कई प्रयासों के बाद, यह स्पष्ट हो गया कि सब कुछ उतना सरल नहीं है जितना पहली नज़र में लगता है। शुरू होने के कुछ समय बाद रिकॉर्डिंग को तोड़ने की समस्या थी। यहाँ कारण, जाहिरा तौर पर, इस तथ्य में निहित है कि AVI MUX कंटेनर में वीडियो और ऑडियो को मिलाते समय, वीडियो और ऑडियो ट्रैक स्वचालित रूप से सिंक्रनाइज़ नहीं किए जाते हैं, और यहां तक कि सही आवृत्ति के समायोजन के साथ, ग्राफ़ एक यादृच्छिक क्षण में बंद हो सकता है, जबकि रिकॉर्डिंग बाधित हो गई थी, और प्लेबैक के दौरान यह संभव था। ध्यान दें कि ऑडियो और वीडियो सिंक से बाहर हैं।

दुर्भाग्य से, मैं इस समस्या के समाधान के बारे में बात नहीं कर सकता, क्योंकि मुझे एएसएफ लेखक का उपयोग करके wmv प्रारूप में रिकॉर्डिंग में स्थानांतरित करके - इसे एक कट्टरपंथी तरीके से निपटना था।

यदि यह लेख किसी ऐसे व्यक्ति द्वारा पढ़ा गया है जिसने सामना किया है और इस समस्या से परिचित है, तो मुझे सलाह देने में खुशी होगी।

आपका ध्यान और रुचि के लिए बहुत बहुत धन्यवाद, मुझे आशा है कि यह लेख घातक रूप से उबाऊ नहीं था, और मुझे यह भी उम्मीद है कि यह सामग्री किसी के लिए व्यावहारिक उपयोग हो सकती है।

Directshow.NET का उपयोग करके वीडियो रिकॉर्डिंग