प्रत्यक्ष वीडियो विभाजन और DirectShow के साथ gluing

हमारा एक विभाग कारों के लिए मल्टीमीडिया घटकों के मैनुअल परीक्षण में लगा हुआ है। उसी समय, सभी क्रियाएं (बटन दबाने, डिस्क डालने, आदि) और सिस्टम प्रतिक्रियाएं लगातार दर्ज की जा रही हैं: कैमरों में से एक को प्रदर्शन के लिए निर्देशित किया जाता है। इस मामले में वीडियो त्रुटि को देखने का सबूत है, और डेवलपर्स को बहुमूल्य जानकारी भी प्रदान करता है कि क्या कार्रवाई की गई थी और कितनी जल्दी। सहमत, बग रिपोर्ट के लिए जानकारी बहुत महत्वपूर्ण है, है ना?

प्रणालियों की ख़ासियत यह है कि परीक्षण के मामले के किसी भी चरण में, या केवल स्टैंडबाय मोड में, जब वीडियो रिकॉर्डिंग नहीं की जाती है, तो त्रुटि अनायास और अप्रत्याशित रूप से हो सकती है। मैं इच्छुक लोगों को बिल्ली के लिए आमंत्रित कर रहा हूं, जहां मैं एक समाधान का वर्णन करूंगा जिसे मैंने बिना किसी विभाजन के और वीडियो के विभाजन के लिए विकसित किया है। उसके लिए धन्यवाद, रिकॉर्डिंग पूरे दिन की जाती है, और वीडियो को सुविधाजनक छोटी फ़ाइलों में सहेजा जाता है, जो हमें दुर्लभ त्रुटियों को पकड़ने और दस्तावेज़ करने की अनुमति देता है, और साथ ही असंभव सिस्टम प्रतिक्रियाओं के साथ दर्जनों वीडियो के साथ डेवलपर्स को प्रसन्न करता है।

वीडियो क्यों तोड़ें?

वास्तव में - क्यों? वे अपने लिए आठ-घंटे की फ़ाइलों को सहेजते हैं, और फिर कुछ वीडियो संपादक में वे वांछित वीडियो के टुकड़े काटते हैं, और यह अंत है। दरअसल, यह पहले हुआ था, लेकिन कई कमियां हैं: लंबी फाइलों में खुदाई करना असुविधाजनक है, काटने के बाद, एक तरह से या किसी अन्य, आपको समय और गुणवत्ता के नुकसान के साथ वीडियो को फिर से प्रिंट करना होगा, और डिस्क स्थान अभी तक रबर नहीं है। इसके अलावा, जितनी जल्दी या बाद में आपको फ़ाइलों के साथ काम करने में सक्षम होने के लिए रिकॉर्डिंग को रोकना होगा, और यहां, अर्थ के कानून के अनुसार, सबसे हानिकारक और गैर-दोहराव वाली त्रुटियां हमेशा होती हैं। सामान्य तौर पर, निर्णय - रिकॉर्डिंग चरण में कटौती की जानी चाहिए!

DirectShow हमें क्या प्रदान करता है?

कार्यान्वयन के लिए, DirectShow प्रौद्योगिकी को चुना गया था। आवश्यकताओं में से एक यह भी है कि आउटपुट विंडोज मीडिया फाइलें होनी चाहिए, अर्थात् WMV3 , इसलिए यह मक्खी पर संपीड़न करने का निर्णय लिया गया था, क्योंकि आधुनिक कंप्यूटर आसानी से ऐसा कर सकते हैं। मुख्य विचार यह है: हमें किसी भी समय एक फ्रेम को खोए बिना आने वाली ऑडियो और वीडियो स्ट्रीम को किसी अन्य फ़ाइल पर स्विच करने की क्षमता की आवश्यकता है। इसलिए हम स्थायी फाइलों में रिकॉर्ड कर सकते हैं, कह सकते हैं, दो मिनट और, यदि आवश्यक हो, तो उन्हें मूल रूप से गोंद करें।

आइए, विंडोज मीडिया प्रारूप में ध्वनि और पूर्वावलोकन के साथ वीडियो रिकॉर्डिंग के लिए सबसे आम फिल्टर ग्राफ बनाएं। आपको ऐसा कुछ मिलता है:


यह ग्राफ़ कैसे काम करता है? ऑडियो और वीडियो के लिए दो इनपुट फिल्टर विभिन्न धाराओं द्वारा दिए जाते हैं जो निम्नलिखित फिल्टर के इनपुट पिन को नमूने वितरित करते हैं। स्मार्ट टी फिल्टर का उपयोग करते हुए, हम आने वाले वीडियो डेटा को डुप्लिकेट करते हैं, एक कॉपी वीडियो रेंडरर में स्क्रीन पर भेजी जाती है, और दूसरा WM ASF राइटर फ़िल्टर पर जाता है, जो वास्तव में ऑडियो और वीडियो को सिंक्रनाइज़ करता है, उन्हें संपीड़ित करता है और एक फाइल पर लिखता है।

दो फ़िल्टरों के साथ "हेड-ऑन" समाधान जो आउटपुट फ़ाइलों के नाम को बदलकर ग्राफ में परस्पर उपयोग किया जा सकता है, काम नहीं करता है।


DirectShow ग्राफ़ में एक विशेषता है: जब तक इसे रोका नहीं जाता है, तब तक इसके सभी "आउटपुट" फ़िल्टर फाइलों को खुला रखते हैं और उन्हें अंतिम रूप नहीं देते हैं। इसके अलावा, बिना ग्राफ़ को रोकें, आउटपुट फ़ाइलों के नाम बदलना या कनेक्ट / डिस्कनेक्ट फ़िल्टर को नामुमकिन करना असंभव है। लेकिन ग्राफ को रोकना और शुरू करना कई फ्रेमों, या यहां तक ​​कि कई सेकंड के नुकसान से भरा होता है! यह स्पष्ट है कि मानक साधन नहीं कर सकते।

स्वयं रेखांकन

एक समाधान रिकॉर्ड ग्राफ को कैप्चर ग्राफ से स्वतंत्र करना है ताकि आप फ़ाइलों को अंतिम रूप देने के लिए उत्तरार्द्ध को रोक सकें। यह संभव है, उदाहरण के लिए, डायरेक्टशो के निर्माता - गेरेंट डेविस से जीएमएफब्रिज का उपयोग करना। संपूर्ण प्रणाली की एक अनुमानित योजना इस तरह दिखाई देगी:


GMFBridge तीनों ग्राफ़ में एक साथ स्थित होता है, जिससे आप फ्लाई पर पहले और दूसरे रिकॉर्ड ग्राफ़ के बीच नमूना धाराओं को स्विच कर सकते हैं, एक भी नमूना खोए बिना। जबकि रिकॉर्डिंग ग्राफ़ में से एक हमारे वीडियो को सह-प्रेस करता है, हम दूसरे ग्राफ़ (आउटपुट फ़ाइल का नाम) की स्थापना कर रहे हैं, क्योंकि यह दूसरों को प्रभावित किए बिना बहुत अच्छी तरह से रोका जा सकता है। सही समय पर, हम दूसरा ग्राफ शुरू करते हैं, GMFBridge को स्विच करते हैं और पहले को रोकते हैं। देखा!

लेकिन इस तरह के समाधान के स्पष्ट नुकसान हैं। पहला, संसाधन। आपके पास रिकॉर्डिंग ग्राफ़ की दो प्रतियां होनी चाहिए, जो समग्र प्रदर्शन और मेमोरी उपयोग को नकारात्मक रूप से प्रभावित करती हैं। इसके अलावा, वीडियो और ऑडियो दोनों की उपस्थिति में, उन्हें सिंक्रनाइज़ करना बेहद मुश्किल है - प्रत्येक ग्राफ की अपनी उलटी गिनती है, इसके अलावा, नमूने स्वयं विभिन्न धाराओं में वितरित किए जाते हैं। यह सब स्विचिंग के समय GMFBridge के स्वतःस्फूर्त जमाव के कारण हुआ, इसलिए इस निर्णय को अस्वीकार करने का निर्णय लिया गया। उपकरण का स्रोत कोड, निश्चित रूप से खुला है, और यदि आप चाहते हैं, तो आप इसके अस्थिर संचालन के कारणों का पता लगा सकते हैं, लेकिन फिर भी संसाधनों को बचाने की इच्छा से बाहर निकल गए, और मैंने दूसरी तरफ से काम करने का फैसला किया।

आपका ASF लेखक लेखन

वरीयता और शिष्टाचार के साथ । बिलकुल सही! हमें WM ASF राइटर की आवश्यकता है जो ग्राफ़ को रोकने की आवश्यकता के बिना किसी अन्य फ़ाइल पर स्विच करने के लिए खुद को कमांड कर सकता है। तब हम पहला और सबसे सरल ग्राफ ले सकते हैं, मानक WM ASF राइटर के बजाय हमारे कस्टम फ़िल्टर वहां डालें और जीवन का आनंद लें।
आइए मानक विधियों में एक और नई स्ट्रीमटॉइल जोड़कर हमारा फ़िल्टर बनाएं, जो फ़ाइलों के बीच स्विच करने का काम करेगा।

class CCustomASFWriter : public CBaseFilter { public: STDMETHOD(StreamToFile)(BSTR szFileName); } 

स्विचिंग के समय नमूने नहीं खोने के साथ-साथ नमूना वितरण के प्रवाह को अवरुद्ध नहीं करने के लिए, हम अपने फ़िल्टर पर आने वाले डेटा के लिए एक बहु-थ्रेडेड कतार जोड़ देंगे। मैंने इस तरह के एक कार्यान्वयन का उपयोग किया, कई उत्पादकों में उपयोग के लिए इसे थोड़ा समाप्त कर दिया - एकल उपभोक्ता मोड। मैंने वीडियो और ऑडियो दोनों के लिए कतार का उपयोग करने का निर्णय लिया, और इसीलिए। यह सब हमारी नई फ़ाइल स्विचिंग सुविधा के लिए नीचे आता है। इसके लिए, यह याद रखना महत्वपूर्ण है कि वीडियो के नमूनों की डिलीवरी की आवृत्ति, एक नियम के रूप में, ऑडियो की तुलना में बहुत अधिक है: उदाहरण के लिए, 30 हर्ट्ज वीडियो और ऑडियो के लिए 2 हर्ट्ज (500 एमएस प्रति नमूना)। तदनुसार, ऑडियो नमूना के वितरण के तुरंत बाद स्विचिंग किया जाना चाहिए। कतार में नमूनों के प्राकृतिक क्रम को देखते हुए, आप बहुत आसानी से ऐसा कर सकते हैं।

इसे देखते हुए, हमारी StreamToFile विधि केवल फ़िल्टर को संकेत देगी कि यह अगले ऑडियो नमूने के तुरंत बाद वर्तमान फ़ाइल को बंद कर दे और एक नए में रिकॉर्डिंग शुरू कर दे। जबकि एक नई फ़ाइल तैयार की जा रही है, सभी आवक नमूने कतार में संग्रहीत हैं।

 HRESULT STDMETHODCALLTYPE CCustomASFWriter::StreamToFile(BSTR szFileName) { wcscpy_s(m_szCurrentFile, szFileName); { CAutoLock lock(m_pLock); m_bSwitchRequested = TRUE; } return S_OK; } 

वास्तव में, फ़ाइलों के लिए संपीड़न और लेखन स्वयं विंडोज मीडिया प्रारूप एसडीके , अर्थात् IWMWriter इंटरफ़ेस का उपयोग करके होता है।

  IWMWriter *pWriter = NULL; WMCreateWriter(NULL, &pWriter); 

ऐसा करने के लिए, एक अलग स्ट्रीम में, आने वाले नमूनों का प्रसंस्करण चक्र घुमाया जाता है:

  while (bRunning) { StreamSamplesToWriter(pWriter); DWORD dwWaitResult = WaitForSingleObject(hEventStopStreaming, 33); if (dwWaitResult == WAIT_OBJECT_0) { m_pPinVideo->StopQueuingNow(); m_pPinAudio->StopQueuingNow(); bRunning = FALSE; } } 

सबसे दिलचस्प बात StreamSamplesToWriter विधि में होती है। यहां, नमूने IWMWriter को भेजे जाते हैं , और सही समय पर फाइलों को स्विच किया जाता है, यदि स्ट्रीमटॉफाइल विधि का उपयोग करके स्विच करने के लिए एक संकेत दिया गया था।

 STDMETHODIMP CCustomASFWriter::StreamSamplesToWriter(IWMWriter *pWriter) { BOOL bMustSwitch = FALSE; void *pObject = NULL; while (m_pSamplesQueue->Pop(pObject)) { CQueuedSample *pSample = (CQueuedSample*)pObject; DWORD inputNumber = pSample->MediaType == MEDIATYPE_Video ? m_pPinVideo->InputNumber : m_pPinAudio->InputNumber; INSSBuffer *pBuffer = NULL; pWriter->AllocateSample(pSample->DataSize, &pBuffer); LPBYTE pbDestBuffer = NULL; pBuffer->GetBuffer(&pbDestBuffer); CopyMemory(pbDestBuffer, pSample->Data, pSample->DataSize); pWriter->WriteSample(inputNumber, pSample->Start, pSample->IsDiscontinuity | pSample->IsSyncPoint, pBuffer); pBuffer->Release(); if (inputNumber == m_pPinAudio->InputNumber) { { CAutoLock lock(m_pLock); bMustSwitch = m_bSwitchRequested; if (m_bSwitchRequested) m_bSwitchRequested = FALSE; } if (bMustSwitch) { pWriter->EndWriting(); pWriter->SetOutputFilename(m_szCurrentFile); pWriter->BeginWriting(); } } delete pSample; } } 

इसलिए, हम एक परिणाम हासिल करने में कामयाब रहे! समय में मनमाना बिंदुओं पर StreamToFile पद्धति को खींचते हुए , हमें नई फाइलें मिलती हैं, बिना एक भी फ्रेम खोए।

कट को गोंद करें

खैर, हमें दो मिनट के लिए फाइलों का एक गुच्छा मिला। लेकिन क्या होगा अगर हमें 4-मिनट के वीडियो की आवश्यकता होती है, और एक फ़ाइल से दूसरी फ़ाइल में स्विच करते समय सबसे दिलचस्प जगह वास्तव में देखी जाती है? इससे कोई फर्क नहीं पड़ता - हम बहुत आसानी से इन फ़ाइलों को एक में गोंद कर सकते हैं, और इसे फिर से एन्कोडिंग के बिना कर सकते हैं! इस मामले में, ग्लूइंग वास्तव में निर्बाध होगी, क्योंकि रिकॉर्डिंग के दौरान एक भी फ्रेम नहीं खो गया था।

इसके लिए हम IWMSyncReader और IWMWriterAdvanced का उपयोग करते हैं।

  IWMWriter *pWriter = NULL; IWMWriterAdvanced *pWriterA = NULL; WMCreateWriter(NULL, &pWriter); pWriter->QueryInterface(IID_IWMWriterAdvanced, (void**)&pWriterA; IWMSyncReader *pReader = NULL; WMCreateSyncReader(NULL, 0, &pReader); for (element = m_oMergeFileList.begin(); element < m_oMergeFileList.end(); element ++) { pReader->Open(element->FileName); IWMProfile *pProfile = NULL; pReader->QueryInterface(IID_IWMProfile, (void**)&pProfile); //   ,      ,      " " for (WORD i = 0; i < dwStreamCount; i++) { pProfile->GetStream(i, &pStream); pStream->GetStreamNumber(&wStreamNumber); pReader->SetReadStreamSamples(wStreamNumber, TRUE); } HRESULT hr = S_OK; while (SUCCEEDED(hr)) { hr = pReader->GetNextSample(0, &pSample, &cnsSampleTime, &cnsDuration, &dwFlags, &dwOutputNum, &wStreamNum); pWriterA->WriteStreamSample(wStreamNum, qwSampleTimeToWrite, 0, cnsDuration, dwFlags, pSample); } } 

नतीजतन, बहुत जल्दी (मिलीसेकंड!) हमें 4 मिनट लंबी एक फाइल मिलती है, जिसमें ग्लूइंग की जगह होती है, जिसका पता लगाना असंभव है। कड़ाई से बोलते हुए, यह पूरी तरह से सच नहीं है, और दुर्लभ और कुछ शर्तों के तहत gluing अभी भी इतना सही काम नहीं करता है (उदाहरण के लिए, कैमरे पर बहुत कम फ्रेम दर कॉन्फ़िगर किया गया है)। हालांकि, सामान्य परिस्थितियों में, जब इस जगह को देखना वास्तव में अस्वीकार्य है।

मैं भी कटौती और गोंद करना चाहता हूं!

मैं वहाँ नहीं रुका और आगे बढ़ने का फैसला किया। एक जादू बटन जोड़ा गया था जो आपको अंतिम मिनट में वास्तव में एक वीडियो फ़ाइल प्राप्त करने की अनुमति देता है (वास्तव में, वांछित अवधि अनुकूलन योग्य है)। परीक्षक के साथ फ़ंक्शन बहुत लोकप्रिय हो गया - मैंने एक अप्रत्याशित त्रुटि देखी, एक बटन दबाया, एक वीडियो प्राप्त किया।

मैं स्थिति का वर्णन करूंगा ताकि यह अधिक स्पष्ट हो। मान लें कि एक बटन को लगभग तुरंत दबाया जाता है क्योंकि यह स्वचालित रूप से निम्न फ़ाइल पर स्विच करता है:

जब आप मैजिक बटन पर क्लिक करते हैं , तो यह फिर से एक नई फाइल में बदल जाता है ताकि फाइल 2 उपलब्ध हो जाए। लेकिन अब हमें अभी भी फाइल 1 को काटने की जरूरत है, और फिर फाइल 2 के साथ इसे गोंद दें।

यहां कुछ भी जटिल नहीं है। मैंने पहले से ही ग्लूइंग के बारे में लिखा है, और कटिंग उसी तरह से की जाती है: संपीड़ित पैकेट बिना विसंपीड़न के पढ़े जाते हैं और सभी अनावश्यक को छोड़ दिया जाता है, और कुछ समय से शुरू करते हुए, सभी पठनीय पैकेटों को एक फ़ाइल में टाइमस्टैम्प समायोजित किया जाता है, ताकि पहले पैकेट में 00:00:00 हो। यहां काटने का सही क्षण चुनना भी आवश्यक है ताकि नई फ़ाइल के पहले पैकेट में संदर्भ फ्रेम (कुंजी या आई-फ्रेम) हो, न कि अनुमानित पी-फ्रेम (डेल्टा फ्रेम)। संदर्भ फ्रेम को WMV फ़ाइलों में हर आधे मिनट में एक बार भी चित्र में छोटे बदलावों के साथ रखा जा सकता है, इसलिए हमें मजबूरन फ्रेम के उपयोग को कॉन्फ़िगर करना पड़ा। मैंने 1 एस के दो संदर्भ फ्रेम के बीच अधिकतम अवधि का चयन किया जब स्लाइसिंग और फ़ाइल आकार की स्थिति सटीकता के बीच एक समझौता हुआ।

  IWMVideoMediaProps *pVMProps = NULL; pStreamConfig->QueryInterface(IID_IWMVideoMediaProps, (void**)&pVMProps); pVMProps->SetMaxKeyFrameSpacing(10000000i64); 

हुर्रे! जादू बटन काम करता है!

निष्कर्ष

अंत में, मैं यह कहना चाहता हूं कि मैंने अपने दम पर DirectShow की सभी पेचीदगियों को समझा - MSDN, इंटरनेट पर कोड नमूने और परीक्षण और त्रुटि विधि। लेकिन यह ठीक वही है जिसने परिणाम को इतना सुखद बना दिया - वीडियो को रिकॉर्ड करने के लिए सक्रिय रूप से उपयोग किया जाता है, और एक साथ कई कैमरों से। जब त्रुटियों का पता लगाया जाता है, तो परीक्षक खुशी से जादू के बटन पर प्रहार करते हैं और 2 सेकंड के बाद किसी भी वीडियो संपादन की आवश्यकता के बिना तीन कैमरों से तैयार और सिंक्रनाइज़ वीडियो फ़ाइलों को प्राप्त करते हैं! और यह है कि डेवलपर इतना नहीं है कि उपयोगकर्ताओं से धन्यवाद, ठीक है?