Directshow.NETを使用したビデオ録画

こんにちは、Habrausers様。 少し前に、さまざまなデバイスからオーディオとビデオを生成するために必要な単純なWindowsアプリケーションで作業する必要がありました。 特に、MAudioカードの6つのチャンネルからオーディオをキャプチャし、コンポーネント入力を介してビデオカメラからの信号である2つのAverMediaキャプチャカードからhdビデオをキャプチャする必要がありました。 また、USBインターフェイスを介して接続されたドキュメントカメラからスクリーンショットを撮る必要がありました。 アプリケーションはC＃で記述することに決定し、ビデオはDirectShow.NETライブラリを使用して制作されました。

この問題の解決に基づいて、ビデオキャプチャに関する記事を書き、経験を共有するというアイデアが生まれました。 この情報は誰かに役立つかもしれません。 誰が気にする-私は猫をお願いします。

序文の代わりに。

MediaFoundationはそのようなタスクを実行するためにますます使用されていますが、このプラットフォームは、Microsoftが8日から新しいバージョンのWindowsでDirectShowの使用とサポートを徐々に放棄するという事実を考慮しても、まだ広く普及していません。 OpenCVやAForgeなど、ビデオ録画をサポートするさまざまなコンピュータービジョンライブラリがありますが、単純なビデオキャプチャでは、強力な処理機能はそれほど必要ではなく、そのようなライブラリ内では多くの場合DirectShowを使用できます。

インターネットにはDirectShowの概要とその仕組みについての記事や資料がかなりあり、 この記事の情報はHabréに掲載されていません。そのため、私自身が知らない用語を誇示しないようにします。これまでDirectshowに慣れていない人がC＃でビデオ録画アプリケーションを作成する方法、開始する場所と移動する場所、および直面しなければならない問題について話す方法。

この記事の例（ GitHubのコードを参照 ）では、単純なusbキャプチャカードEasyCapを使用します。

1.どこから始めるか。 要件、ツール、および情報

必要なツールは次のとおりです。

1） K-Lite Codec Pack MegaおよびGraphStudioツール-ビデオキャプチャグラフのラピッドプロトタイピング用。



2） GraphEditPlus -GraphStudioの商用アナログで、コードを生成できます。 C ++およびC＃で設計されたグラフ。 30日間の試用版が利用できますが、その制限は、生成されたコードをクリップボードにコピーできないことです。
3）C＃開発環境-私の場合はVisual Studio 12です。
4） DirectShow.netライブラリ。
5） Windows MediaLibライブラリ。

残念ながら、インターネット上でビデオ録画アプリケーションを作成する方法に関する完全で構造化されたガイドを見つけることはできませんでしたが、いくつかのページはまず第一に、非常に貴重なヘルプを提供しました。

1）情報がプロセス全体の触媒となっている小さなページ 。 また、DirectShow.netのクラスとインターフェイスの明確な説明を見つけることもできます。 非常に便利なページであり、著者に感謝します。
2） このようなオープンソースコードは、クロスバーやその他の問題に対処するのに役立ちました。
3）MSDN。DirectShowプログラミング専用のセクションがあります。

2.フィルター、ビデオグラフ作成、ビジュアルエディター

DirectShowグラフは、入力ピンと出力ピンによって互いに接続されたフィルターから構築されます。
これについての詳細はこちらです。

GraphStudioの最も単純なケースでは、たとえば、統合ビデオカメラのグラフを次のように作成できます。



ただし、このタスクにはいくつかのフィルターが必要であり、結果として（WMV形式のエントリを考慮した）グラフは次のようになります。



このグラフにはフィルターがあります：

SMI Grabber Device （フィルターグループ-WDM Streaming Capture Devices）-キャプチャーデバイスであるフィルター。それからビデオ（およびオーディオ）ストリームを受信します。 ただし、この場合、キャプチャデバイスからのオーディオストリームではなく、マイクからのストリームが記録されます（[オーディオキャプチャソース]グループの[ マイク...]をフィルターします）。

SM BDAクロスバーフィルターは、キャプチャデバイス用のクロスバーフィルターであり、SVideo入力またはコンポジット入力のどちらからの入力信号の切り替えを決定する設定です。



Smart Tee -2つの出力を持つストリームスプリッター。Capture出力からのストリームがファイルに書き込まれます。
プレビュー出力からのストリームは、 AVI Decompressorフィルターを介してプレビューウィンドウに送られます。 チェーンが
AVI Decompressor-> Video Rendererは、Preview-> Render Pinオプションを選択すると自動的に作成されます。
（余談ですが、レンダラーフィルターにはさまざまな種類があり、最も高度なものの1つは拡張ビデオレンダラーですが、この例ではデフォルトで通常のフィルターが使用されています）

WM ASF Writerは、必要な品質のビデオファイルをWMV形式で記録するための最も簡単なオプションを提供するフィルターです。 同時に、ユーザーの品質も含めて、記録品質を変更することができます。

このグラフを実行すると、ビデオソースレコードの正確性を確認できます。

3. DirectShow.netライブラリとグラフのコードへの変換

3.1。 GraphEditPlusでのコード生成

次のステップは、結果のグラフをコードに変換することです。 GraphEditPlusツールは、この問題に関して非常に貴重な支援を提供します。 一般に、このグラフエディターはK-LiteバンドルのGraphStudioよりも便利ですが、その最も重要な機能は、構築されたグラフからコードを生成する機能です。





残念ながら 、このツールは 、CrossbarやWM ASF Writerなどの特定のフィルターのセットアップコードをカスタマイズできませんが、最初のステップとして非常に貴重です。

3.2。 ビデオアプリケーション

繰り返しますが、この記事のために特別に書かれた簡単なアプリケーションのコードは、 ここで表示およびダウンロードできます これは単なるテストケースであるため、その非最適性とSOLID違反について事前に謝罪します。

このアプリケーションでは、グラフの主な操作（作成、破棄、ピンの検索、クロスバールーティング、開始、停止など）は抽象VideoCapturebaseクラスで定義され、 VideoCapturePreview 、 VideoCaptureAsfRecordまたはVideoCaptureScreenshotsなどの後続クラスはBuildGraph()フィルターからグラフを構築するための抽象メソッドを実装しますBuildGraph()チェーンに新しいフィルターを追加します。 ControlVideoCommonクラスには、ウィンドウを作成してグラフをバインドする操作、グラフを停止および破棄する操作、およびその他の実用的な操作が含まれています。

3.3。 必ずしも明らかな点ではない

3.3.1。 デバイスを追加する

同じタイプのデバイスが複数ある場合（たとえば、複数の同一のキャプチャカード）、
その後、それらは同じGUIDを持ちますが、異なるDisplayNameパラメーターを持ちます。 この場合、次のコードを使用してすべてのデバイスを見つける必要があります。

 private readonly List<DsDevice> _captures = new List<DsDevice>(); //... //search for devices foreach (var device in DsDevice.GetDevicesOfCat(FilterCategory.VideoInputDevice)) { if (device.Name.ToLower().Contains(deviceNamePart.ToLower()) { _captures.Add(device); } } //full device paths that differ var devicePath1 = _captures[0].DevicePath; var devicePath2 = _captures[1].DevicePath; //... 

さらに、グラフを作成するとき、このメソッドで取得したdevicePath1およびdevicePath2はすでに使用されています。

3.3.2。 クロスバールーティング

ビデオキャプチャデバイスには、さまざまな種類のビデオ入力を使用するためのクロスバーがある場合とない場合があります（たとえば、この例のAverMediaとEasyCapにはありますが、組み込みのWebカメラまたはBlackMagicキャプチャカードにはありません）。 したがって、クロスバーへのバインドは自動である必要があります。

このため、メソッドは基本クラスで定義されます
FixCrossbarRouting(ref IBaseFilter captureFilter, PhysicalConnectorType? physicalConnectorType) 、クロスバー（存在する場合）を検索して接続し、必要な入力タイプに切り替えます。

 /// <summary> /// Configure crossbar inputs and connect crossbar to input device /// </summary> /// <param name="captureFilter">Filter to find and connect crossbar for</param> /// <param name="physicalConnectorType">crossbar connector type to be used</param> /// <returns></returns> protected int FixCrossbarRouting(ref IBaseFilter captureFilter, PhysicalConnectorType? physicalConnectorType) { object obj = null; //fixing crossbar routing int hr = CaptureGraphBuilder.FindInterface(FindDirection.UpstreamOnly, null, captureFilter, typeof(DirectShowLib.IAMCrossbar).GUID, out obj); if (hr == 0 && obj != null) { //found something, check if it is a crossbar var crossbar = obj as IAMCrossbar; if (crossbar == null) throw new Exception("Crossbar object has not been created"); int numOutPin; int numInPin; crossbar.get_PinCounts(out numOutPin, out numInPin); //for all output pins for (int iOut = 0; iOut < numOutPin; iOut++) { int pinIndexRelatedOut; PhysicalConnectorType physicalConnectorTypeOut; crossbar.get_CrossbarPinInfo(false, iOut, out pinIndexRelatedOut, out physicalConnectorTypeOut); //for all input pins for (int iIn = 0; iIn < numInPin; iIn++) { // check if we can make a connection between the input pin -> output pin hr = crossbar.CanRoute(iOut, iIn); if (hr == 0) { //it is possible, get input pin info int pinIndexRelatedIn; PhysicalConnectorType physicalConnectorTypeIn; crossbar.get_CrossbarPinInfo(true, iIn, out pinIndexRelatedIn, out physicalConnectorTypeIn); //bool indication if current input oin can be connected to output pin bool canRoute = physicalConnectorTypeIn == physicalConnectorType; //get video from composite channel (CVBS) //should output pin be connected to current input pin if (canRoute) { //connect input pin to output pin hr = crossbar.Route(iOut, iIn); if (hr != 0) throw new Exception("Output and input pins cannot be connected"); } } //if(hr==0) } //for(iIn...) } //for(iOut...) } //if(hr==0 && obj!=null) return hr; } 

3.3.3。 リソースのリリース

作成されたグラフが破棄されたときにリソースを解放しない場合、最初のインスタンスと同じフィルターを使用してグラフの別のインスタンスを作成すると失敗するため、 DisposeFilters()メソッドを呼び出して、フィルターを破棄されたグラフから削除する必要があります。 いくつかの実験の後、次のコードは正常に機能しました。

 if (Graph == null) return; IEnumFilters ef; var f = new IBaseFilter[1]; int hr = Graph.EnumFilters(out ef); if (hr == 0) { while (0 == ef.Next(1, f, IntPtr.Zero)) { Graph.RemoveFilter(f[0]); ef.Reset(); } } Graph = null; 

3.3.4。 ストリーム構成（フレームレート、解像度など）

ビデオキャプチャデバイスは、異なるビデオストリーム構成を生成でき、それらの間で切り替えることができます。 たとえば、hdカメラは、毎秒60フレームで640 x 480の画像と、毎秒30フレームのフレームレートでhd品質の画像の両方を生成できます。 フレームレートの場合、29.97フレーム/秒のような小数桁もあります。 このようなパラメーターを構成するには、 FindInterfaceインターフェイスのFindInterfaceメソッドを使用してstreamConfigObjectオブジェクトを作成し、 IAMStreamConfigインターフェイスに移動し、 GetFormatメソッドを呼び出してGetFormat型のオブジェクトを取得し、ヘッダーを取得する必要があります。

 var infoHeader = (VideoInfoHeader)Marshal.PtrToStructure(mediaType.formatPtr, typeof(VideoInfoHeader)); 

そのパラメーターで操作を実行し続ける
AvgTimePerFrame,
BmiHeader.Width,
BmiHeader.Height
その他。

これは、 VideoCaptureAsfRecordクラスのConfigureResolutionおよびConfigureFramerateメソッドのコードで確認できます。

3.3.5。 スクリーンショット

ビデオストリームからスクリーンショットを取得するには、グラフ（VideoCaptureScreenshots）がISampleGrabberCBから構築されるクラスを継承し、2つのメソッドBufferCBとSampleCBを再定義するBufferCBありSampleCB 。
SampleCBは空の場合があり、 BufferCB結果の配列BufferCBコピーします。

 if ((pBuffer != IntPtr.Zero) && (bufferLen > 1000) && (bufferLen <= _savedArray.Length)) { Marshal.Copy(pBuffer, _savedArray, 0, bufferLen); } 

ハンドラーを呼び出すだけでなく：

 _invokerControl.BeginInvoke(new CaptureDone(OnCaptureDone)) 

メソッドを呼び出す場所
SetCallback SamlpleGrabber 'a

 _iSampleGrabber.SetCallback(null, 0); 

BuildGraphメソッドでは、チェーン内のSampleGrabberフィルターをオンにするBuildGraph 、それを構成し、他のフィルターを追加した後にチューニングを行う必要があります（魔法ですが、それ以外では機能しません）。 テストケースでは、 ConfigureSampleGrabberInitial()およびConfigureSampleGrabberFinal()メソッドがこれを担当します。 初期セットアップ中にAMMEdiaTypeが決定され、最終セットアップ中にVideoInfoHeaderをインストールし、2つのISampleGrabberメソッドを呼び出す： SetBufferSamples(false)およびSetOneShot(false) 。
最初はフィルターを通過するサンプルのバッファリングを無効にするために必要であり、2番目はスクリーンショットのコールバック関数を数回プルできるようにするためです。

3.3.6。 Wmv形式、.prxおよびWindowsMediaLibファイル

許容できる記録品質を確保するには、wmvファイルの記録設定を再定義する必要があります。
これを行う最も簡単な方法は、拡張子が.prxのユーザープロファイルファイルを作成し、そのストリームの品質を担当するパラメーターをオーバーライドすることです。 コード内のこのファイルの例はgood.prxです

プロファイルファイルを読み取り、 ConfigProfileFromFile(IBaseFilter asfWriter, string filename)メソッドConfigProfileFromFile(IBaseFilter asfWriter, string filename)でプロファイルを作成するために、GPLライセンスで配布されているTeam MediaPortalプロジェクトのWMLibクラスが使用されました。 作成されたプロファイルは、 ConfigureFilterUsingProfile(wmProfile)インターフェイスのConfigureFilterUsingProfile(wmProfile)メソッドを介してASFライターに適用されます。

あとがきや大きな問題の代わりに

Mpeg4Layer3、コーデック、AVIMuxおよびオーディオとビデオの同期

アプリケーション開発の最初の段階では、次のグラフのように、ビデオをMpeg4形式で、音声をLayer3形式で記録し、これらすべてをAVI MUXと1つのファイルに結合することを考えていました。



XVid Codecフィルターの代わりに、Mpeg-4のビデオコンプレッサーからの任意のフィルターを使用できます。 xvidとffdshowの両方、および他のいくつかのフィルターを使用する試みがありましたが、グラフにビデオを記録させようとするいくつかの試みの後、すべてが一見したほど単純ではないことが明らかになりました。 録音開始後しばらくしてから録音を中断する問題がありました。 ここでの理由は、AVI MUXコンテナでビデオとオーディオをミキシングするとき、ビデオとオーディオトラックが自動的に同期されず、正しい周波数を調整しても、記録が中断され、再生中にグラフがランダムな瞬間に停止する可能性があるためですオーディオとビデオが同期していないことに注意してください。

残念ながら、ASF Writerを使用してwmv形式で記録に移行することにより、根本的な方法で対処しなければならなかったため、この問題の解決策について話すことはできません。

この問題に遭遇し、この問題に精通している人がこの記事を読んだ場合、喜んでアドバイスします。

あなたの注意と関心に感謝します。この記事が致命的な退屈ではないことを願っています。また、この資料が誰かにとって実用的であることを願っています。