DIY：家庭用マルチメディアシステム向けのユニバーサルアンビライト-Atmosvet

こんにちは

最初の記事では、最も成功した手芸品の1つを選択しました。これは、フィリップスのAmbilightのHDMIパススルーアナログです。今後、この構成を「Atmosvet」と呼びます。

はじめに

インターネット上で、PCから画像を表示する場合、モニター/テレビ用のAmbilightを作成する方法に関する既製の/オープンなソリューションと記事を見つけることはそれほど難しくありません。 しかし、私のマルチメディアシステムでは、PCからテレビに画像を出力するのに使用する時間はたった5％で、ゲームコンソールからプレイする時間が増えます。つまり、自分で何かを考え出す必要がありました。

ソースデータ：

• 60 "プラズマTV
• Asrock Vision 3D 137Bに基づくHTPC
• Xbox 360
• PS3
• PS4
• WiiU

ほとんどのデバイスは、 HDCPを使用して、再生中でもコンテンツを再生します。

要件：

TVに接続されているすべてのデバイスに対してAtmosvetの集中サポートを提供する必要があります。

実装

4.5mのLEDストリップをテレビに取り付けた方法とArduinoで何をする必要があるかについては説明しません。 この記事をベースとして使用できます。

唯一の注意事項：
画面の下部に奇妙なちらつきがあることに気づきました。最初にミスをして、deflayerを選び直し、画像のサイズ変更を変更し、すべてのものを掘り下げましたが、それは良くなりましたが、ちらつきの助けにはなりませんでした。 私は観察し始めました。 ちらつきはテープの最後でしかなく、その後は鮮明なシーンでした。 マルチメーターを使用して、テープの始め、中間、および終わりで電圧を測定し、ちらつきの原因を推測しました：テープの始めで4.9V（はい、中国のPSUは偏差のある電圧を与えます、これは重要ではありません）、4.52の終わりで4.22-電圧降下が大きすぎます、私は単純に問題を解決しなければなりませんでした-テープの途中で、PSUからの電力を合計し、ケーブルをテレビの後ろに通しました。 それは即座に役立ち、ちらつきは完全に止まりました。

ウェブカメラで写真をキャプチャする

アイデアとその視覚化を実行するための最初のテストバージョンは、Webカメラで画像をキャプチャすることで選択されました）、次のようになりました。


低レンダリングと高レイテンシは、この実装がいかなる方法でも使用できないことを示しました。

HDMIを介した画像のキャプチャ

可能なオプションを検討する過程で、最も信頼性の高い予算として次のスキームが選択されました。

• すべてのデバイスからの信号は、HDCPをサポートする5in-1out HDMIスイッチに供給されます
• 出力信号は、HDCPをサポートするだけでなく、出力でオフにする1in-2out HDMIスプリッターに供給されます（中国語のおかげです）。
• 出力信号の1つがテレビに送られます
• 別の出力はHDMIからAVコンバーターに送られます
• Sビデオ信号はICONBITからキャプチャボックスに送られます
• キャプチャボックスは、USBを介して常時稼働するHTCPに接続され、USBはTV上のArduinoコントローラーテープに接続されています。

最初はワイルドで松葉杖のように見えますが、

• 動作します。
• 合計すると、中国からの注文で、このすべてが私に3-4千ルーブルかかりました。

HDMIキャプチャにボードを使用しなかったのはなぜですか？ それは簡単です：最も安価なオプションと手頃な価格はBlackmagic Intensity Shuttleですが、1080p / 60fpsの信号では動作せず、1080p / 30fpsでのみ動作します-これは受け入れられません 写真をキャプチャできるように、フレームレートを下げたくありませんでした。 +このケースの費用は約1万です。 ルーブル。 -安価ではなく、結果は不明です。

HDMIからSビデオへの変換の損失は、46x26 LEDバックライトの解像度でカラーをキャプチャする場合には重要ではありません。

最初はEasyCapを使用してSビデオをキャプチャしようとしました（中国語のバリエーションが多数あります）が、ポイントは使用するチップが非常に悲惨であり、openCVを使用して操作できないことです。

唯一のマイナスは、Sビデオ出力信号のエッジに黒いバーが含まれており、実際のコンテンツ（約2〜5％）がカットされていることです。キャプチャカードから出力画像をカットしてこれらのバンドを削除しましたが、これらの領域の画像の損失は実際の結果に影響しませんでした。

ソフト

私にとってそれは最も興味深い部分でした、なぜなら 鉄片で、私は本当に周りを突くのが好きではありません。

画像をキャプチャするために、 openCV 、特にその.NETラッパーemgu CVを使用しました 。

また、コントローラーに色のリストを渡す前に、画像を後処理して準備するためのいくつかの異なる手法を適用することにしました。

フレーム処理

1.キャプチャされたフレームを取得する

2.フレームを切り取って黒いバーを除外します

ここではすべてが簡単です：

frame.ROI = new Rectangle(8, 8, frame.Width - 8, frame.Height - 18 - 8); 

上部から8ピクセル、右側から8ピクセル、下部から18ピクセルをトリミングします（左側にストリップはありません）。

3.バックライトの解像度でフレームのサイズを変更します。健康的な写真を持ち歩く必要はありません。

それほど複雑なことはありません。openCVツールを使用して行います。
frame.Resize（LedWidth-2 * LedSideOverEdge、
LedHeight-LedBottomOverEdge-LedTopOverEdge、
INTER.CV_INTER_LINEAR）;
注意深い読者は、豊富な変数に気付くでしょう。 実際、私のテレビフレームは十分に大きく、側面に1個、上部に1個、下部に3個のLEDを占有しているため、サイズ変更はディスプレイの真向かいのLEDで行われ、後でコーナーを補完します。 サイズ変更するとき、LEDのピクセルが持つべき平均色を取得します。

4.カットフレームからLEDのマッピングを実行します

さて、ここでも、すべてが簡単です。それぞれの側で愚かに行き、136個の値の配列をLEDの色で順番に埋めていきます。 現時点では、他のすべての操作は、処理が難しいフレームを使用するよりも、LEDアレイを使用する方が簡単です。 また、将来的には、キャプチャ深度パラメーター（LEDの色を平均するための画面境界からのピクセル数）を追加しましたが、最終的なセットアップでは、それなしでより良いことが判明しました。

5.色補正を実行します（ホワイトバランス/カラーバランス）

私がビームから持っているテレビの後ろの壁、ビームは黄色なので、黄色さを補う必要があります。
var blue = 255.0f /（255.0f + blueLevelFloat）* pixelBuffer [k];
var green = 255.0f /（255.0f + greenLevelFloat）* pixelBuffer [k + 1];
var red = 255.0f /（255.0f + redLevelFloat）* pixelBuffer [k + 2];
実際、私は最初にいくつかのオープンソースエディターのソースからカラーバランスを取りましたが、白を変更せず（白は白のまま）、式を少し変更して封印し、必要なものを直接取得しました：色成分のレベルが負の場合（この色は十分ではありません）、その強度を追加し、逆も同様です。 私の壁では、RGB（-30.5.85）で機能しました。

色補正では、各コンポーネントから13を減算するだけで、黒のレベリングも行います（黒はRGBで13.13.13前後になります）。

6.彩度を下げる（画像の彩度を下げる）

最終的なセットアップでは、彩度低下は使用しませんが、ある時点で必要になる場合があります。実際には、フィリップスアンビライトのように色をより「パステル」にします。 コードは提供しません。単にRGB-> HSLから変換し、彩度コンポーネント（彩度）を減らし、RGBに戻します。

7.ちらつき

したがって、入力画像が「揺れている」ことがわかります。これは、アナログ信号への変換の結果だと思います。 最初は自分のやり方を決めようとしましたが、VirtualDubで使用されているDeflikerフィルターのソースを調べ、C＃で書き直しました（C ++でした）。機能しないことがわかりました。結局、私は決定とこのデフレアを組み合わせて、奇妙な何かを得ましたが、予想以上にうまく機能しました。 最初のdeflayerはフレーム全体の強度でのみ機能し、各LEDが個別に必要です。 初期デライサーは強度の変化を合計として比較しましたが、色ベクトルの長さの比較が好きです。初期デライサーは前のフレームと比較した強度の変化のデルタを比較しましたが、これは適合せず、前のフレームのウィンドウ内の強度の平均値に変換しました。 そして、他の多くのささいなこと。その結果、最初のデフレヤーにはほとんど残っていません。
主なアイデア：前のフレームの平均強度から進んで、強度が特定のしきい値（25の最終設定でこのしきい値を持っている）を超えていない場合、現在のフレームを変更します。しきい値を超えると、ウィンドウは変更なしにリセットされます。
deflicerのコードを少し（コンテキストから読みやすくするために）変更しました：

 Array.Copy(_leds, _ledsOld, _leds.Length); for (var i = 0; i < _leds.Length; i++) { double lumSum = 0; // Calculate the luminance of the current led. lumSum += _leds[i].R*_leds[i].R; lumSum += _leds[i].G*_leds[i].G; lumSum += _leds[i].B*_leds[i].B; lumSum = Math.Sqrt(lumSum); // Do led processing var avgLum = 0.0; for (var j = 0; j < LedLumWindow; j++) { avgLum += _lumData[j, i]; } var avg = avgLum/LedLumWindow; var ledChange = false; if (_strengthcutoff < 256 && _lumData[0, i] != 256 && Math.Abs((int) lumSum - avg) >= _strengthcutoff) { _lumData[0, i] = 256; ledChange = true; } // Calculate the adjustment factor for the current led. var scale = 1.0; int r, g, b; if (ledChange) { for (var j = 0; j < LedLumWindow; j++) { _lumData[j, i] = (int) lumSum; } } else { for (var j = 0; j < LedLumWindow - 1; j++) { _lumData[j, i] = _lumData[j + 1, i]; } _lumData[LedLumWindow - 1, i] = (int) lumSum; if (lumSum > 0) { scale = 1.0f/((avg+lumSum)/2); var filt = 0.0f; for (var j = 0; j < LedLumWindow; j++) { filt += (float) _lumData[j, i]/LedLumWindow; } scale *= filt; } // Adjust the current Led. r = _leds[i].R; g = _leds[i].G; b = _leds[i].B; // save source values var sr = r; var sg = g; var sb = b; var max = r; if (g > max) max = g; if (b > max) max = b; double s; if (scale*max > 255) s = 255.0/max; else s = scale; r = (int) (s*r); g = (int) (s*g); b = (int) (s*b); // keep highlight double k; if (sr > _lv) { k = (sr - _lv)/(double) (255 - _lv); r = (int) ((k*sr) + ((1.0 - k)*r)); } if (sg > _lv) { k = (sg - _lv)/(double) (255 - _lv); g = (int) ((k*sg) + ((1.0 - k)*g)); } if (sb > _lv) { k = (sb - _lv)/(double) (255 - _lv); b = (int) ((k*sb) + ((1.0 - k)*b)); } _leds[i] = Color.FromArgb(r, g, b); } /* Temporal softening phase. */ if (ledChange || _softening == 0) continue; var diffR = Math.Abs(_leds[i].R - _ledsOld[i].R); var diffG = Math.Abs(_leds[i].G - _ledsOld[i].G); var diffB = Math.Abs(_leds[i].B - _ledsOld[i].B); r = _leds[i].R; g = _leds[i].G; b = _leds[i].B; int sum; if (diffR < _softening) { if (diffR > (_softening >> 1)) { sum = _leds[i].R + _leds[i].R + _ledsOld[i].R; r = sum/3; } } if (diffG < _softening) { if (diffG > (_softening >> 1)) { sum = _leds[i].G + _leds[i].G + _ledsOld[i].G; g = sum/3; } } if (diffB < _softening) { if (diffB > (_softening >> 1)) { sum = _leds[i].B + _leds[i].B + _ledsOld[i].B; b = sum/3; } } _leds[i] = Color.FromArgb(r, g, b); } 

_ledsをColorクラスのLED配列、_ledsOldを変換前のフレーム値、LedLumWindowを前のフレームのウィンドウ幅とし、強度の平均変化を推定するために、最終セットアップで100のウィンドウがあり、これは約30fpsで3秒に相当します。 _lumData-前のフレームの強度値の配列。

最終的に、このメカニズムは写真に予期しない結果をもたらします。視覚的にどのように知覚されるかを説明することは困難ですが、ダイナミックコントラストのように必要に応じて暗く、必要に応じて明るくします。 結果としてのデフレッカーの目的は広く、ちらつきを排除するだけでなく、ウィンドウ内のコンポーネントと時間の両方の点で、表示される色の全体的なバランスを取りました。

8.隣のLEDを平滑化します。

一般に、最終的なセットアップでは、スムージングがあまり好きではなかったのでオフにしましたが、場合によっては便利になります。 ここでは、各LEDの色をその隣接するものと単純に平均しています。

 var smothDiameter = 2*_smoothRadius + 1; Array.Copy(_leds, _ledsOld, _leds.Length); for (var i = 0; i < _ledsOld.Length; i++) { var r = 0; var g = 0; var b = 0; for (var rad = -_smoothRadius; rad <= _smoothRadius; rad++) { var pos = i + rad; if (pos < 0) { pos = _ledsOld.Length + pos; } else if (pos > _ledsOld.Length - 1) { pos = pos - _ledsOld.Length; } r += _ledsOld[pos].R; g += _ledsOld[pos].G; b += _ledsOld[pos].B; } _leds[i] = Color.FromArgb(r/smothDiameter, g/smothDiameter, b/smothDiameter); } 

9.現在の状態を保存して、パケット送信スレッドが取得してバックライトコントローラーに送信するようにします。

フレームを処理し、コントローラにパケットを送信するプロセスを意図的に分割しました：Arduinoが前のパケットを処理できるように、パケットは特定の間隔（40ミリ秒）で1回送信されます。そのプロセスをキャプチャし、干渉しません（ただし、パケットの送信にも時間がかかります）。

Arduinoについて少し

大量のパッケージをArduinoに取り込んで送信することはできません。これは、デフォルトのHardwareSerialバッファーを超えてしまい、終わりを失うためです。
これは非常に簡単に解決されます。HardwareSerialバッファーのサイズを、送信されたパケット全体が色の配列で収まる大きさに設定します。私にとっては、410です。

UI

ソフトウェア自体はwinサービスとして実装され、すべてのパラメーターを設定して有効化/無効化するために、サービスのWebServiceを介してサービスに接続するWeb UIを作成しました。 モバイル画面の最終的なインターフェースは次のようになります。


次に、HTCPに接続されたKinect for Windowsを介して音声コントロールをねじ込む予定です。

結果

その結果、結果はすべての期待を満たし、今ではコンソールでゲームをプレイすることで、ゲームの雰囲気にさらに没頭できます。

仕事の一般的な結果として、私は私のスキームに従って大気の仕事でビデオを記録しました：

テストサンプル1：上海での戦闘シーンであるパシフィックリム。この映画は、テストとデモ、多くの鮮明なシーンとフラッシュ、落雷などに適しています。



テストサンプル2：YouTubeからマージされたMLPのある種のビデオは、明るい色のシーン（ストライプが好き）のテストや、変化の速いシーン（ビデオの最後で、ビデオでのみ表示される遅延の結果を見ることができます）に非常に適していますこれの実際の視聴は目立ちません、私はビデオで遅延を測定しようとしました-それは10-20msになりました）：



最後に、HTPCからのリソース消費について注意する価値があります。
HTPC i3​​でASRock Vision 3Dを使用していますが、大気サービスはCPUと32MB RAMの5〜10％を消費します。

ご清聴ありがとうございました。私の記事が誰かに役立つことを本当に願っています。