HDR vs LDR、HDRレンダリングの実装

私が約束したように、私はゲーム開発のいくつかの側面に関する2番目の記事を3次元で公開しています。 今日は、ほとんどすべてのAAAクラスプロジェクトで使用されている1つの手法について説明します。 彼女の名前はHDR Renderingです。 興味があれば、habrakatへようこそ。


しかし、最初に話す必要があります。 前の記事に基づいて、私はhabrahabrの聴衆がMicrosoft XNAテクノロジーを埋めていることに気付きました。 彼の助けを借りて何かをするということは、 ZX Spectrumでゲームを書くようなものです。 彼らは私を例として挙げました。「 結局、SharpDX、SlimDX、OpenTKがあります！ 」、 Unityの例を引用しました。 しかし、最初の3つに焦点を当てましょう。これらはすべて.NETの純粋なDXラッパーであり、 Unityは一般にサンドボックスエンジンです。 DirectX10 +とは何ですか？ 結局のところ、彼はXNAにはいませんし、今後もいません。 そのため、圧倒的な数のエフェクト、チップ、テクノロジーがDirectX9cに基づいて実装されています。 また、 DirectX10 +は追加機能（ SM4.0、SM5.0 ）のみを導入します。

たとえば、 Crysis 2を考えてみましょう。




これら2つのスクリーンショットには 、 DirextX10とDirectX11 はありません。 では、なぜ人々はXNAで何かをすることはネクロフィリアをしていると思うのですか？ はい、 マイクロソフトは XNAの サポートを終了しましたが、在庫は3年間は十分です。 さらに、 モノゲームは現在存在し、オープンソース、クロスプラットフォーム（win、unix、mac、android、iosなど）であり、同じXNAアーキテクチャを保持しています。 ところで、 前回の記事のFeZはmonogameを使用して書かれました。 そして最後に-一般的に3次元のコンピューターグラフィックスを対象とした記事（これらの規定はすべてOpenGLとDirectXの両方に有効です）。 この場合のXNAは単なるツールです。

さあ、行こう

ゲームは通常、 LDR （Low Dynamic Range）レンダリングを使用します。 これは、バックバッファーの色が0〜1に制限されていることを意味します。 各チャネルに8ビットが割り当てられており、これは256階調です。 例：255、255、255-白、3つのチャンネルすべて（RGB）は最大階調に等しい。 LDRの概念は、現実的なレンダリングの概念に不当に適用されます。 現実の世界では、色はゼロと1で定義されていません。 HDRRのような技術が私たちの助けになります。 まず第一に、 HDRとは何ですか？ ハイダイナミックレンジレンダリングは 、単に「 ハイダイナミックレンジ 」と呼ばれることもあります。これは、シーンのコントラスト照明で画像をより表現力豊かにレンダリングするためにコンピューターゲームで使用されるグラフィック効果です。 このアプローチの本質は何ですか？ ジオメトリ（および照明）を描画するという事実は0と1に限定されません。1つの光源は0.5単位のピクセル輝度を与え、もう1つの光源は100単位を与えます。 しかし、一見するとわかるように、画面は同じLDR形式で再生されます。 バックバッファーの色のすべての値をシーンの最大輝度に分割すると、同じLDRが得られ、0.5単位の光源は2番目の背景に対してほとんど見えません。 このために、 トーンマッピングと呼ばれる特別な方法が発明されました。 このアプローチの本質は、シーンの平均輝度に応じてダイナミックレンジをLDRに持ってくることです。 そして、私が意味することを理解するために、シーンを考えてみましょう：2つの部屋、1つの屋内の部屋、他の屋外 。 最初の部屋には人工光源があり、2番目の部屋には太陽の形の光源があります。 太陽の明るさは、人工光源の明るさより一桁高いです。 そして現実の世界では、最初の部屋にいるとき-この照明に適応し、別の部屋に入ると、異なるレベルの照明に適応します。 最初の部屋から2番目の部屋を見るとき-それは私たちにとって過度に明るいように見え、2番目から1番目の部屋を見るとき-黒。

別の例：1つの屋外部屋。 この部屋には、太陽自体と太陽からの拡散光があります。 太陽の明るさは、拡散光よりも一桁高いです。 LDRの場合、ライトの輝度値は等しくなります。 したがって、 HDRを使用すると、さまざまな表面からリアルなまぶしさを実現できます。 これは水上で非常に顕著です：



または、表面からのハイライト：


さて、シーン全体のコントラスト（左側はHDR、右側はLDR）：


HDRと一緒に、 ブルームテクノロジーを使用するのが一般的で、明るい領域がぼやけてメイン画像の上に重ねられます：


これにより、照明がさらに柔らかくなります。

また、ボーナスの形で- カラーグレーディングについて説明します。 この旅行は、一般的にAAAクラスのゲームで使用されます。

カラーグレーディング

ゲームでは非常に頻繁に、シーンに独自の色調が必要です。この色調はゲーム全体とシーンの個々のセクションで共通です。 そして、毎回1​​00個のシェーダーとポストプロセッサーを持たないようにするために、カラーグレーディングアプローチを使用します。 このアプローチの本質は何ですか？

有名なRGB文字は3次元の色空間で、各チャネルは一種の座標です。 R8G8B8形式の場合：チャネルごとに255階調。 それでは、この空間に通常の処理操作（曲線やコントラストなど）を適用するとどうなりますか？ 私たちのスペースは変化し、将来的には、このスペースからのピクセルである任意のピクセルに割り当てることができます。

単純なRGBスペースを作成します（8ピクセルごとに置き換えます。256階調すべてを取ると、テクスチャサイズが非常に大きくなるためです）。


これは、各軸が独自のチャネルを持つ3次元のテクスチャです。

そして、修正が必要なシーンをいくつか取ります（画像にスペースを追加します）：


必要な変換を（目で）実行します。


そして、変更可能なスペースを抽出します。


さて、この空間で-色を使ったすべての修正を任意の画像に適用できます。 元の色と変更された色空間を一致させるだけです。

実装

さて、 XNAでのHDRの実装について簡単に説明します。 XNAでは 、バックバッファー形式が（主に） R8G8B8A8に設定されます。 画面に直接レンダリングすると、 HDRを事前にサポートできません。 この回避策のために、特別なフォーマットであるHalfVector4 *を使用して、新しいRenderTargetを作成する必要があります（ ここでそれらの動作を説明しました ）。 この形式は、 RenderTargetの浮動値をサポートします。

* -XNAには 、 HDRBlendableのようなフォーマットがあります。これは同じHalfVector4です -しかし、RT自体が占有するスペースは少なくなります（アルファチャネルに浮動小数点が必要ないため）。

必要なRenderTargetを取得しましょう：

private void _makeRenderTarget() { // Use regular fp16 _sceneTarget = new RenderTarget2D(GraphicsDevice, GraphicsDevice.PresentationParameters.BackBufferWidth, GraphicsDevice.PresentationParameters.BackBufferHeight, false, SurfaceFormat.HdrBlendable, DepthFormat.Depth24Stencil8, 0, RenderTargetUsage.DiscardContents); } 

サーフェスのフォーマット-HdrBlendable （またはHalfVector4 ）および24ビット深度/ 8ビットのステンシルバッファーを使用して、ミップマップを無効にしてバックバッファーサイズ（画面解像度）で新しいRTを作成します（このテクスチャは画面クワッドに描画されます） 。 マルチサンプリングも無効にします。
このRenderTargetでは、深度バッファを有効にすることが重要です（通常のポストプロセスRTとは異なり）。 そこでジオメトリを描画します。

さらに-すべてがLDRのように、シーンを描画しますが、明るさの描画に限定する必要はありません[0 ... 1]。
公称輝度に3を掛けたスカイボックスと、 DirectionalLight照明と反射面を備えた古典的なユタティーポットを追加します。

シーンが作成されたので、 HDRフォーマットをLDRに何らかの形で組み込む必要があります。 最も単純なToneMappingを使用してください -これらすべての値を条件値maxで除算してください。

 float3 _toneSimple(float3 vColor, float max) { return vColor / max; } 

カメラをひねり、シーンが静止していることと、画像にコントラストを適用することで同様の画像を簡単に実現できることを理解します。

現実の生活では、私たちの目は希望する照明に適応します。部屋の明るさはまだ不十分ですが、目の前に明るい光源ができるまでは。 これは光適応と呼ばれます。 そして、最もクールなことは、 HDRとカラーアダプテーションが互いに完全に融合していることです。

次に、画面上の平均色値を計算する必要があります。 これは非常に問題です 浮動小数点形式はフィルタリングをサポートしていません。 次のように進みます。N番目のRTを作成します。各次は前のRTよりも小さくなります。

 int cycles = DOWNSAMPLER_ADAPATION_CYCLES; float delmiter = 1f / ((float)cycles+1); _downscaleAverageColor = new RenderTarget2D[cycles]; for (int i = 0; i < cycles; i++) { _downscaleAverageColor[(cycles-1)-i] = new RenderTarget2D(_graphics, (int)((float)width * delmiter * (i + 1)), (int)((float)height * delmiter * (i + 1)), false, SurfaceFormat.HdrBlendable, DepthFormat.None); } 

そして、ぼかしを使用して、前の各RTを次のRTに描画します。 これらのサイクルの後、実際には平均色を含む1x1テクスチャが得られます。

今すぐすべてを開始すると、色順応は実際に行われますが、瞬時に行われ、そのようにはなりません。 鋭く暗い領域から鋭く明るい領域を見ると、（明るさを増す形で）盲目的に見る必要があり、すべてが正常に戻ります。 これを行うには、現在の適応値を担当する別のRT 1x1を取得するだけで十分です。同時に、各フレームで現在の適応を現時点で計算された色に近づけます。 さらに、 FPSの数が適応速度に影響を与えないように、この近似値は同じgameTime.ElapsedGameTimeに関連付けられる必要があります。

さて、_toneSimpleのmaxパラメーターとして、平均色を渡すことができます。

ToneMappingの数式はたくさんありますが、そのうちのいくつかを以下に示します。




私は自分の式を使用します：



さて、次のステップはブルーム （ ここで部分的に説明しました ）とカラーグレーディングです：

カラーグレーディングの使用：
ToneMapping 'aの後のピクセルカラー値（RGB）は0〜1の範囲にあります。 カラーグレーディングカラースペースも条件付きで0〜1の範囲にあります。したがって、現在のピクセルカラー値をカラースペースのピクセルカラーに置き換えることができます。 同時に、サンプラーのフィルタリングは、 カラーグレーディングマップ上の32個の値の間を線形補間します。 つまり 私たちは「あたかも」のように
参照色空間を変更したものに置き換えます。

カラーグレーディングの場合、次の関数を入力する必要があります。

 float3 gradColor(float3 color) { return tex3D(ColorGradingSampler, float3(color.r, color.b, color.g)).rgb; } 

ここで、 ColorGradingSamplerは3次元サンプラーです。

まあとLDR / HDRの比較：
LDR：


HDR：

おわりに

このシンプルなアプローチは、 3D AAAゲームのチップの1つです。 ご覧のとおり 、これは古き良きDirectX9cに実装でき、 DirectX10 +の実装は根本的に異なります。 ソースに詳細情報があります 。

また、他のHDRI （写真で使用）とHDRR （レンダリングで使用）を区別する価値があります。

結論2

残念なことに、2012年にgamedevで記事を書いたとき-フィードバックと評価がはるかに多くありましたが、今では私の期待に少し応えられませんでした。 私はトピックの評価を追求しません。 私は彼が人為的に高くも低くもなりたくない。 私はそれを評価したい：必ずしも「良い記事！」とは限らないが、「私の意見では、記事は不完全で、％item％の状況は理解できないままである」とも。 否定的ではあるが建設的な評価でも嬉しいです。 その結果、私は記事を公開し、どういうわけかそれはいくつかのコメントと評価を収集します。 そして、habrahabrが自主規制コミュニティであるという事実を考慮すると、結論はそれ自身を示唆しています：記事は面白くない->それを公開する意味がありません。

PS私たちはすべて人間であり、間違いを犯します。したがって、テキストに間違いを見つけた場合は、私に個人的なメッセージを書き、怒りのコメントを急いで書いてはいけません！