Unreal Engine開発プロセスの一部としての静的分析

Unreal Engineプロジェクトは開発中です-新しいコードが追加され、すでに記述されているものが変更されます。 プロジェクトの開発の避けられない結果は、できるだけ早く検出することが望ましい新しいエラーのコードに現れることです。 エラーを減らす1つの方法は、PVS-Studio静的コードアナライザーを使用することです。 さらに、アナライザーも急速に開発されており、新しいエラーパターンを見つけることを学んでいます。そのいくつかはこの記事で説明します。 プロジェクトのコードの品質に関心がある場合は、この記事が役立ちます。

この出版物はAndrey Karpovによって作成され、コード例はPVS-StudioチームのIlya IvanovとSergey Vasilievによって提供されました。 元のソースは、「Unreal Engine の開発プロセスの一部としての静的解析 」というUnreal Engineブログです。

静的コード分析、理論

静的コード分析は、プログラムのソースコードのエラーと欠点を識別するプロセスです。 静的分析は、自動化されたコードレビュープロセスと見なすことができます。 コードレビューについてもう少し詳しく見ていきましょう。

コードレビューは、最も古く、最も有用な欠陥検出方法の1つです。 ソースコードを注意深く読み、それを改善するための推奨事項を作成することから成ります。 コードの読み取り中に、将来エラーになる可能性のあるエラーまたはコードのセクションが明らかになります。 また、レビュー中のコードの作成者は、プログラムのこの部分またはその部分がどのように機能するかについて説明すべきではないと考えられています。 アルゴリズムは、プログラムのテキストとコメントから直接理解する必要があります。 この条件が満たされない場合、コードを完成させる必要があります。

原則として、プログラマは他の誰かのコードのエラーをはるかに簡単に認識するため、コードのレビューはうまく機能します。 コードレビュー手法の詳細については、Steve McConnellの優れた書籍「Perfect Code」（Steve McConnell、「Code Complete」）を参照してください。

コードレビューの方法には、2つの欠点があります。

1. 非常に高い価格。 新しいコードを確認したり、推奨事項を作成した後にコードを再確認したりするために、メインの作業から複数のプログラマーを定期的にそらす必要があります。 この場合、プログラマはリラックスするために定期的に休憩を取る必要があります。 コードの大きなフラグメントを一度に見ようとすると、注意がすぐに鈍くなり、コードをレビューする利点がすぐに消えてしまいます。
2. 人々は、新しい/変更されたコードに直接関係しないエラーを検出するのが難しいと感じます。 書き込まれたばかりのフラグメントを考慮すると、 stdlib.hヘッダーファイルが接続されていないため、 malloc関数がその中で正しく動作しないと仮定することは困難です。 この状況については、記事「 C言語の美しい64ビットエラー 」で詳しく説明しています。 別の例：ヘッダーファイル内の関数または変数のタイプを変更します。 理論的には、このような変更の後、この関数または変数が使用されるすべてのコードを調べる必要があります。 実際には、これは非常に時間がかかり、原則として、レビューはプログラマーが何かを変更した場所にのみ制限されます。

一方では、定期的にコードをレビューしたいと思います。 一方、高すぎます。 トレードオフは静的コード分析ツールです。 プログラムのソースコードを処理し、コードの特定のセクションに注目を集めるようにプログラマーに推奨します。 同時に、アナライザーは疲れず、ヘッダーファイルの編集の影響を受けるすべてのコードをチェックします。 もちろん、プログラムは、プログラマーのチームによって実行されたコードの完全なレビューに代わるものではありません。 ただし、利益/価格比により、静的分析の使用は多くの企業にとって非常に有用なプラクティスになります。

他のエラー検出方法論と同様に、静的分析には長所と短所があります。 プログラムをテストするための完璧な方法はありません。 最適な結果は、優れたコーディングスタイル、静的コード分析、動的コード分析、単体テスト、回帰テストなど、さまざまなアプローチの組み合わせを使用して取得できます。

静的分析の重要な利点は、コードに表示された直後に多くのエラーを検出できることです。つまり、エラーを修正することは非常に安価です。

実際、エラーが早期に検出されるほど、修正のコストが低くなります。 したがって、McConnellの著書「Perfect Code」に記載されているデータによると、テスト段階でのエラー修正は、コーディング（コードの記述）段階での10倍の費用がかかります。

表1.欠陥の検出時間に応じた欠陥修正の平均コスト（表のデータはS. McConnellの「Perfect Code」による本から取られています）。

静的分析ツールを使用すると、コードの作成段階に固有の多数のエラーを特定できるため、プロジェクト全体の開発コストを大幅に削減できます。

静的アナライザーを使用することの重要性は、時間とともに増大します。 これは、最新のアプリケーションのコードサイズが徐々に増加しているためです。 プログラムはより大きく、より難しくなっています。 さらに、コードのエラー密度は、そのサイズに非線形に依存します。

プロジェクトが大きいほど、含まれるコードの1000行あたりのエラーが多くなります。 この興味深い表をご覧ください。

表2.プロジェクトのサイズと一般的なエラー密度。 データソース：「プログラムの品質とプログラマの生産性」（Jones、1977）、「ソフトウェアコストの見積もり」（Jones、1998）。

データを認識しやすくするために、グラフを作成します。

チャート1.プロジェクトの典型的なエラー密度。 青は最大量です。 赤は平均額です。 緑が一番少ない。

グラフから、プロジェクトの成長に伴い、プログラマはプロジェクトの必要な品質を維持できる手段をますます使用する必要に迫られていることがわかります。 高品質のコードを作成するために同じことを行うことはできません。これは、たとえば8年前に行われました。 これはチームにとって不快な発見になる可能性があります。彼らはいつものようにコードを書いているようで、品質の状況は悪化しています。

新しい方法論とツールを習得する必要があります。さもなければ、プロジェクトの成長に伴い、古い技術では十分ではなくなります。 そして、使用すべき非常に有用な手法の1つは、調査した静的コード分析です。

読者が静的コード分析の方法論にまだ精通していない場合は、なんとか興味を持っていただければ幸いです。 彼女とのより詳細な知り合いのために、いくつかのリンクを提供します：

1. ジョン・カーマック。 静的コード分析 。
2. ウィキペディア 静的コード分析 。
3. ウィキペディア 静的コード分析のためのツールのリスト 。
4. アル・ベッシー、ケン・ブロック、ベン・シェルフ、アンディ・チョウ、ブライアン・フルトン、セス・ハレム、チャールズ・アンリ・グロス、アシャ・カムスキー、スコット・マクピーク、ドーソン・エングラー。 数十億行のコードを後で：静的分析を使用して実世界のバグを見つけます。
5. エカテリーナ・ミロビドバ。 静的コード分析に関するビデオの選択 。
6. PVS-Studioチームのブログ 。

理論から実践へと移行し、静的解析がアンリアルエンジンゲームエンジンのようなプロジェクトにどのように役立つかを見てみましょう。

アンリアルエンジン

私たちのチームは、Unreal Engineコードで作業できることを再び光栄に思います！

すでに2年前にこれを行いましたが、過去数年間、コードの編集と改善に関する作業が蓄積されてきました。 2年間の休憩の後、そのようなプロジェクトのコードベースを見ると、常に便利で興味深いものです。 これにはいくつかの理由があります。

まず第一に、アナライザーの誤検知を調べることに興味があります。 ツールで何かを修正できます。これにより、不要なメッセージの数が減ります。 誤検知との闘いは、コードアナライザーの開発者にとって継続的なタスクです。 このトピックに興味がある人は、記事「 静的アナライザーが偽陽性と戦う方法と理由 」を読むことを提案します。

2年間、Unreal Engineのコードベースは大きく変化しました。 いくつかの断片が消え、いくつかが追加されました。 場合によってはフォルダ全体も。 したがって、コードのすべての部分に十分な注意が払われたわけではありません。つまり、PVS-Studioにも作業があります。

コードの品質に多大な注意を払い、PVS-Studioなどのツールを使用しているEpic Gamesを称賛したいと思います。 もちろん、読者はにやにや笑うことができます。「もちろん、あなたのチームはEpic Gamesを称賛すべきです。それはあなたのクライアントだからです。」 Epic Gamesの開発者に関する肯定的なフィードバックを残す動機があります。 しかし、私は会社を心から賞賛しました。 静的コード分析ツールが使用されているという事実は、プロジェクト開発サイクルの成熟度と、コードの信頼性とセキュリティに対する会社の懸念を示しています。

PVS-Studioを使用するとコードの品質が大幅に向上すると確信しているのはなぜですか？ 次のようなプロジェクトでもエラーを簡単に検出できる最も強力な静的アナライザーの1つであるためです。

• GCC（ エラー ）
• Clang（ エラー 、 エラー 、 エラー ）
• Valgrind（ エラー ）
• GDB（ エラー ）
• FreeBSD（ エラー 、 エラー ）
• などなど 。

PVS-Studioを使用すると、コードが1ステップ追加されます。 Epic Gamesは、プロジェクトでUnreal Engineを使用するすべての人の面倒を見てくれます。 修正されたミスごとに、誰かの頭痛が軽減されます。

興味深いバグ

Unreal Engineで発見して修正したすべてのエラーについては説明しませんが、注目に値するいくつかのエラーのみを強調します。 興味のある方は、GitHubのプルリクエストを見て、他のエラーに慣れることができます。 ソースコードと指定されたプルリクエストにアクセスするには、GitHubのUnreal Engineリポジトリにアクセスする必要があります。 これを行うには、GitHubアカウントとEpicGamesアカウントが必要です 。これらのアカウントはunrealengine.comにリンクする必要があります。 その後、GitHubのEpic Gamesコミュニティに参加するための招待を受け入れる必要があります。 指示

PVS-Studioアナライザーの開発は、新しい診断の出現だけでなく、既存の診断の改善にも関連しています。 たとえば、変数の可能な値を計算するアルゴリズムが改善されています。 これにより、約1年前に、アナライザーはこの種のエラーを検出し始めました。

uint8* Data = (uint8*)PointerVal;

if (Data != nullptr || DataLen == 0)
{
  NUTDebug::LogHexDump(Data, DataLen);
}
else if (Data == nullptr)
{
  Ar.Logf(TEXT("Invalid Data parameter."));
}
else // if (DataLen == 0)
{
  Ar.Logf(TEXT("Invalid DataLen parameter."));
}

PVS-Studio: V547 Expression 'Data == nullptr' is always true. unittestmanager.cpp 1924

(Data != nullptr || DataLen == 0) , , Data nullptr. , (Data == nullptr) .

:

if (Data != nullptr && DataLen > 0)

V547 2010 . , . DataLen, , . , , .

PVS-Studio, . , «», .. .

«», , C++. C++11, C++14 . , . V714, range-based . Unreal Engine V714 :

for (TSharedPtr<SWidget> SlateWidget : SlateWidgets)
{
  SlateWidget = nullptr; 
}

PVS-Studio: V714 Variable is not passed into foreach loop by a reference, but its value is changed inside of the loop. vreditorradialfloatingui.cpp 170

nullptr SlateWidgets. , SlateWidget — , . . , :

for (TSharedPtr<SWidget> &SlateWidget : SlateWidgets)
{
  SlateWidget = nullptr; 
}

, , , . , V767 2015 , Unreal Engine. PVS-Studio 6.07 (8 2016). :

for(int i = 0; i < SelectedObjects.Num(); ++i)
{
  UObject* Obj = SelectedObjects[0].Get();
  EdObj = Cast<UEditorSkeletonNotifyObj>(Obj);
  if(EdObj)
  {
    break;
  }
}

PVS-Studio: V767 Suspicious access to element of 'SelectedObjects' array by a constant index inside a loop. skeletonnotifydetails.cpp 38

, UEditorSkeletonNotifyObj. - i 0.

:

UObject* Obj = SelectedObjects[i].Get();

V763, , V767, PVS-Studio 6.07. , , , RunTest:

bool FCreateBPTemplateProjectAutomationTests::RunTest(
  const FString& Parameters)
{
  TSharedPtr<SNewProjectWizard> NewProjectWizard;
  NewProjectWizard = SNew(SNewProjectWizard);

  TMap<FName, TArray<TSharedPtr<FTemplateItem>> >& Templates =
    NewProjectWizard->FindTemplateProjects();
  int32 OutMatchedProjectsDesk = 0;
  int32 OutCreatedProjectsDesk = 0;
  GameProjectAutomationUtils::CreateProjectSet(Templates, 
    EHardwareClass::Desktop, 
    EGraphicsPreset::Maximum, 
    EContentSourceCategory::BlueprintFeature,
    false,
    OutMatchedProjectsDesk,
    OutCreatedProjectsDesk);

  int32 OutMatchedProjectsMob = 0;
  int32 OutCreatedProjectsMob = 0;
  GameProjectAutomationUtils::CreateProjectSet(Templates, 
    EHardwareClass::Mobile,
    EGraphicsPreset::Maximum,
    EContentSourceCategory::BlueprintFeature,
    false,
    OutMatchedProjectsMob,
    OutCreatedProjectsMob);

  return ( OutMatchedProjectsDesk == OutCreatedProjectsDesk ) &&
         ( OutMatchedProjectsMob  == OutCreatedProjectsMob  );
}

:

• CreateProjectSet OutMatchedProjectsDesk OutCreatedProjectsDesk.
• CreateProjectSet OutMatchedProjectsMob OutCreatedProjectsMob.

, :

return ( OutMatchedProjectsDesk == OutCreatedProjectsDesk ) &&
       ( OutMatchedProjectsMob  == OutCreatedProjectsMob  );

, . , , CreateProjectSet , , .

CreateProjectSet:

static void CreateProjectSet(.... int32 OutCreatedProjects,
                                  int32 OutMatchedProjects)
{
  ....
  OutCreatedProjects = 0;
  OutMatchedProjects = 0;
  ....
  OutMatchedProjects++;
  ....
  OutCreatedProjects++;
  ....
}

PVS-Studio :

• V763 Parameter 'OutCreatedProjects' is always rewritten in function body before being used. gameprojectautomationtests.cpp 88
• V763 Parameter 'OutMatchedProjects' is always rewritten in function body before being used. gameprojectautomationtests.cpp 89

, , OutCreatedProjects OutMatchedProjects , 0.

: . :

static void CreateProjectSet(.... int32 &OutCreatedProjects,
                                  int32 &OutMatchedProjects)

, - . . , break:

{
  case EWidgetBlendMode::Opaque:
    ActualBackgroundColor.A = 1.0f;
  case EWidgetBlendMode::Masked:
    ActualBackgroundColor.A = 0.0f;
}

:

checkf(GPixelFormats[PixelFormat].BlockSizeX 
    == GPixelFormats[PixelFormat].BlockSizeY 
    == GPixelFormats[PixelFormat].BlockSizeZ 
    == 1, 
  TEXT("Tried to use compressed format?"));

- C++ , , V709.

, PVS-Studio. , ?

, . .

{
  case EWidgetBlendMode::Opaque:
    ActualBackgroundColor.A = 1.0f;
  case EWidgetBlendMode::Masked:
    ActualBackgroundColor.A = 0.0f;
}

. , , .

: - ?

PVS-Studio , , , . , PVS-Studio. .

, , , , , .

, , , , .

, . , , , . , , , .

, . , , , — .

. " ' '" (en). :

( , , )?

, 90% « ».

, . 100 50 50 — . . , , , , « ».

, . — . «/ » . , — .

, .

. .

. , , . , , . , //. : " — ".

: . , :

• « »;
• , ;
• ( , );
• ;
• ;
• , ;
• , TDD;
• .

. - , - . — - , . .

Unreal Engine , PVS-Studio, , .

PVS-Studio . PVS-Studio , , ..

.