♦️ 👩🏻‍🤝‍👨🏼 🛁 SoftMocks：PHP 7のRunkitの代替品 🔂 👒 👧🏿

Badooは、PHP 7に切り替えた最初の企業の1つでした-最近それについて書いたばかりです。その記事では、テストインフラストラクチャの変更について説明し、SoftMocksと呼ばれるrunkit拡張機能用に開発した置換についてさらに説明することを約束しました。

ソフトモック

SoftMocksのアイデアは非常にシンプルで、タイトルに反映されています。純粋なPHPで、セマンティクスで最も互換性のあるrunkitのアナログを実装する必要があります。ここでSoftは、Zend APIやその他のハードコアを使用せずに、PHPコア内ではなく、その上に実装されることを強調しています。それが純粋なPHPであるという事実は、拡張機能を新しいバージョンのZend APIで書き換えて、セマンティクスのさまざまな微妙な原因による数百万のバグをキャッチするのではなく、新しいバージョンのPHPに簡単に切り替えて、新しい構文のサポートを追加できることを意味します。

純粋なPHPでは、これはgodebug 、go test -coverなど、多くのGoツールが動作するのと同じ方法で実行できます。 -私たちの場合、コードの自動書き換え-その場で、「インクルージョン」の直前に。インターネットでは、 Go！の上で実行されるAspectMockテストフレームワークを見つけることができます。 AOPは、コードも書き換え、AOPスタイルで記述する機能を提供します。このフレームワークは優れていますが、私たちの状況ではrunkitを完全に置き換えるものではないため、このライブラリのイメージと類似性で独自のソリューションを記述することにしました。残念ながら、前述のフレームワークは、機能やメソッドを即座に傍受する機能を提供していません（つまり、特定の機能を傍受する意図を事前に発表することはありません）。独自のスコープもありますが、これはrunkitおよびuopzの動作とは異なります。

runkitは何をしますか？

PHPのRunkit拡張機能を使用すると、PHPコードの実行中に、オブジェクト、関数、メソッド、および定数の状態に対してさまざまな操作を直接実行できます。

ドキュメントの例（http://php.net/manual/en/function.runkit-function-redefine.php）。

テストプログラム：

<?php function testme() { echo "Original Testme Implementation\n"; } testme(); runkit_function_redefine('testme','','echo "New Testme Implementation\n";'); testme();

テストプログラムの出力：

 Original Testme Implementation New Testme Implementation

機能テストや単体テストでは、このようなランキット機能を非常に広く使用しています。基本的に、この拡張機能の使用は、メソッド、関数、および定数値の実装の代替に限定されます。

ライブラリのAPI

事前のアナウンスなしで、機能とメソッドをその場で再定義する機能を備えた同じ機能を取得したいと考えています。 runkitの代わりにSoftMocksを使用すると、プログラムは次のようになります（同じ例）。

 <?php //  test.php function testme() { echo "Original Testme Implementation\n"; } testme(); \QA\SoftMocks::redefineFunction('testme', '', 'echo "New Testme Implementation\n";'); testme();

この例を実行するコマンドは次のとおりです。

 $ php -r 'require("init.inc"); require(SoftMocks::rewrite("test.php"));'

テストプログラムの出力は、runkitの出力と同じです。

init.incファイルには、SoftMocksクラスを初期化するためのコードが含まれており、次のようになります（ファイルの特定の形式はアプリケーションによって異なります）。

 <?php //     PhpParser // (    ,   SoftMocks) require($php_parser_dir . "Autoloader.php"); \PhpParser\Autoloader::register(true); $out = []; exec('find ' . escapeshellarg($php_parser_dir) . " -type f -name '*.php'", $out); foreach ($out as $f) { require_once($f); } //    SoftMocks (  !) require_once("SoftMocks.php"); \QA\SoftMocks::init();

実装アイデア

最初のアイデアは非常にシンプルでした：メソッドと関数のすべての呼び出し、定数の呼び出し、ラッパーの呼び出しをラップして、特定のメソッドと関数のモックオブジェクトがあるかどうかを確認できます。

したがって、そのようなからのコード

 class A extends B { public function test($a, $b) { parent::test($a, $b); $c = file_get_contents("something.txt"); return $c; } }

これになります：

 class A extends B { public function test($a, $b) { \QA\SoftMocks::call([parent::class, 'test'], [$a, $b]); $c = \QA\SoftMocks::call('file_get_contents', ['something.txt']); return $c; } }

SoftMocks :: call（）メソッドのコードは次のようになります。

 public static function call($func, $args) { if (!self::isMocked($func)) { return call_user_func_array($func, $args); } return self::callMocks($func, $args); }

実装の開始：再帰的な書き換えを含める

最初に、フロントコントローラーで、またはPHPUnitテストの場合はbootstrap.phpでSoftMocksの使用を有効にできるように、1つのことしかできないシンプルなパーサーを作成しました。、すべてのファイルはパーサーによって再帰的に書き換えられます。

例：

 //  -   (front.php) <?php require('autoload.php'); $app = new App(); $app->run(...);

ここで、autoload.phpは自動ロードプロジェクトのクラスをロードし、必要なものすべてを登録および初期化します。場合によっては、インクルード（...）を使用して他のファイルをロードします。フロントコントローラーを含む元のファイルを別の場所（たとえば、front-orig.php）に移動し、これに置き換える必要があります。

 //  -   <?php if ($soft_mocks_enabled) { require('soft_mocks_init.inc'); include(\QA\SoftMocks::rewrite("front-orig.php")); } else { include("front-orig.php"); }

パーサーを渡すと、front-orig.phpファイルは次のようになります。

 //   -   SoftMocks <?php require(\QA\SoftMocks::rewrite('autoload.php')); $app = new App(); $app->run(...);

SoftMocks :: rewrite（$ filename）メソッドはファイルを上書きし、require、include、methodの呼び出しなどをラッパーの呼び出しに置き換えます。この関数の戻り値は、既にラップされたコードを含むファイルへの新しいパスであり、関数、メソッド、定数の値をその場で再定義できます。

たとえば、 front-orig.phpは/tmp/mocks/<hash-code>/front-orig.php_<version>に変換されます。コンパイルされたファイルへのパスで、<hash-code>はファイルの内容とパスに基づいて計算されます。これにより、コンパイルされたファイルをキャッシュし、ファイルの解析と書き換えの手順を1回だけ実行できます。

最初は、本格的な構文解析の複雑さを理解するために、includeとrequireのみを書き直したかったのです。 PHPでは、このような構造にブラケットを使用しないことができます（つまり、 require("a.php"))代わりにrequire("a.php")) require "a.php";記述できますrequire("a.php")) 。また、式と他の関数の呼び出しもサポートします。これにより、「包含物」を置き換える最も単純なタスクが必要以上に難しくなります。 __FILE__および__DIR__定数もあります。これらの値は、ファイルの場所に応じて動的に変化します。 include(dirname(__DIR__) . “/something.php”);ようなコードがよく見られますinclude(dirname(__DIR__) . “/something.php”); 、および__DIR__定数と__FILE__定数の呼び出しは、それらの内容に置き換える必要があります。

別の不快な問題は、インクルードで相対パスを使用できることです（ require "a.php" ）。したがって、include_path設定に注意を払い、現在のディレクトリ（ "。"）の値をソースのディレクトリではなく、書き換えられたファイル。

token_get_all（）対PHPパーサー

パーサーの最初のバージョンは、token_get_all（）関数を使用しようとしました。この関数は非常に高速に機能し、ファイル内のトークンの配列を返します。問題は、SoftMocks :: call（）で関数呼び出しをラップする場合に必要なように、関数のネストされた引数を解析すること、さらには引数リストを配列で置き換えることは非常に難しいことです。

したがって、 PHP ParserというNikita Popovのライブラリを使用しました。このライブラリは、token_get_all（）によって返されるトークンのリストに基づいてASTツリーを構築できます。また、ツリーを走査して変更するための便利なツールも提供します。このライブラリにより、必要なものを簡単に実装できます。

残念ながら、パーサーには欠点があります。

パフォーマンスの低下：ベンチマークによると、ファイルの解析にはtoken_get_all（）の約15倍の時間がかかります。
元の行番号を維持しながら、変更されたツリーを印刷して戻すことができない。

ライブラリがPHPにあるため、最初の問題を解決するのが難しい場合は、「箱から出してすぐに」提供されるプリンタを拡張することで、2番目の欠点を解消しました。この目的のために、出力ファイルが「美しい」ことはそれほど重要ではありませんでした。PHPUnitのエラーメッセージとコードカバレッジの計算がテストの影響を受けないように、元の行番号を最大に保つだけでした。

最終実装

PHPパーサーに基づいて、私たちは当初の目的を正確に実行するプロトタイプをすばやく作成しました。これは、レイヤーの呼び出しでメソッドと関数の呼び出しをラップします。残念ながら、メソッドの場合、このアプローチには多くの問題がありました。

call_user_func *ファミリーはprivateおよびprotectedメソッドの呼び出しを許可しないため、パフォーマンスにあまり影響しないReflectionを使用する必要があります
親メソッドを呼び出すには、「特別なストリートマジック」に頼る必要があります。親メソッドへの呼び出しはparent parent::call_something(...)として記録されますが、呼び出しは実際には静的ではなく動的です。さらに、静的クラスの値は保持する必要があり、親クラスを指す必要はありません。残念ながら、Reflectionを介して呼び出すときに現在の静的コンテキストを保存する簡単な方法は見つかりませんでした-このメソッドはまだ存在しない可能性があります。
常にsetAccessible（true）を使用してReflectionを介してメソッドを呼び出すため、実際には常にprivateおよびprotectedメソッドをパブリックであるかのように呼び出しますが、「実際の」コードでは実行時に致命的なエラーにつながる可能性があります。テストされたコードの動作を変更しますが、これは許可されていません。
この方法で「マジック」メソッドの実装を置き換えることはできません。たとえば、__ construct、__ get、__ set、__ clone、__ wakeupなどです。

その結果、各メソッド定義の前に追加のコードを挿入することにより、クラスメソッドのモックオブジェクトを実装するという結論に達しました。例

 public function doSomething($a) { return $a > 5; }

次のようになります。

 public function doSomething($a) { if (SoftMocks::isMocked(...)) { return eval(SoftMocks::getMockCode(...)); } return $a > 5; }

メソッド呼び出しをラップしませんが、それでも関数に対してそれを行います。このアプローチでは、組み込みクラスのメソッドをインターセプトすることはできませんが、驚くべきことに、この機能はまだ必要ありませんでした。興味深いことに、AspectMockライブラリは、メソッドモックオブジェクトに対して同様のアプローチを使用します。

関数を使用する場合、問題もあります。

get_called_class（）など、一部の関数は現在のコンテキストに依存します。
static （文字列）やselfなどの値は関数に渡すことができ、関数はラッパーを介して呼び出されるため、関数はこれらのキーワードに対して異なる値を取得します。そのような場合、テストされたコードを変更して、関数が文字列ではなくクラス名、たとえばstatic::classではなくstatic::classに渡されるようにする必要がありstatic 。
preg_replace_callbackなどのコールバックを呼び出すことができる関数は、プライベートメソッドを呼び出すことができます。 preg_replace_callback関数の実際の呼び出しはSoftMocksクラスから行われるため、アクセスエラーが発生し、このコンテキストからのプライベートメソッドにアクセスできなくなります。この問題の解決策は、たとえばarray($this, 'callback')代わりに匿名関数を渡すなど、コードを書き換えることです。

これらの問題のほとんどを解決するために、好転せず、常に直接呼び出される関数の「ブラックリスト」をサポートしました。それらのいくつかを次に示します。get_called_class、get_parent_class、func_get_args、usort、array_walk_recursive、extract、compact、get_object_vars。これらの関数は、SoftMocksを使用して置き換えることはできません。

グローバル定数とクラス定数のインターセプトは非常に簡単です。定数へのすべての呼び出しを関数呼び出しに置き換えます。唯一の例外は、定数が関数またはクラスプロパティの引数でデフォルト値として示されている場合です。つまり、次の場所を書き換えることはできません。

 class A { private $b = SOME_CONST; } //    ,  parse error function doSomething($a = OTHER_CONST) { //           , //    ,    //     }

パフォーマンス上の理由から、定数true、false、およびnullをラップしないことも決定しました。これは、runkitとは異なり、SoftMocksではredefineConstant redefineConstant("true", false);できないことを意味しredefineConstant("true", false); 。

性能

SoftMocksは純粋なPHPで作成されているため、パフォーマンスはrunkitよりも劣ると予想されます。実際、SoftMocksは呼び出し時にランタイムキャッシュをリセットする必要があるなどの問題に悩まされていないため、テストはより速く、より安定して合格し始めました。ライブラリは、ロードされるクラスと関数の数を増やしてもパフォーマンスが低下しないため、この場合の全体的なパフォーマンスはわずかに向上することがわかりました。

SoftMocks関数をまったく使用せずに、書き換えられたコードを実行すると、推定によると、そのパフォーマンスは約3倍低下します。一般に、パフォーマンス上の理由とセキュリティ上の理由の両方で、SoftMocksを単体テストに使用し、このライブラリを実稼働に使用しないことをお勧めします。ライブラリは一時ファイルを作成し、Webコンテキストから書き込み可能なディレクトリからインクルードします。

PHPUnitとの統合

「含まれる」ファイルへのパスを置き換えると、元のファイルではなく自動生成されたファイルが原因で、バックトレースが読み取り不能になります。また、PHPUnit自体がファイルをアップロードし、ソースコードを書き換えないため、テストファイルで定義された関数とメソッドを置き換えることができません。

これらの問題を解決するために、PHPUnitのpull-requestを準備しました： github.com/sebastianbergmann/phpunit/pull/2116

おわりに

SoftMocksプロジェクトはGitHubのgithub.com/badoo/soft-mocksで入手できます。
Nikita PopovのPHP Parserを使用します。これはGitHubでも入手できます： github.com/nikic/PHP-Parser 。

その場でコードを書き換えるときに、サードパーティの拡張機能を使用せずに、純粋なPHPで関数、ユーザーメソッド、および定数の実装を置き換えることができるようにしました。私たちのケースでは、runkitを完全に取り除き、PHP 7の60,000ユニットテストのスイート全体を「実行」し、見つかった非互換性を修正しました（ごくわずかが見つかりました。それらのいくつかは、PHP 7の開発バージョンでエラー開発者に報告しました）。

Badoo.comは現在PHP 7を実行していますが、特にSoftMocksの開発のおかげで、これを達成することができました。あなたの経験が私たちと同じように前向きになることを願っています。
いいテストをしてください！

Yuri Nasretdinov、シニアPHP開発者

SoftMocks：PHP 7のRunkitの代替品