🗽 🈹 🈁 ストレステストの課題-Vladimir Sitnikov（Netcracker）とAndrey Dmitrievのインタビュー 👨🏿‍🏭 👩🏻‍🚒 👩🏼‍🎤

ハイゼンバグ会議の前夜、私たちはウラジミールウラジミールシトニコフとの負荷テストの複雑さについて話しました（彼は10年間、NetrackerOSSのパフォーマンスとスケーラビリティに取り組んでいます-通信事業者がネットワークおよびネットワーク機器管理プロセスを自動化するために使用するソフトウェアであり、JavaおよびOracleデータベースのパフォーマンスの問題が好きです） real_ales Dmitriev （SunとOracleでJDKを開発したJavaプログラマー）は、QuickOfficeのAndroid開発チームを率いました。Netcrackerでは、彼が負荷を率いました OSSプラットフォームのテスト（Java、OracleDB、JMeterなど））。

JUG.ru：あなたの仕事と、その中でストレステストが果たす役割について教えてください。

Andrei Dmitriev：最近まで、パフォーマンス、耐久性、およびスケーラビリティに関してNetcrackerソリューションの品質を保証していました。

Netcrackerは、ほぼ100％Javaで記述された多くの通信事業者によって実装されているプラットフォームです。それはかなり前に作成され、膨大な数のサードパーティのハードウェアおよびソフトウェアで動作します。したがって、ネットワークパフォーマンス、フロントエンド、SQLクエリなど、まったく異なるケースを試すことができます。つまり、常に解決するケースは1つだけではありません。ケースは常に新しいものなので、とても興味深いものです。

私の仕事は、Netcrackerソリューションの問題を見つけることでした。問題が発見されたら、表面分析を実行し、追加の詳細情報を提供し、必要なメトリックを取得して（ダンプを作成）、比較的言えば、タスクをパフォーマンスエンジニアに転送しました。

ウラジミール・シトニコフ：私はパフォーマンスアーキテクトです。私の仕事は、測定結果を分析するだけでなく、あるクラスまたは別のクラスの問題を見るために、どの測定が最適であるかの推奨事項を開発することです。問題を解決するには、通常、これらの測定を行うだけでなく、結果を理解する必要があります。したがって、毎日、私は数字の雲の中で見ていることを行い、そこからいくつかの有用な情報を抽出しようとします。

問題は常に発生するわけではなく、タスクはテストから発生することに注意してください。実際の戦闘システムで発生するインシデントに対処する必要がある場合があります。この場合、2つの観点（テスト環境と実稼働環境）から問題を見て、問題を迅速に再現して修正する必要があります。

JUG.ru：あなたの意見では、どの質問から負荷テストを開始すべきですか？最も重要なものをいくつか強調できますか？

アンドレイ：私の意見では、ここに重要な問題はありません。各問題は、テストおよび開発プロセスに重要な影響を与える可能性があります。

ただし、開発中のシステムに顧客が期待するものから常に開始する必要があります。これを行うために、顧客が持っている既存のシステムまたはモデルの分析が実行されます：移行するデータ、実行するスクリプト、使用するデータ、これらすべてが機能するハードウェア。

しかし、私たちの現実は、プロジェクトに関する最初の情報を取得するとすぐにテストを開始することです。当然、バイナリがない場合、何もテストできません。しかし、データを分析して準備し、計画を立てることはできます。ソリューションが動作するハードウェア、関連するアーキテクチャとデータ、シナリオに関する情報が段階的に収集され、新しい情報ごとにテストの準備と実施に関する作業が調整されます。

すべてのデータを収集し、最初の計画から逸脱することなく今後3か月間テストしたことは決してありません。コメントは常に行われます。

たとえば、私たちは決定を下し、テストを開始しました。そのために、ITチームにデフォルトのプロジェクトを展開するように依頼しました（通常、展開します）。展開後、テストの最初の反復を実行しましたが、2つのノードの代わりにクラスターを構築する必要があったため、アプローチが完全に間違っていたことが突然わかりました。その結果、テスト環境全体を完全に破壊し、受け取った新しい情報に従って鉄片を再構成しました。

エンタープライズアプリケーションのテストの課題

JUG.ru：エンタープライズアプリケーションのテストにおける落とし穴-最も明らかなものをいくつか挙げてください。

アンドレイ：これらは落とし穴ではなく、これは地雷原全体です。

テストの各要素は非常に重要であり、テストプロセスの理解を根本的に覆し、結果を変更するか、完全に無効にすることができると既に述べました。したがって、すべてのステップにレーキがあります。

最初の最も一般的なのは、数字の間違いです。たとえば、顧客はどのような負荷があるのか理解できない場合があります。彼は、テスト計画を立てるために、入り口で入手できる特定の基本モデルを作成します。しかし、ある時点で、数値が正確に計算されなかったか、これらの数値を正しく解釈しなかったことが判明しました。たとえば、あるサービスのケースがありますが、追加された同じサービスのサブケースがあります。

顧客は、これはすべて1つのケースであると考え、実際、ユーザーはこれらのケースをさまざまな方法で起動します（つまり、ケースは異なる統計に分類されます）。顧客は、ケースが10万回実行されたと見なすことができ、実際、ユーザーは20万回作成したと考えられます。

2番目のポイント：多くの場合、顧客の機器でのテストに必要なすべての権利の欠如に直面しています。そして、ここから始まります...テスト用のフレームワークを配置する必要があります。そのためには、100500の承認を取得する必要があります。その後、データベースにアクセスする必要がありますなど必要な権利がなければ、回避する必要があります。

たとえば、顧客に行って負荷テストを実施しました。このテストでは、データベースから50万ユニットを使用しました。テストの一環として、顧客のデータベースに直接接続し、ユニットが使用されたことを示すフラグをオンにしました。合計でベースに60万があり、すでに50万を「燃やした」とします。そして、これらのオブジェクト50万個を元の状態に戻す方法を考え出す必要があります。事前に考えていない場合は、この負荷テストを実行する機会は1回しかありません。

マシンのオフセットで作業しているときに、このデータを元の状態に戻すSQLニックネームを開始しました。残念ながら、クライアントのオンサイトのこのSQLニックネームは機能しなくなり、別の方法を考え出す必要がありました。

ウラジミール：アンドレイが述べた数値の解釈の問題は、テストの対象となるデータの正確さと、その完全性と本質に非常に関連していることに注意したい。いくつかの狭い機能をテストし、不十分な負荷を作成する（または左と間違った負荷を追加する）場合でも、測定結果は大いに留保して信頼できます。テストの重要な問題の1つは、適切な負荷管理のために適切な量のデータを作成することです。

JUG.ru：負荷テストを開始する前にどのアクションを完了する必要がありますか？

Andrew：簡単な答えは機能テストです。

2番目-ハードウェアとソリューションをテストする準備ができていることを確認する必要があると言います。すべてのインターフェイスが正しく構成され、スプリアス負荷がなく、このマシンで何もしません。ちなみに、このために、テストの前に実行され、すべてが正常であるか、何か修正が必要かどうかを報告する特別なスクリプトがあります。

例の代わりに：少し前に、Oracleデータベースを特定のチェックポイントにロールバックしました。テストを実施し、特性を取得し、ロールバックを使用してデータベースを元の状態に戻しました。まあ、ある時点で、最後のステップを完了するのを忘れていました。後でテストを実行したときに、それらは落ち始めました。そして、ロールバックしなかった情報を追跡するのは非常に難しいため、本当の理由を見つけることは非常に困難でした。

JUG.ru：テストを計画する前に、アプリケーションに関する詳細情報をどのくらい持っている必要がありますか？

Andrew：確かに、要件は無期限に収集できます。エンドユーザーが運用を開始するとすぐに、要件の最終バージョンを受け取ります。しかし、この時点では、測定を行うには遅すぎます-すべてがすでに生産されています。したがって、我々のタスクは、特定のテストが正確に知られていないデータに基づいて有用であるという結論を引き出すことです。

さらに、製品の仕事についてではなく、プロジェクトの仕事について話している場合、誰も誰も待っていません。要件を収集するのに2週間あります-少なくともテストの作成を開始するには、これらの2週間を使用する必要があります。その後、新しい情報が利用可能になると、要件が更新され、テストが書き直されます。

そのような例があります。「3000件のケースがありますが、最も人気のあるケースは10〜20ケースになります。」とお客様が言うと想像してください。テストを開始します。これらのケースが1日に10万から20万回生成されるようにテストを作成します。テストを開始した後、これらのトップエンドのケースは多くの負荷を引き起こさないことがわかりました。CPUがゼロで、ハードドライブがほとんどロードされていないことがわかります。そして、これらの3,000件のケースの中には、実際には1日300回しか呼び出されないシナリオがあります（もちろん、それらを無視しました）が、これらは負荷の大部分を生み出すことができるある種の困難な検索であり、たとえば、ハードドライブに。

この例は、ケースの定量的評価だけでなく定性的評価も重要であることをよく示しています。プロジェクトに関する素晴らしい情報。

ウラジミール：アンドレイは、非常に興味深い水中レーキ-操作の複雑さを正しく評価する方法について触れました。潜在的な問題シナリオがどこにあり、どこにないかを示唆する何らかの専門知識（開発者またはアナリストにとっての才能）が必要です。

プロジェクトの詳細を最大化できますが、誰もそれを使用しません。少なくともエンタープライズアプリケーションでの負荷テストには制限があるため、テストの最も重要な詳細を何らかの方法で分離する必要があります。どうすればこれができますか？顧客の声（「デモの副社長によって押されるため、このボタンを2/10秒で押すことが非常に重要です」）に従うか、開発者またはアナリストの直感に従う必要があります。そのような機能は実装が難しいため、よりよくテストする必要があることを示唆しています。

したがって、実際のプロジェクトでは、ケースに関連する数だけでなく、これらのケースの複雑さに関するいくつかの専門家の評価にも直面しています。

JUG.ru：負荷テストで「ハードウェアの不具合」はどのような役割を果たしますか？

ウラジミール：私の意見では、機器が期待どおりに機能しない状況は非常にまれです。メモリとハードドライブが定期的に故障するという事実について多くのことを話すことができますが、これはまれにしか発生しません。また、原則として、サーバーのハードドライブがクラッシュした場合、スタンドを失うため、サーバーを最初から復元または構築する時間が失われます。

Andrew：時間を失うことに加えて、結果が失われる可能性があります。最悪なのは、テストの途中で構成が変更されたときです。最初の測定に費やした後、ホップ-構成が変更されました。そして、次の測定では別の結果が得られ、それが鉄片であるか、溶液が変化したかは不明です。

しかし、故障ではなく機器の制限に直面することが頻繁に起こります-鉄片が負荷に対処できないという事実があります。 2つの主なアプローチを使用してこれと戦うことができるように思えます。 1つ目は、時間の経過によるハードディスクの負荷の分散です（たとえば、日中は操作を実行しませんが、ユーザーがシステムで何もしない場合は夜間モードに移行します）。 2番目は、単純なクエリの最適化です。

JUG.ru：ストレステスト中に、あなたの経験上、データの観点からどのような「 住宅ローン 」を住宅ローンに入れるべきですか？

アンドリュー：通常、基本負荷の120〜150％を敷きます。しかし、一部のコンポーネントが弱いと予想される場合、つまりこの種の負荷の準備ができていない、または顧客の推定が嘘であると信じる理由がある場合、「再住宅ローン」を増やすことができます。

また、時には400％でチェックします。通常、システム全体を400％でテストすることはありません。コンポーネントを分離してテストし、それらがどの程度安定して動作するかを確認します。潜在的に弱いリンクであると考えられる場合、1つの小さなコンポーネントをプル（テストしてからプル）する方がはるかに簡単です。

JUG.ru：そのような負荷のリロードはどれくらいの頻度で保存されますか？

ウラジミール：しばしばかどうか-それは測定するのが難しいです。バックアップパラシュートが必要になることがよくありますか？

しかし、私は別の言い方をします。「戦闘」システムで偶発事態が発生することがよくあります。たとえば、コンポーネントの1つがフリーズしたり、データがその中に詰まったりします。その後、ロックが解除され、このすべてのデータがさらに上昇しました。理想的な世界では、もちろんどこにでもリミッターがありますが、実際には、そのようなスティックはメッセージの急増につながります-スタックの他のすべての部分の負荷が増加します。もちろん、これをサポートしていないと言えますので、システムは落ちました。しかし、それはあまり専門的ではありません。システムが少なくとも何らかの形で機能するか、少なくとも無意識状態にならない方が良いでしょう。

速度と品質の選択

JUG.ru：より良いテストにはより多くの時間が必要ですが、通常時間は限られています。速度と品質のバランスを見つける方法は？テストの速度を上げる方法は？

ウラジミール： 「ここから昼食まで」をテストする必要があります。
テストの速度を上げることについて。私の意見では、かなり簡単な答えがあります。複雑なシステムをバラバラにして、最初にコンポーネントごとにすべてをテストする必要があります。これは加速を与えます。システムがある場合、多くのシナリオがありますが、一度にテストすることはできません。原則として、ピースを取得するので、最初にこれらのピースを個別にテストし、次にすべてが多少ロールバックされたら、同時に多くのコンポーネントを含むテストを作成します。

アンドリュー：コンポーネントに関する会話を続ける...
サードパーティのシステムのスタブ-スタブなどがあります。お客様の環境以外でソリューションをテストする場合、電話番号、名前、IMEIなどを提供する実際のハードウェアとサービスはありません。エミュレータまたはスタブと呼ばれる「スタブ」を使用して、これらすべてを総合的にエミュレートします。通常、これらのスタブでテストを開始します。スタブもプロジェクトの一部であり、一定の負荷に耐えなければなりません。彼らに単音節で答えさせてください。しかし、彼らは私たちの内部フレームワークを使って書かれています。また、このフレームワークには、何らかのパフォーマンスの問題もあります。したがって、スタブを使用してテストを開始し、テストでロードされるよりも40〜50倍多くロードします。次に、エンドツーエンドのテストでこの問題に悩まされないようにします。

JUG.ru：得られた結果の分析に典型的な問題はありますか（大まかに言って、彼らは「良い」データを間違って見ていました）。

ウラジミール：分析に関するすべての問題は、データが収集されないという事実、またはデータが正しく収集されなかったという事実（つまり、負荷が本来必要だった方法で適用されなかった）のいずれかです。たとえば、エラーシナリオの割合を見ない場合に発生します。つまりエラーに注意を払わずに稼働時間を測定する場合（およびエラーは、稼働時間と負荷がまったく異なる場合があります）。

アンドリュー：私はヴォロディアに同意すると思います。むしろ、分析の問題ではなく、データの準備の問題です。通常、データは誤って収集されているか、十分ではありません。

たとえば、ある種の移行を実施し、レポートで成功を収めました。従来、6万個のオブジェクトが昇格されていました。このビジネスプロセスの詳細がわからないので、「すべては問題ありません」というレポートを作成しました。しかし実際には、これらの6万個のオブジェクトが何らかのエラーを引き起こしたことが判明しました。必要なことは、必要なプレートを確認するか、簡単な場合には特別なタブに移動して、操作が成功したかどうかを確認することだけでした。しかし、これは行われなかったため、結果として、測定は有効と見なされず、アプリケーションの速度を分析するために使用することはできません。

JUG.ru：ストレステストの合成データと自然データ：合成データと見なされるものと自然と見なされるものの用語を定義しましょう。

アンドレイ：ここでは車とのアナロジーが適切だと思う。完全な自然データ（鉱油）があり、100％合成されており、時には何らかのミックスがあります。同じ方法でテストすると、非常に多くの場合、合成データと自然データの何らかの混合が行われます。顧客から提供されたデータに基づいて（もちろん、私的で知的財産を脅かすと思われるデータを偽装します）、それに基づいて追加のオブジェクトを生成したり、既存のオブジェクトのネストを増やしたりできます。生成された量に応じて、合成の割合は高くまたは低くなります。

顧客からの入力がない場合、完全な合成データを生成します。これは、ソリューションがゼロから作成されるときによく発生し、このデータがどのように見えるかを把握する必要があります。

自然データの重要性について

JUG.ru：重要なのは自然なデータである状況を特定することは可能ですか？

ウラジミール：私はこれに遭遇していません。ただし、合成を外部システムに拡張すると、問題が生じる可能性があります。外部システム（ハードウェアなど）を正しくエミュレートできるとは限りません。すべての機能に耐えるために-時間の遅延、同時接続の数など。 -難しいです。おそらくある種のエミュレータを作成できますが、多くの場合、これらの点を評価するよりも既製の外部システムを使用する方が簡単です。

Andrew：確かに、スタブを作成すると、非常に原始的な答えが返されます。しかし、非常に大きなXMLを返すシステムが存在するため、地獄はそれを破ります。そして、そのようなシートを総合的に生成する代わりに、実際のデータを取得する方が簡単です。

ウラジミール：例を挙げることができます：メインフレームシステムと統合すると、大量のスタブを作成したり、データを格納したりするよりも、実際に動作するメインフレーム（本番ではなくテストコピー）を使用して作業する方が簡単です。。 20年以上前、比較的言えば、書かれたシステムを誰も理解していません。

質問を別の面に移動する-自然データをいつでも合成データに置き換えることができますが、開発のタイムラインや必要なリソース（お金と時間）などの実際の制限があります。また、完成したシステムを取得してコピーする方が、そのロジックを記述するよりも簡単な場合があります。

JUG.ru： 「不適切な」自然データはありますか？

ウラジミール：はい。簡単な検索関連の例があります。
検索は、典型的な問題領域の1つです。データ自体はそれほど悪くないので、どの検索オプションが使用されるかを知る必要があります。特に、同じもの（たとえば、John Smith）を絶えず探す場合、システムはそれに慣れ、キャッシュし、すべてがうまくいきます。常にランダム化し、異なるものを探すと、システムは少しおかしくなります（戦闘システムよりも複雑な負荷をかけることができます）。これらの微妙な点はすべて、測定結果に大きく影響します。

同じデータをコピーしたからといって、負荷テストで本番システムと同じ答えが得られるわけではないことに注意してください。

すべては、データベースなどの何らかの手段でエクスポート/インポートした後でも、データが別の方法でハードウェアに置かれるためです。

実際のシステムが何年も機能していれば、そこのデータは徐々に作成および削除され、その中の履歴記録は新しいものと混ざり合ってしまいます。このサーバーのエクスポートとインポートの後、すべてのデータが緊密かつコンパクトに近くにあることが判明する場合があります。その結果、すべてのスクリプトは、実際に運用環境で動作するよりもはるかにうまく機能します。繰り返しますが、検索シナリオはこれによって最も影響を受けますが、その効果は他のシナリオでも観察されます。この矛盾を取り除くには、環境自体を繰り返す方向に進む必要があります。データ自体をコピーするだけでなく、バイトごとに繰り返します。

Oracleデータベースの場合は、データ自体ではなく、ファイルのクローンを削除する必要があります。また、これらのストレステストシナリオを繰り返すために、顧客のテスト環境が、データのレベルではなく、データベースレベルで、データベースのクローンから展開された場合があります。

JUG.ru：自然データの「品質」を確認する方法は？何らかのセンスが必要ですか？

ウラジミール：常に才能がなければなりません。しかし、まだそのような方法があります-テストを生産の作業の結果と比較する。実行に時間がかかる運用スクリプトがある場合は、テスト環境でそれを繰り返し、そこで実行される量を確認できます。だから、ささいなことです。

アンドレイ：現物データとは、ある時点で取得されたデータであるということです。そして、彼らは悪くなる可能性があります。
私がほぼ2年間働いた有名なプロジェクトがあります。そして、2008年または2007年から現物のデータを取得しました。この間、これらのデータは完全に無関係になりました。しかし、以来他の方法はありませんでしたが、まだありません。これらの自然データを使用して、より関連性の高い合成物を生成します。

JUG.ru：企業データのコピーを「自然な」テストの基礎として使用する場合、どのような問題が発生しますか？

Andrew：まず第一に、このデータは何らかの形で既存のユーザーに添付されています。 ID , ID «».

: — email- . production, — , . , / .

— . , / , , .. . つまり , , , .

JUG.ru: . ? ?

: , , . , — . これはどういう意味ですか？ , . . , — - . , - first name / full name, , . , , , , - .

JUG.ru: ? - ?

: .

? , . , , , - (, ), 100500 .

. , . - (, -). , , 500 . 5 . , . , , . 500 — , - , , . , , — , , . , ? つまり , .

: , — , , , . , . .

— , , .

JUG.ru: ?

: , — , , , .

: , .

. / . ( , ). , , . - , , , , .. - . .

— , , , . , . , — . , ( , , ), .

JUG.ru: , ?

: — . , . , — . / , ( SQL- ).

, , 10 «Radisson ». .

レポートのテーマ：

ストレステストの課題-Vladimir Sitnikov（Netcracker）とAndrey Dmitrievのインタビュー

エンタープライズアプリケーションのテストの課題

速度と品質の選択

自然データの重要性について

More articles: