テスター向けの数学

SQA DaysカンファレンスでのNikita Nalyutinによる報告-2013年4月13日〜26日、ロシア、サンクトペテルブルク

お知らせ 。 テスト設計の新しい方法が常に同時に生まれたわけではなく、工学の実践のすべてが夢に見られるたった1つのインスピレーションと素晴らしいアイデアの結果として現れるとは限りません。 現代のテスト慣行のかなりの部分は、数学モデルの適応に関する理論的および実験的な作業の骨の折れる結果として現れました。 また、優れたテスターに​​なるためには数学者である必要はまったくありませんが、1つまたは別のテスト方法の基礎となる理論的根拠を理解することは有益です。 レポートでは、数学論理、形式言語の理論、数学統計および数学の他のセクションによってテストの基礎がどのように提供されるかについて説明します。 理論的なコンピューターサイエンスには、テストに関連する領域があります。 近い将来に期待できる新しい方法




こんにちは、同僚の皆さん！ 私の名前はニキータナリュティンです。 テストで少し数学の話をして午後の昼寝を明るくできるといいのですが。 最初に、私が誰であり、どのようにテストに来たかについて少しお話します。

11年前に開発からテストに参加しました。 彼はテスター自動化エンジニアとして始まり、航空ソフトウェアのテストに従事していました。 エアバスを使用している場合は、おそらく今日2〜3台のシステムが搭載されています。 その後、彼はさまざまな分野で働きました。彼はドイツ銀行で取引システムのテストに従事し、素晴らしい会社Undevで少し働いていました。 現在、Experianで働いており、ロシア、CIS諸国、ヨーロッパでテスト管理を行っています。 過去11年間にわたって直接テストすることに加えて、さまざまな興味深いことが行われました。 私は国内の3つの大学で教えています。 どうやってやるのか聞かないでください-わかりません。 2007年に、マイクロソフトの支援を受けて、検証とテストに関する書籍をリリースしました。 彼らはそれがうまくいったと言う。



今日は何について話しますか？ テストに数学が必要なのはなぜですか。 数学なしでテストできないのはなぜですか。 この場合、このオプションは可能ですが、可能ではありません。 いくつかの例について、実際に数学を適用する方法を見てみましょう。 新しいもののテストを開始するときの方法と場所。



テストへのアプリケーションで数学を学習する方法と場所について話しましょう。 そして、テストを続けながらどのように科学に進むことができるか、実際の現実でそれを行う価値があるかどうか、誰が今科学に興味があるかどうかについて少し話しましょう。



テストで数学の必要性の問題さえ提起するのはなぜですか。 昨日、レポートの1つで、私が衝撃を受けたスライドを見ました。その意味は次のとおりです。 いずれかのシステムの欠点として、それを使用するためには、テスターが分析的思考を発達させなければならないことが示されています。 分析的思考はテスタ​​ーの強みの1つであり、これがなければこの職業には何の関係もないといつも思っていました。 特に数学論理と分析的思考により、テストを可能な限り鋭くし、最も複雑な問題を解決できる程度までテストを開発することができます。



実際、M.V。の時代から ロモノソフの人生は見た目ほど大きく変わっていません。 すべての人、特にテスターが心を整えるべきです。 テスターに​​は特別なツールも必要です。 Al-Caponeはリボルバーと親切な言葉を使用しました。テスターは数学と親切な言葉を使用することをお勧めします。 数学の助けと開発者との親切な言葉で、あなたは多くの異なる面白いことをすることができます。



実際、興味深い質問です。日常の活動で数学を使用しないのはなぜですか。 答えは簡単です-私たちは彼女を愛していません。 簡単な統計：Googleのリクエスト「I hate ...」を受け取ります。 そして、我々は得る：
•70万3千の答え：スターウォーズが嫌い
•701千の答え：数学が嫌い
数学はスターウォーズに次ぐ存在です！ 悪くないよね？ この憎しみがいくらか分解された場合、数学を使用することを妨げる3つのブロッカーを区別できます。



最初のブロッカー-テストにおける数学-は、実際にはうまく機能しないプログラムの正確さの正式な証明です。 この科学分野は非常に発達しており、狭いサークルで広く知られています。 多くのテスターがすぐに思い浮かぶほど広いので、テストで数学について話をする価値があります。 次の考えは、「これらは高すぎる問題であり、実際には機能しない」ということです。 だから...

数学は正式な検証だけではありません。 何も証明せずに数学的手法を使用してテストできますが、単にツールとして数学を使用します。

2番目のブロッカー-数学的な方法が機能するためには、詳細な仕様を作成する必要があります。 それからも遠い。 詳細な仕様を書いて、プログラムが正しく動作することを証明することを強制する人はいません。 作業するシステム全体の詳細な数学モデルは必要ありません。 数学を小さな便利なツールとして使用できます。

頭の中には十分なアイデアがあり、これらのアイデアの少しの順序があります。 分析スキル。

そして最も有名なブロッカーは

数学は非常に複雑なものです

これは真実ではありません。 私は自分の目で、小学5年生の数学論理の選択科目を見ました。彼らは座って、かなり複雑な論理問題を解決しました。 あなたは5年生よりもテスターが悪いですか？ 私にはそう思わない。



数学者の考え方を理解しようとすると、結果は非常に興味深いものになります。 有名なドナルド・クヌートは「アルゴリズム的思考と数学的思考」という記事を書きました（http://www.jstor.org/discover/10.2307/2322871?uid=3738936&uid=2&uid=4&sid=21103388081621）。 その中で、彼は数学者のいくつかのタイプの思考-アルゴリズム的思考と数学的思考を特定しました。

これらすべてのタイプの思考は、テスターに​​適用できます。

•現実の反映
実際、テストでは現実を反映して、システムがどのように正しく機能するかを示します。

•単純なケースへの縮小
私たちは皆、テストをできる限り単純になるように書き込もうとしていますが、同時に、それらを再複雑化する必要はありません。

•一般化
テストを再利用できるようにテストを説明しようとしています。 最初にテスト用のテンプレートを作成し、次にテンプレート用の多くの特定のテストを作成します。

•抽象的推論
私たちは皆、システムの抽象的なモデルを頭の中に構築し、テストします。

•システムステータスの変更
少なくとも、システムには2つの状態があります。すべてが機能するか、すべてが壊れます。 通常、このような状態がいくつかあり、テスト中にシステムの状態を変更します。

この表に納得できない場合は、 I.Yaの調査結果をご覧ください。 Kaplunovich （I. Kaplunovich。空間思考の構造における精神的操作の内容//心理学の質問。1987。No. 6）、心理学教育の分野の研究に従事している。 彼の研究では、彼は思考の5つのカテゴリーを特定します。



いや カプルノビッチは、私たちの誕生から数学的リテラシーの瞬間、つまり 私たちの分析能力がすでに十分に発達している瞬間まで、5つの段階が通過します。 私たちはトポロジカルなレベルから始めます。そこでは、私たちの混乱した思考が何らかの構造に収まり始めます。 測定を開始する4番目のレベル、5番目のレベル-最適化に進みます。
これは何かを思い出させますか？ そうです-CMMIの5つのレベル：最初のレベル-組み立てたばかりの、管理します。 2番目と3番目-再現性と制御性を達成し、4番目-測定し、5番目-最適化します。 本当に似ています。



高い事柄から少し逸脱すれば、数学者や優秀なエンジニアが提唱するすべてのアイデアはすべて、概して怠lazによって生み出されたと言えます。
私たちは長い時間をかけて問題を解決するのが面倒なので、座って面白いものを思いつき、問題をすばやく解決して他のタスクに取り組み始めます。 エンジニアは、ロング、高価、退屈なアプローチ、または数学を好むことはめったにありません。 テスト設計では、怠inessはうまく機能します-私たちは長い間怠tasteで味わいがありますが、最も重要なのは効果的です。
誰が、どのように、どこで数学をテスト設計に適用できるかの例をいくつか理解してみましょう。



数理論理学で最も明白な領域から始めましょう。 遅延を愛していることを忘れずに、ロジックを適用してシステムのコードのカバレッジを最適化できるためです。 簡単な例を次に示します。通常の「if」には、2つの分岐と条件に長い式があります。



私の10年生の幾何学の先生は、長い長い式を「ワニ」と呼んでいました。 これが、コードで出会ったこのようなワニです。 コードの両方の分岐をカバーするには、式の構造を理解する必要があり、変数x1、x2、x3、x4が取る値を把握する必要があります。 それは可能ですが、どういうわけか私は本当にしたくない。 質問は次のとおりです。 怠laで非生産的で、ロジックを忘れてしまった場合は、完全に再検索してこのコードをテストしてください。 16個のテストを取得します。 「長くて、高価で、つまらない。」 まあ、私はそれのように感じていません。
テストの数を削減しようとしています-MC / DC（11-12テスト）を使用し、分岐に沿って十分なカバレッジがあると判断します-2つのテストを取得します...
そして、ブール代数を突然思い出します。 元の式を変換した後、変数x3のみが真理値に影響することがわかります。 その結果、テストを生成する簡単な方法（あるx3 = true、別のx3 = false）だけでなく、開発者と話す機会も得られます。 結局のところ、コードにかなり複雑な論理式がある場合はかなり奇妙ですが、実際には1つの変数のみに依存しているため、どこかにエラーがある可能性があります。



一般的に、論理式は他の方法で簡素化できます。 すべての学部の技術系学生に馴染みのある方法が少なくとも3つあります。 ブール代数の法則を使用した直接変換は常に機能し、式に変数がほとんどない場合はカルノーマップが適しています。また、Quine-McCluskeyメソッドは、多数の変数に対しても適切であり、十分にアルゴリズム化されています。 検索すると、主題領域の特性を考慮した式を最小化する方法、つまり数学的論理だけに依存しない方法を見つけることもできます。



システムの状態と状態の変化のテストという次の質問を分析してみましょう。 通常、「働く」と「働かない」よりもはるかに多くの州があります;私はスピーチの初めに少し不誠実でした。



たとえば、以下に、交換注文が通過する条件の一部、つまり株式を売買するアプリケーションを示します。 トランザクションを完了するには、アプリケーションがいくつかの条件を満たしている必要があります。 まず、アプリケーションが作成され、それが取引所によって確認され、その後、購入のための多くの小さな取引が行われ、最終的に、必要な数の株式が売買されます。 交換注文のすべての条件は取引システムに反映され、すべての移行と条件を確認する必要があります。 実際、すべてはやや複雑ですが、今では重要ではありません。
通常、すべての状態、すべての遷移、またはその両方が一緒にチェックされます。 完全にカバーすることはできますが、伝統的には「長く、高価で、退屈」です。 私たちの生活を楽にし、少し怠け者にしよう。 どうやって？




巡回セールスマンの問題、つまりグラフの最適化問題についておそらく聞いたことがあるでしょう。 このタスクに関連付けられたde Broinアルゴリズムがあります。



アルゴリズムを文字通り使用する必要はありません。完全にカバーするためにグラフ内を通過できる最適または十分に最適な短いパスのセットを取得できることを理解するのに十分です。 アルゴリズムが機能するためには、少し作業する必要があります。 最初に、初期状態を取得し、頂点が元のグラフの遷移に対応する新しいグラフのグラフを作成します。 そして、新しいグラフの頂点（つまり、古いグラフの遷移）をカバーし始めます。



最初の2つのパスは非常に短いです。 3番目のパスを構築し始め、非常に長いパスを取得します。




この状況を想像してください。 テスターが3人います。 最初は最初のテストを実行し、2番目は2番目のテストを実行し、3番目は3番目のテストを実行します。 最初の2つは非常に迅速にジョブを終了しますが、最後の1つは非常に長い時間座っています。 また、自動テストの場合はどうなりますか？ 3番目のテストは非常に長い時間動作しますが、結果は長い遅延を伴います。
de Bruyneアルゴリズムを適用すると、3番目のシーケンスをいくつかの短いシーケンスにカットし、実行を適切に並列化できます。 3つではなく5つのテストを取得しますが、それらが並行して実行される場合、テストははるかに高速に完了します。






さらに、テストが多いほど、柔軟性が向上します。 すべてのテストを実行できますが、興味深いテストはほとんど除外できます。最も興味深い状態を通過するテストには、より高い優先順位を設定できます。 アルゴリズムの結果を利用する方法はかなりあります。 さらに、アルゴリズムはドメイン固有のものを使用せず、純粋に抽象的な状態と遷移で動作することに注意してください。 そして、あなたがあなた自身のアルゴリズムを考え出そうとするが、サブジェクトエリアとミューズを考えようとしたら？




3番目の例。 テストには、等価クラスという基本的な概念があります。 ここで新しいものを思いつくことができるように思えますか？



どの同等クラスに少なくとも1つのテストが必要です。 さらに、クラスの境界を確認する必要があります。 同等クラスと境界値を知っていれば、これはすべてうまく機能します。 または、クラスが明確に定義されておらず、境界がぼやけている場合があります。 たとえば、システムが特定の特定の機器で動作する結果として等価クラスが形成され、ソフトウェア要件で定義されていないことが判明する場合があります。



非常に現実的な例。 0〜5 MBの長さの行をデータベースに保存するシステムがあります。 要件は、この行を保存する時間はほぼ同じであるべきだと言っています。 テストへの古典的なアプローチでは、空の行、5 MBの行、および2.5 MBの平均行の3つのテストを行います。 保管時間が同じであり、誤差の範囲に収まることを確認しました。 すべてが順調です。



彼らはそれを稼働させ、実際のデータの収集を開始し、短い行は長い行よりもはるかに速く保存されることを発見しました。 この動作の理由については何も知らずに実験を開始します。その結果、次の図が得られます。



これらの重要な点に加えて、256 Bと32 Kbの2つがさらにあることがわかります。 なんで？ 開発者と話をしたところ、応答として開発者が行ったクールな最適化について話を聞きました：最大256バイトの文字列は文字列として、最大32Kはデータベースのバイナリオブジェクトとして、32Kはファイルシステムのファイルとして保存されます。 「すべて同じですが、そのような行はほとんどありませんが、データベースは簡単です。」 そのような同等クラスを検索することははるかに困難であり、産業環境または受け入れテスト環境からの結果の分析は、私たちの助けになるかもしれません。 これらのデータの分析に有能にアプローチすれば、異常なゾーンを見つけることができます。



測定の理論を適用すると、異常なゾーンの検索をより秩序立てることができます。 基本的な考え方を得るために、少なくともGOST R 50779の定義を使用できます。このGOSTで定義された用語は、特別な文献のさらなる検索の開始点として使用でき、測定理論から必要な知識を正確に抽出できます。
私たちのケースでは、異常に関する有用な情報を取得してみましょう。 既知の境界値（最小、最大、中間）を持つ間隔があります。 異常ゾーンとみなすことができるものについて、不正確な情報がいくつかあります。 この値が問題を引き起こす可能性がある確率分布関数を構築します-たとえば、指定された長さの文字列が長期間保存されることです。 たとえば、正規分布を取ります。 狭くて鋭いドームはこのゾーンが異常であるという高い信頼性を意味し、広いドームはたとえばこれらの値に関するデータがほとんどないという事実のために低い信頼性を意味します。 次に、選択的テストの適用を開始し、長さの異なる線「シューティング」を生成します。 ドームが狭い場合は、より正確にテストして「撮影」し、幅が広い場合はより正確なパターンを見つけようとします。



上記のスクリーンショットは次のとおりです。青-異常なゾーンを推測し、ラインはゆっくり保存されます。赤-少し推測しませんでした-赤のゾーンの左側には、ラインが保存された時間の異常値はありません。 次に、適切な分布を変更し、再度「撮影」します。



2番目の目撃は、異常ゾーンをより正確に発見したことを示しました。 そして、最初の3つの境界値にさらに2つを追加できます-2つの異常な領域のそれぞれについて。



したがって、以前は見えなかったが、実験から推定され、システムの新しいバージョンの動作をテストするために使用できる新しい同等クラスを取得しました。開発者が文字列を保存するための新しい最適化を思いつくかもしれません。



別の例。ペアワイズテストが何であるかは誰もが知っています。誰も知らない場合、この方法に関する多くの文献があり、一言で言えば、入力パラメータのすべての可能な組み合わせをテストするのではなく（非常に長い時間がかかる）、各パラメータ値が少なくともテストされた残りのパラメータの各値と組み合わせれば、テストの数が大幅に少なくなり、これはうまく機能する方法です。



しかし、この方法は常に機能するとは限りません。私たちのシステムをますます複雑にしましょう...



より複雑でより複雑な....



そして、それは非常に複雑になり、ビッグバン理論のファンにアピールし始めます。



ペアごとに、多数の入力パラメーターを持つ複雑なシステムをテストするのに十分ですか？この質問は多くの科学者、さらには米国国立標準技術研究所（NIST）にとっても興味深いものでした。



NISTの後援の下、ACTSプロジェクトがあり、その枠組みの中でコンビナトリアルテストの分野で研究が行われています。彼らの研究によると、ペアワイズはケースの65〜97％でエラーを見つけます。パラメータのペアではなく、トリプルまたはフォーを組み合わせて開始する場合、つまりk-wayテストを使用すると、より多くのテストが取得されますが、より多くのエラーが検出されます。



ウェッジがペアワイズで収束しなかったという知識を使用して、私たちに合ったカバレッジのレベルと私たちに合ったテストの数を選択できます。
ここでも、数学者が助けに来て、NIST ACTSプロジェクトの研究者の仕事の結果を使用できます。



ペアワイズの基礎は、n-ki（ペア、トリプル、クアドラプル、...）を同じ回数含む直交行列です。



NISTは、直交行列の代わりに、カバー行列（http://math.nist.gov/coveringarrays/coveringarray.html）の使用を提案しています。このような行列は、値の各セットが「同じ回数」ではなく、少なくとも1回発生するという点で直交行列とは異なります。この場合、テストはわずかに少なくなり、カバーマトリックスに誤ったテストケースが形成される可能性がありますが、一般的にテスト自体ははるかに高速です。 NIST ACTS Webサイトでは、指定された数の入力とその値の数について、カバーマトリックスジェネレーターと既に計算されたマトリックスを見つけることもできます。したがって、コンビナトリアルテストを理解し、怠laであり続けると、数学の助けを借りて再び人生を簡素化します。



被覆行列を使用すると、テストの数を大幅に増やすことなく、ペアワイズからk-wayに移行できます。
したがって、テストで比較的簡単に使用できる非常に小さな数学的方法のセットについて話しました。それらのいくつかでは、あなたは非常に深く潜ることさえできません。



これで、プレゼンテーションのテストエンジニア向けの部分は終了です。しかし、テストはそこで終わりではなく、テスト管理もあります。独自の数学もあります。



テスト管理には、さまざまな分野があり、必要な便利な数学的方法を見つけることができる場所がたくさんあります。ロシアのITコミュニティには、あらゆる方法で数学を推進している著名な代表者もいます。



したがって、ここで私は将来のテストマネージャーと数学者を投げて、情報を探すのが面倒ではなく、あなたがなしでできることをするのが面倒になるように促します。
ここで、テストをどこで学習できるかについてお話したいと思います。



写真からヒーローのようにならないために、大学であなたに与えられた知識を吸収することは、まだ価値があります。それらのすべてが廃棄物であるわけではありません;そこに何か有用なものがあります。少なくとも名前を覚えて、必要なときに読んでください。まあ、あなたの心を整理することを忘れないでください-構造化された意識-何よりも。



ソフトウェアエンジニアリングの分野における知識構造は、非常によく発達したトピックです。たとえば、米国には2つの大きな組織があります。それらの1つは、ACM（コンピューティング機械協会）です。彼女はコンピューターサイエンスとソフトウェアエンジニアリングで研究結果を発表し、理論的なITに関連する興味深い会議を開催します。チューリング賞の創設者であり、ノーベルIT研究賞に似ています。
とりわけ、ACMはいわゆるカリキュラムは、IT専門の学生に教える必要があるものと、大学を離れるときに知っておく必要があるものに関する情報を含む高レベルのカリキュラムです。そのため、このスライドは、優れたITスペシャリストに必要な数学の分野を示しています。数学的経済があるという事実に注意してください。時間が経つにつれて、あなたはテスターとして、テストの経済的要素-どのくらいの費用がかかり、より収益性が高いか-をテストするかどうかを考え始めるでしょう。ここで、残留（または非残留）大学の知識があなたの助けになります。



卒業生が知っておくべき推奨事項を発行する2番目の大規模な組織は、IEEE-Institute of Electrical and Electronics Engineersです。彼らは、ソフトウェア工学知識体系を含む知識体系を公開していますが、その第3版は報告時点でベータ版でした。このドキュメントでは、大学の卒業生には、もう少し大きな数学的学問分野を推奨しています。



テスト教育は大学に限定されません。あなたは自分自身を学ぶことができます。たとえば、Quality Assurance Institute認定試験に合格するための準備として、ISTQB試験よりも少し基本的かつ理論的なことがあります。国際試験会議に参加できます（また、そうするべきです）。たとえば、ICST会議では、理論レポートと実用レポートの非常に優れた組み合わせ。www.arxiv.orgがあります-ここでは、テスト分野の研究に関連するものを含む、さまざまな分野の最新の記事をいつでも見つけることができます。scholar.google.comでもいつでも面白いものを見つけることができます。あなたは常に学ぶことができ、そして学ぶべきです。主なことは、正しい情報を探すことを徐々に学ぶことです。



勉強するのが好きだったなら（そして学ぶことさえできたら）、研究を主な職業にすることを考えることができます。



これを行うには、そもそも「なぜ？」という質問に答える必要があります。誰もがこの質問に対して異なる答えを持っていますが、研究への関心を失わないように答える必要があります。

科学に向けて出発するとき、通常は自分の研究の方向性を選択します。私にとって、かつてお気に入りのトピックは、構成管理とソフトウェアシステムの開発状況を評価する方法でした。お気に入りのトピックはまったく異なる場合があります。しかし、まだ何をすべきかわからない場合は、同僚が書いていることを見てください。科学には独自のファッション、つまり研究ファッションもあります。たとえば、2012年の終わりにアメリカの会議の1つで、最も人気のある研究トピックが以下のスライドにリストされました。




したがって、科学への道は非常に単純です-あなたが決定し、あなたの「なぜ」を決定し、現在の傾向のいずれかを取り、耕し始めます。
あなたがまだ学生である場合-学期論文または卒業証書を行います（失策ではなく、真剣に、献身的に）。
博士課程の候補者を書きたい場合は、2〜5年かけて作業を書き、実際にテストしてください（防衛の6か月前に官僚的な地獄の7つの輪-完全に無料）。
すでに科学の候補者または医師である場合は、外国人の同僚と協力して、興味深いポスドクを探してください。



ロシアでは興味深い研究が進行中です。上のスライドにはいくつかの名前が付けられていますが、研究への関心も失われていません。
以下は、私が参照したドキュメントを見ることができるリンクです。



フューチュラマとビッグバン理論の作成者に、イラストと、数年間ヒーローを観察する機会の両方に特別な感謝を申し上げます。



私のレポートはこれで完了しました、あなたの質問に答える準備ができています。

質問
あなたはドームについて話しました：ナローとワイド。システムの実際の使用からの統計を使用して、等価クラスのポイントを単に探していることがわかります。同時に、どのような方法でも要件を使用しませんが、システムの特定のリリースに依存しています。そして、開発者が変わり、彼らは少し違った書き方をし、私たちは再び異常を探し始めます。事後にこれらのポイントを探しているのに、事前にそれらを探す方法がわからないのはなぜですか？

答え。
要件を分析しても、すべてのエラーが見つかるという完全な保証はありません。稼働中のシステムからのデータの分析を開始するとき、要件に記述されているシステムについてのみ知っています。そして、システムの動作の異常を見つけて、システムに関する知識を合理化しようとします。まだ異常があり、要件はまだ不完全であるため、ここでできることは異常をより秩序立った方法で探すことだけです。十分な初期情報と直感がない場合、何も見つかりませんが、頼りになるものがあり、データを分析する方法を考え出すことができた場合、要件を分析することで見つけられなかったエラーを見つけることができます。たとえば、「ドーム」と「シューティング」の助けを借りて、何らかの形でシステムの負荷インジケータをチェックしました。ピーク負荷時だけでなく、非常に平均的な指標でも低下しました。タスクは、これが起こっている理由を見つけることでした。

質問
そして、負荷をテストしたときにこれらのポイントをどこで獲得しましたか？

答え。
実際の操作データからパフォーマンスの問題の統計があり、さらに、システムが落ち始める可能性のあるパラメーターの専門家による評価がいくつかありました。

質問
あなたが話し合った方法がどこでどの程度企業に適用されているかについての統計はありますか？

答え。
質問は非常に良いものであり、聴衆がそのような統計を共有できればうれしいです。詳細な使用統計情報はありませんが、私が話したすべての方法は、実際に自分または同僚によって適用されたと言えます。それらはすべて、特定の問題を解決するための実用的なニーズのおかげで作成されました。

質問
システム状態図に関するスライドがありました。条件付きでbadと呼ばれる条件があり、これらの新しい条件を使用して、すべてを完全に書き換える必要があるかどうかを判断します。

答え。
それはすべて、アルゴリズムの使用方法に依存します。最悪の場合、状態間の遷移の背後にあるロジックについて何も知らない場合があります。この場合、トランジションの長いチェーンはアルゴリズムによっていくつかの短いものにカットされますが、そのうちのいくつかは無意味になることがあります。そのため、カット後に取得される移行チェーンでは、妥当性を評価し、テストに重要な移行チェーンを正確に選択する必要があります。システムの状態を変更する無意味な（しかし可能性のある）方法は、システムの一部を書き換える必要があることを理解させることにつながります。

質問
ストレステスト中に最適な負荷のモデルを作成するために、あなたが話した方法はどれほど効果的ですか？利用可能な統計に基づいて負荷プロファイルを作成することは可能ですか？

答え。
話は少し違っていました。最適なものを探すのではなく、システムの動作の異常のみを探しました。この方法が実際に軽負荷で異常を検索するために使用されたとき、私たちのシステムは大きなデータストリーム、好ましくは小さなデータストリームでうまく動作することを知っていましたが、平均的なデータストリームは常に問題を引き起こしました。最適なものを探すのではなく、ブルートフォースよりも少し速く特定できるように特定の問題を検索しました。