テスト中のキッチンアクセサリー：または製品をテストするためのオンラインリソースから何を選択しますか？

ソフトウェアテストでは、プロセスの構成が非常に重要です。誰が何をしているのでしょうか。 誰が、何を、テストしたら？ これまたはそのエラーが最初に表示されたアセンブリはどれですか？ 誰がこれをテストしましたか？ 要件のステータスは何ですか？

これらのすべての質問に答えようとして、要件とチェックリストのストレージをgoogleテーブルの形式で整理しましたが、時間が経つにつれて、特別なツールを探す時が来ました。 この記事で共有したいオプションの検索と比較の結果。

リモートワークチームとの関係で、一般的に、習慣のために、私たちはウェブオプションのみを考慮しました。 最初の分析では完全に不適切な決定を拒否したため、次の3つの候補から選択できました。

テストリンク


Testral


Sitechco


その結果、トリプル脅威マッチが得られます。 誰が公正な戦いで誰を見ます。

まず、チームで選択基準を決定しました。

• ライセンス費用 ：できれば無料、または少なくとも安価。
• サポートされている環境 ：チームはGoogle Chrome、Mozilla Firefox、Safariを使用しています-ブラウザーを拒否または変更する準備ができている人はいません。
• テスト管理の機能 ：ここで、私たちにとって最も重要なことは、テストセットの便利な作成、進行状況の統計および視覚的なレポートの維持でした。
• テスト管理の要素の存在 ：ツールにタスク、制御計画、および期限を計画してもらいたい。
• 使いやすさ ：チームの誰かが何かを気に入らなかった場合、ほとんど時間を費やして「掘り下げる」ことはありません。 すべてがすぐに明らかになるはずです。

これらの基準に従って、各候補者を分析します。

費用

降順で行きましょう：

1. TestRailsは、その条件に応じて、69ドルから8999ドルの費用がかかりますが、深刻な製品には深刻な費用がかかります。 猫を突っ込んで買わないようにするために、30日間のテストバージョンを使用するように提案されていますが、これは無料です-それを使用して分析しました。 私たちの場合（最大15ユーザー）、TestRailsの費用は1399ユーロまたは2149ドルです。
2. ローカルインストールのSitechoは12,000ルーブルで、SaaSの使用は無料です。 セキュリティに関しては、httpsプロトコルでの作業であり、厳密ではないということを考えると、Webバージョンは非常に適しています。
3. TestLinkは、サーバーにインストールされていれば無料です。 私はいじくり回さなければなりませんでしたが、それは始まりました。 価格のために明確なリーダー。

サポートされている環境

互換性に関しては、すべてのブラウザーがTestRailsとTestLinkをサポートすると宣言されていますが、IEはSitechcoではサポートされていません。



環境のセットを考えると、これは重要ではありませんが、多くのユーザー（特に、切り捨てられた環境で一部の銀行ソフトウェアをテストするユーザー）にとっては問題になる可能性があります。

テスト管理機能

もちろん、システムを選択する際の最も重要な基準は、その機能です。 必要な「機能」のリストを共同で作成しました。

• テストとチェックリストの作成。
• テスト制御。
• テストのインポートとエクスポート（望ましい形式はテーブルです）;
• テストおよびソフトウェア品質評価レポート。
• ユーザー権利の区分。

望ましいが必須ではないリストには、次のものが含まれます。

• Redmineとの統合。
• テストカバレッジ分析による要件の維持。
• 自動テスト用の外部API。

テストとチェックリストの作成

TestRailでは、テストの作成は、テストが配置されるテストスイートを使用して実装されます。



テストケースと個別の説明を作成するという原則に従って、追加は迅速に行われ、必要に応じてセクションに分割してファイルを添付することもできます。 テスト内では、手順を詳細に書き留めることができますが、ほとんどの場合、ヘッダーをクリアするように制限されています。



Sitechcoは、チェックリストとチートリストの形式でテストスイートを実装しました。 チェックリスト自体は、テスト、チェック、優先度、よく、さまざまな追加：要件の追加、人件費、グループおよびマスターグループの形式の階層：単純であり、余計なものでも抽象的でもありません。



私にとって重要な役割は、既存の一連のテストを含むチートリストによって果たされます。 独自に作成する時間を節約でき、将来に役立ちます。 これらの要素はデザイナーの役割を果たします。標準のチートシートを作成し、必要に応じてチェックリストに挿入します。 多くの標準チェックがある場合に便利です。たとえば、ユーザビリティガイドラインとXSS- / SQLインジェクションのために異なるフィールドをチェックする必要があります。 データは繰り返されますが、コピーと貼り付けは悪意がありますが、異なるコンテキストおよび異なるフィールドのパッセージのステータスが必要です。



TestLinkでテストを作成することは、TestRailでフォームを作成することに多少似ています。 類推により、テストスイートはテストスイートに作成され、そこにテストが埋め込まれます。

それはかなり混乱し、同時にプリミティブに見えます：



同じテストをさまざまなシナリオに追加することができます。このシナリオでは、Sievechkoのチートリストのような同様の機能を実行します。 しかし、テストがアトミックで小さく（レポートに視覚的な結果が表示される）するには、TestLinkに表示されるジェスチャーが多すぎます。 まあ、 たくさん 。

モニタリング結果

TestRail開発者は、顧客にいくつかのレポートオプションを提供しました。



これにより、バグ、結果、起動、ユーザーのテストに関する情報を収集できます。 しかし！ 各レポートを処理する必要がありますが、これは非常に不便であり、情報を取得するために不必要な移動を行うだけでなく、レポートの生成に時間がかかります。



これには利点がありますが、レポートを複数の電子メールに送信する可能性があります。 レポート自体のタイプに関しては、結果のグラフィック表示と、対応する値を持つすべてのテストのリストが表示されます。



Sitechcoを使用すると、レポートを取得するために不要なアクションを実行することなく、レポートを自動的に生成できます。 4つの主なタイプのレポートは、プロジェクトのテストに関する完全な情報を提供します。



起動レポートには、テストが実行されたチェックリストのリスト全体が表示され、一般情報および詳細情報を表示できます。 パッセージの結果に応じて、チェックリストの最後の5つの開始に関するレポートを表示できます。さらに、レポートを自分用にカスタマイズできます。 グループレポートフォームには、結果のグラフィカルな表現が表示されます。



TestLinkは、合格するためのテストを実行することで汗を流し、苦しめました。 システムは長い間屈服しませんでしたが、これはもう好きではありませんでした。 共同手続の後、私たちはそれを行う方法を見つけました。 開発者は、レポートのバージョンを、私たちには不十分な情報に見える形式で提案しました。



レポートには多くのオプションがありますが、それらはすべて同じタイプで、少なくとも私たちにとっては受け入れられない形式です。

テストのインポートとエクスポート（推奨形式-テーブル）

TestRailは、xml、CSV、Excelの3つの形式でエクスポートできます。 しかし、奇妙なことに、Excelでレポートを取得しようとしたときに、CSV形式で提供されました。



インポートでは、すべてがよりシンプルに見え、xml形式のPCからファイルを選択する形式で表示されます。 テストの既存のリストに追加して、新しいリストを作成する機会もあります。



Sitechcoは野心を失わず、xls形式でデータをエクスポートするようユーザーに紹介しました。 ただし、ここでも独自の問題があり、ファイルを開くことはMicrosoft Officeでのみ可能です。



しかし、インポートは非​​常に興味深いものでした。 別のファイルに何も保存する必要はありませんでした。PCまたはGoogleドキュメントのファイルからの挿入は成功し、不要なジェスチャーなしで、目的のテーブル行を簡単にコピーアンドペーストできました。



TestLinkへのエクスポートは、xmlという1つの形式でのみ表示されます。 テストケースの完全なリストと個々のフォルダの両方をダウンロードできます。



インポートは同様の形式-xmlでサポートされています。 これは、一般リスト用とフォルダー用に別々のファイルをPCからダウンロードする形で提供されます。

ユーザー権利の共有

それでは、順番に始めましょう。 TestRailは、4つのロールの選択肢を提供します。



アクションを許可するチェックボックスを設定することにより、ロールを簡単に編集できます。



ユーザーを個別のリストに分割できる個別のユーザーグループを作成する機能にも満足しています。



「台所」の友人で、5つのユーザーロールを発見しました。



長い間、誰と何ができるかを理解しようとしましたが、答えは「表面上」でした-ヘルプには詳細な説明が含まれており、タスクが簡素化されます。 私が望む唯一のものはあなた自身のリストを作成することですが、どうやらこれはウェブ版では提供されていません。

TestLinkは、すでに組み込まれているオプションを利用するためのユーザーを提供します。



設定権限を持つ独自のユーザーリストを作成することもできます。



私の意見では、TestLinkとTestRailは、ある時点で設定に同一の変更を加えていると考えています。 しかし、ここではTestRailでユーザビリティに取り組んでおり、TestLinkは快適ではありません。

Redmineの統合

当社はRedmineを使用しており、このバグトラッカーとの統合をサポートするシステムを探していたのは当然です。 3人の応募者全員が選択リストに含まれます。 それぞれについて詳しく説明していきます。
テストレール。 他のユーザーが先に言ったように、統合：「同時にシンプルで独創的」：



この設定は、ほとんどのオンラインバグトラッカーに適しています。 バグを始めたとき、フォームは最後まで考え抜かれていなかったため、最小限のフィールドしか含まれていませんでした。



おそらく開発者は自分の人生を複雑にしたくなかったかもしれませんが、多分それは急いで行われました。 しかし、個人的には、私はそれがあまり好きではなかったので、ミスをするときはより多くのフィールドに入力します。 バグ自体へのリンクは、テストデータの横に表示されます。これにより、認識が複雑になることはありません。クリックすると、情報をより詳細に確認できます。これは非常に便利です。



しかし、TestRailを介した統合の主な欠点は、1人のユーザーのみの承認であり、プログラマーがバグを解析するのは非常に不便です。 余分な質問と過度の大騒ぎがあります。

Sitechcoの統合設定は非常に簡単で、段階的です。 混乱するのは難しいです。 最初に、プロジェクト、バグトラッカー自体へのリンク、およびプロジェクトへの管理者アクセスが選択されます。



最初はすべて正常ですが、それ以上-明確なプラス：欠陥の形で表示されるフィールドをカスタマイズする機能。 間違いなく正しいことです！



私の設定はすべて、記入するフォームに影響を与えました。 あなたは何も言わず、しっかり考え抜かれ、人々のために。



レポートには、不自然なものもありません。カンマで区切られたバグのリスト、データが参照され、現時点でのバグのステータスが表示されます。



テストリンク 統合はTestRailに似ているため、最初から統合が気に入らなかったため、あまりスプレーしません。



この形式でバグを開始することは非常に不便であり、技術開発の世界に住んでいます。

テストカバレッジ分析で要件を維持する

私たちにとって次に重要な点は、設計要件との関係です。 私たちのプロジェクトでは、それらは詳細に実施されていませんが、それらのステータスは透過的でタイムリーであり、常に何かを更新するのを忘れていたgoogle-tabletを使用する必要があります。

3つすべての候補をクリックした後、TestRailで明らかなことに気付かなかったため、この時点で彼はゲームから除外されています。
Sitechcoでは、「Requirements」アイテムがメインメニューにありますが、アクティブにする前に（プロジェクトの設定を介して）鼻を鳴らしました。

次に、テーブルから作成またはインポートできる要件のリストを取得します。

作成ウィンドウには、名前と説明という余分なものは含まれていません。 不足しているのは、添付ファイルの追加だけです-サードパーティのファイルホスティングサービスへのリンクを使用する必要がある場合があります。



また、テストのインポートとの類推によって作成された要件のインポートにも満足しました。 インポート用のディレクトリとフィールド自体を選択できるウィンドウ形式で表示されます。 ヘルプもあります：



要件を作成/インポートすることにより、各テスト（チェックリスト全体ではなくチェックリストをチェックイン）と要件との間に接続を作成できます。この接続は多対多に機能します。



TestLinkの機能を見てみましょう。 製造元は、要件を処理するための一連の機能を提供します。テストスイートの作成、インポート、エクスポート、作成、および要件のコピーです。



要件作成操作は非常に簡単で、ファイルを添付する機能があります。これは、要件の種類に対する私のすべての要望を十分に満たします。 しかし、それを使用することはそれほど不便ではありませんでした-TestLinkのほとんどすべてのように。



インポートだけでなく、エクスポートもCSV \ XML \ DocBook形式でサポートされています。 どうやらTestlinkプロジェクト全体がCSV形式に焦点を当てているようです。



要件がテストケースに添付され、テストプロセスで役立ちます。これは、要件の範囲がチェックされていることを確認し、テスト中のギャップを防ぐためです。

使いやすさ：

最初に作業の単純さについて少し述べましたが、このトピックについての会話を続け、次の機能を明らかにしたいと思います。 ホットキーを使用してチェックリストにテストとグループを作成する機能は、Sitechcoでのみ実装されています。



ユーザーグループの説明および使いやすさと同じ点が、3つの製品すべてに記載されています。 しかし、すべての標準要件を背景に、私はTestRailsを使用して自分でプロジェクトアドレスを作成でき、さらにtestlinkがそれをさらに進めて独自のデータストレージサーバーを提供したという事実が気に入っています。 ただし、Sitechcoはこの点に関して保守的であり、最も広範な機能性と使いやすさに依存しているように見えるため、追加の工夫をしていません。

特別オファー：

超自然的なものを見つけることができませんでした。 私に衝撃を与えたのはスケジューラタスクスケジューラだけで、これはTodoistを思い出させてくれます。これは、タスクの数が表示され、将来の計画を立てることができるためです。



最も重要なことは、テストマネージャーが言ったように、「あなたをコントロールできるようになりました」と悪意を持って微笑んだことです。 このタブでは、現在実行中のチェックリストと完了したチェックリストを表示することもできます。 「Sandy」-TestRailとTestLinkでこの関数を探してみました。 ああ！ この機能はSitechcoでのみサポートされており、プラスまたはマイナスと見なされます-私たちと当局は異なる観点を固守しています。

あらゆる種類のモバイルチップの開発により、私はそのようなこと（モバイルバージョン、モバイルアプリケーション）を掘り下げることも期待していましたが、残念なことに、ライバルの誰もこの機能を装備していませんでした。 多数のタブを使用したテストは不便です、同意します。 したがって、タブレットの結果についてメモを作成すると同時に、テーブルのスペースを乱雑にしないことが「レジに」なります。

ウクライナのチャンネルのテレビプレゼンターの1人であるOlga Freimutによると、彼女の検査では次のように述べています。 話す？」（まあ？話す？）

1. テストリンク 実際、無料サービスに何を期待しましたか？ すべての推測が確認されました。 無料のチェックボックスをオンにすると、基本的な機能セットがあります-それだけです。 申し訳ありませんが、バディ、あなたはノックアウト中です。すべてが何らかの形で洗練されており、ハイライトは表示されませんでした。
   
2. TestRails 。 はい、あなたはそのプラスとマイナスで何か、強力なことを言うことはできません。 しかし、多言語主義の欠如とそれほど異ならない「安っぽさ」のために、私はそれを買う余裕がありませんでした。 「自分のエゴイズムを設定から取り除く」必要があったので、私が働くのは私だけではありません。
   
3. Sitechco 。 シンプルで上品で、難解でも理解しにくいものでもありません。 私には思われたかもしれませんが、会社はごく最近になってIT分野に登場し始め、その能力、または国の経済危機による製品の特別価格を過小評価しています。
   

比較基準	Sitechco	テストリンク	TestRails
メイン
ライセンス費用	0〜500ドル	-	69ドル-8.999ドル
ブラウザ	iEを除く	すべて	すべて
機能的
自動保存/バージョン管理	はい	はい	はい
パターン	はい	いや	いや
印刷/レポートへのリンク	はい	はい	はい
インポート/エクスポート	はい	はい/いいえ	はい/はい
モバイル版	いや	いや	いや
環境/ビルド/要件	はい/はい/はい	いいえ/はい/はい	いいえ/はい/いいえ
ヒント	はい	いや	はい
テスト管理の要素：
テスト計画	はい	はい	いや
テストケース	はい	はい	はい
自動テストのサポート	いや	いや	いや
チェックリスト	はい	はい	いや
ユーザー役割の差別化	そこにある	そこにある	そこにある
添付ファイルのサポート（ファイルストレージ）	いや	いや	いや
通知メール	そこにある	いや	そこにある
チェックリストを使用する
HH内のフィールドの設定（異なるタイプのHH、テスト環境の個別設定など）	そこにある	いや	いや
編集のしやすさ（主観評価）	便利に	快適ではない	特に便利ではない
要件との関係	はい	はい	いや
報告
アセンブリ上	はい	はい	いや
環境の周り	はい	いや	いや
テスターで	はい	いや	いや
完了日までに	はい	いや	はい
結果により	はい	はい	はい
テストされた製品のステータスの表示	そこにある	そこにある	そこにある
すぐに異なるメンバーについて報告する	はい	はい	はい
レポート要件	はい	はい	いや
テスト要件の結果に関するレポート	はい	はい	いや
使いやすさ
シンプルさ	はい	はい	はい
ホットキー	はい	いや	いや
ユーザーグループの説明	はい	はい	はい

あなたの好みに基づいて、これら3人の戦闘機を客観的に比較しようとしましたが、これまでのところ、キッチン用品またはビジネスクラスのものの2人の勝者を決定していません。 両方の候補者には長所と短所があり、それ自体が魅力的です。 いずれにせよ、問題はフィンによって決定されます。 割り当てられた予算に基づいてディレクター、しかし私は待つことができます。