古き良きABテストに別の文字「A」が追加され、これも変更を評価するのに十分ではない理由です。
AABテストまたはABAテストは、トラフィックが3つの部分に分割される場合です。最初と2番目は変更なしでサイトに送信され、3番目は変更ありで送信されます。
それは何を与えますか？
- より高いテスト精度。 AとAが等しい場合にのみ、Bは比較的信頼できる結果を与えると考えています。
- AとAの値の急激な変動が見えるので、その瞬間にテストを歪める要因のどれが影響を受けたかを理解するのは簡単です。
- 将来のテストに必要なデータの時間と量を取得します。
テスト結果をゆがめる要因
1.不十分なトラフィック/操作
結論は早く、高い誤りです。
2.不適切な回転
回転を行うシステムまたはスクリプトは、テストブロック間の任意の均等な分散を提供しません。
3.ブラウザー間の互換性が不完全
ブラウザーの1つで、変更が正しく機能していません。 このブラウザのユーザーグループには機能がある場合があります。 テストから除外すると、結果がゆがめられます。
4.デバイスの影響
異なるデバイスでは、変更が異なって見える場合があります。 たとえば、大きな画面では、小さな詳細はそれほど目立ちません。
5.ノベルティの効果
ユーザーは、サイト上の新しい要素またはその変更に気づき、それにもっと注意を払うと、最初はうまく機能します。
6.中毒の影響
ユーザーはある要素に慣れており、その変化に気付かない;彼らは古い要素と同じようにそれを扱う。
7.消費者サイクルの欠落
コンバージョンの評価中、テスト期間は購入が行われるサイクルと一致しない場合があります。 他の要因が早期に機能する場合があり、テストの期間中、ユーザーはすでに準備されているため、テストは誤った結果を示します。 また、消費者サイクルは長期または遅延の影響を与える可能性があり、テスト結果に該当しません。
8.その他の変更
クリーンテストを実行することは非常に困難です。その実装中に、サイトで他の変更が発生する場合があります。 一見、接続されていないように見えるかもしれませんが、これはテストに間接的に影響します。
9.季節的要因、販売、在庫およびその他の変化。
これらの影響を減らすために何ができますか？
- 分割テストは、新しいユーザーのみ、または新しいユーザーと古いユーザーで別々に実施してください。
- 複数のシステムを使用して制御します。
- テスト用に別のトラフィックソースを選択します。
- AAABテストを行います。
テストの最小値
私の経験では、これは次のとおりです。
広告キャンペーン500,000、2週間。
サイト変換：500トランザクション、2か月。
サイトでの小さな変化を評価するために：週3千セッション。
各プロジェクトには独自の番号があり、AABテストはそれらの決定に役立ちます。
しかし、そのような量がサイトにない場合はどうでしょうか？
- 分割テストを受け入れることはまだうまくいきません。
- テストを機能させるには、統計を収集させます。
- 他の方法を使用して、仮説（調査、競合他社の調査、ユーザーの行動の評価）をテストします。
- 将来のテストで歪みを最小限に抑えるように働きます。 いつか彼らの時間が来て、あなたは準備ができています。
クラシックABテスト
これについて多くのことが書かれていますが、繰り返す必要はありません。 おそらく、多変量テストを含むテストを行うことができるサービスへのリンクを提供することは理にかなっています：
Google Analitycsを試すことは、初心者にとって素晴らしい選択肢です。
Changeagain.me 、
Convert.com 、Vwo.com、
Optimizely.com -Googleアナリティクスのアカウントと統合された強力な有料サービス。
A / Bingo -Ruby用のサーバーフレームワーク。
Google Adsenseの広告システムには、
実験機能もあります。
また、分割テストの重要性の基準の
オンライン計算機に注意してください
そして
、その結果に基づい
たグラフ作成サービス 。
AAテスト
正しい時間と必要な量のデータを評価するために、テストに変更を加えずに同じものを入力したときに、AAテストが使用されることがあります。 このアプローチには生命権がありますが、別の時間がかかります。 さらに、AAが実施されてからABテストまで、何かが変わる可能性があります。
AABの長所と短所
要約すると、AABテストにはより多くのリソース（トラフィック、時間、お金）が必要ですが、より正確で信頼性の高い結果が得られると言えます。 それを改善するために、AABBシステムも使用されます。 いずれにせよ、新しいプロジェクトや変更の種類については、AABテストを1、2回行う価値があります。その後、従来のABに切り替えることができます。
良いテストをしてください！
参照：
サイトの広告システムから最大の収入を得る方法 。