テストすべきではない3つの理由

テストを行わない理由はそれほど多くありません。実のところ、3つ目の理由を見つけるのに苦労しました。たとえ最も単純なテストであっても、実行することのメリットは非常に大きいため、テストを行う価値がなくなるには、非常に重大で潜在的に危険な環境が必要になります。もしあなたがそのような状況に陥った場合は、なぜそのような状況が存在するのかを改めて考え、状況をより深く掘り下げてみることを強くお勧めします。

これらのテストなしのシナリオを詳しく見てみましょう。

1. あなたまたはあなたのチームがテストの結果を最後まで実行する意思がない場合。

これまで、私たちは様々な規模の企業を対象にテストを実施してきました。その一つは、年間売上高が6桁台半ばの企業でした。テストチーム全員が、見た目とユーザーエクスペリエンスへの影響は比較的小さいと結論付けたテストを実施しました。それは、ウェブサイトの背景を変更するというものでした。そして、全体としてユーザーがバージョンAを好んでいることが明確に示されるまで、2週間のテストを実施しました。その結果、全体の売上が2%増加しました。当然のことながら、この結果は必ず実現するだろうと誰もが予想していました。わずか数週間で企業の利益が数千ドルも増加するのですから、素晴らしい！ただ、CMOがその選択肢を拒否するとは予想していませんでした。関連する統計データを詳しく調べた後でさえも。

それは意見の問題ではなく、その時点では単なる事実でした。しかし、それは問題ではありませんでした。テストにリソースと時間を無駄に費したにもかかわらず、結局は同じ出発点に戻ってしまったのです。別のテストやプロジェクトの方が、私たちにとってより良い結果をもたらしてくれたでしょう。

このような状況に陥った場合は、 あなたの会社は、あなたの外見や雰囲気に関する最終決定権を誰が持つのかを再検討する必要があります。もし誰かが事実や分析よりも自分の意見を優先させようとしているなら、なぜその人をそのような立場に置いたのかを考えてみてください。

2. コンテンツが頻繁に変更される

毎日変更されるローテーターがある場合、そのエリア内のUIや要素をテストするには、必要なトラフィックに関して厳しい制約が生じます。どのようなテストでも良好な結果を得るには、各コンテンツを統計的に有意な数の人々に閲覧してもらう必要があります。統計調査では、アンケート調査員が類似したグループや関心を持つ代表者を慎重に選定し、様々なグループ間の明確な選好を定義することがよくあります。インターネット上の人々は皆匿名である傾向があるため、有意な結果を得るには、はるかに大規模なオーディエンスに頼らざるを得ません。

また、テストの内容を途中で変更すると、結果が損なわれることがよくあります。すべてのバリエーションを同時に変更するのは問題ありませんが、何が主な要因なのかがわからなくなってしまいます。

このような状況に陥った場合は、 オンページ戦略を見直す必要があります。忙しくすること自体に目的意識が欠けているのでしょうか？プロモーションは適切なオーディエンスに届いているでしょうか？プロモーション作成にかかる労力は、他のことに活用できるのではないでしょうか？

3. 宗教に反する

統計的検定に反対する宗教についてはよく知りませんが、もしそうなら、統計的検定を行うべきではありません。

真面目な話、テストはあらゆるウェブサイトにとって不可欠です。コンバージョン率の向上、顧客維持率の向上、そして平均的なユーザーの行動に関する洞察を得るための重要な手段となることがよくあります。たとえ上記のような状況に陥っていたとしても、テストを無視するのではなく、なぜそれがテストの妨げになっているのか自問自答する必要があります。