A/Bテスト計画テンプレート

A/Bテスト（スプリットテストとも呼ばれる）は、コンバージョン最適化の重要な要素です。ランディングページやメール文、コール・トゥ・アクションバナーの作成時に直感に頼りたくなることもありますが、「感覚」に基づいて決定すると、本来得られるはずのコンバージョンを逃してしまう可能性があります。

A/Bテストを実施することで、仮説を検証し、実際のデータに基づいて行動を導くことができます。このテンプレートは、実験をより構造化された形で計画するのに役立ちます。これにより、実験がよく考えられたものとなり、デザイナー、開発者、その他の関係者とより効果的に共有することができます。

A/Bテスト計画テンプレートの使用方法

1. 仮説

A/Bテストの重要な部分は仮説の策定です。仮説がA/Bテスト全体の計画を導く基盤となります。

• 解決しようとしている問題は何か？
• その影響は？（例：顧客にとってこの問題の大きさはどれくらいか？）

問題の定義
仮説を立てる際には、まず解決したい問題を定義する必要があります。例えば、フリートライアルを提供するSaaSで、トラフィックからリードへのコンバージョン率（ウェブサイト訪問者がフリートライアルに登録する割合）を向上させたい場合を考えます。ただし、A/Bテストでは1つの変数をテストするのが効果的なので、問題を具体的に絞り込む必要があります。

コンバージョンファネルのボトルネック（訪問者が最も離脱している箇所）を特定し、どこでユーザーが離脱しているのか、どの情報やボタンが期待通りに読まれたりクリックされたりしていないのかを調査します。HotjarやFullstoryのようなヒートマップやセッション録画ツールを使用すると、ボトルネックを特定しやすくなります。

仮説の策定
問題を絞り込んだ後、そのボトルネックの原因と改善方法について仮説を立てます。例えば、「Features」ページの訪問者の多くがページの半分もスクロールせず、重要だと思われる機能が実際には閲覧されていない場合、ページを短くするためにタブやトグルリストデザインを使用し、訪問者が興味のある内容を展開して閲覧できるようにする仮説を立てることが考えられます。

仮説を策定する際は、1つの変数だけを変更してください。そうすることで、その変数が本当にコンバージョンに影響を与えているかどうかを確認できます。

2. 実験設定

実験を実装するチームに明確に伝えるため、仮説をテストするための実験設定を詳細に記載します。

• 場所: 実験を設定するページのURLを記載し、変更したい部分を注釈付きのスクリーンショットで示します。
• オーディエンス: すべての訪問者またはユーザーが実験を閲覧できるのか、それともトラフィックの一部（例: x%）だけを実験に割り当てるのか、詳細とその理由を明記します。
• トラッキング: 定義した成功指標に基づいて、どのようなトラッキングを設定する必要があるのかを説明します。トラッキング結果をどのように分析するのかも詳しく説明し、実装チームが適切なトラッキングを設定できるようにします。

3. バリエーションデザイン

このセクションでは、テストしたいバリエーションについて説明します。

デザイン作業に関連するものをすべてレイアウトし、確認されたバリエーションの図やモックアップ、デザインを追加します。これらを1つにまとめることで、開発チームが文脈をよりよく理解できます。

4. 結果と学び

計画した実験期間の終了後、得られた統計データから一方のバリエーションのコンバージョン率が良かったとしても、そのバリエーションが本当に優れているのかを確認する必要があります。統計的有意性のテストを実施して、結果が本当に有意であるかを確認してください。Neil PatelのA/Bテスト計算機を使用すると、サンプルサイズとバリエーションのコンバージョン数を入力して簡単に結果を確認できます。

1つのバリエーションが統計的に優れている場合は、そのバリエーションが勝者となり、負けたバリエーションを無効化してテストを完了できます。ただし、どちらのバリエーションも統計的に優れていない場合や元のバージョンが優れている場合は、新たなテストを実施する必要があるかもしれません。

実験から得られた学びを記録して、今後のテスト計画に役立ててください。

5. 実験後に取るべき次のアクション

結果と学びのセクションから、実験後に必要なアクションアイテムをリストアップします。負けたバリエーションを無効化する必要があるのか、そのページでさらにテストする要素があるのかを明確にします。

A/Bテストは継続的なプロセスです。このテンプレートが、より良いスプリットテストを実施するためのガイドとなることを願っています。

‍