A/Bテストの正しいやり方は？テストの準備や実施方法、注意点を解説

A/Bテストを成果につなげる方法をご存知ですか？手っ取り早く知りたいという方に向けて、要点をまとめた資料をご用意しました。

→解説資料のダウンロードはこちらから

A/BテストはWebサイトの改善に必須

A/Bテストは、マーケティングでよく実施する仮説の検証手法です。A/Bテストというと広告のクリエイティブやランディングページのことを思い浮かべる人が多いかもしれませんが、A/BテストはWebサイトのさまざまな用途に活用できます。

A/Bテストについて詳しくは、以下の記事で解説しています。

A/Bテストのやり方・手順

A/Bテストを行うには専用のツールを使うのが一般的です。ツールについては後述しますが、基本的な要件は同じです。ここではA/Bテストに必要な手順をご紹介します。

手順1：目的を明確にして仮説を立てる

まずは何を改善するためのテストなのか目的を明確にして、パターンごとの仮説を立てましょう。

広告をクリックしてほしいのか、申し込んでほしいのかなど、必ずA/Bテストを行おうと思った目的があるはずです。「この要素が、目的の達成率に関係しているはず」という仮説のもとで複数のパターンを用意します。

「赤色と青色を試してみよう」「丸いロゴと四角いロゴを試してみよう」という比較でもA/Bテストは実施できてしまいますが、もとになる仮説がなければ役に立つ発見は得られません。

手順2：AパターンとBパターンを作成する

仮説を立てたら、それを検証できるようなパターンを作成します。すでに現行のパターンがある場合は、仮説を盛り込んだ新しいBパターンを作成します。新しいBパターンが、本当に仮説を検証できるのかを考えながらテキストや画像などの素材を準備します。詳しくは後述しますが、AパターンとBパターンで変える要素は1つだけにしておきましょう。

手順3：期間とセグメントを設定する

A/Bテストを行う期間とセグメントを設定します。A/Bテストで検証を行うには、十分な量のサンプル数が必要です。Webサイトの場合はだいたい2週間くらいの期間を設けるのが一般的ですが、ページビューが少ない場合など、サンプル数が十分でないときはもっと長期間のテストが必要なこともあります。

手順4：A/Bテストを実施する

準備ができたら、A/Bテストを実施します。A/Bテストは専用のツールを使って行います。A/BテストにBパターンの内容や表示率、期間などの情報を設定してテストを開始します。

テストを開始したら、実際に表示して動作を確認しましょう。例えば2つのパターンを50％ずつ表示している場合、たまたまAパターンに割り振られると新しいBパターンは確認できません。そのときはブラウザーのCookieを削除したり、別のブラウザーを使ったりする必要があります。

手順5：十分にデータが蓄積されるまで待つ

A/Bテストを開始した後は、検証に十分なデータがそろうまで待ちます。1日目で大きな差が出たとしても、外部要因や曜日などの影響を受けている可能性もあるので、設定した期間が過ぎるまでは様子を見ましょう。

ただし、テストを行ったことで極端に悪い結果が出ている場合は、A/Bテストを中止する判断をすることもあります。

A/Bテストを具体的な成果につなげていくためには、基本的なプロセスを正しく理解した上で、PDCAを回し続ける必要があります。7万回のA/Bテスト実績から勝ちパターンの見つけ方を解説した資料を公開中です。そちらもご参照ください。

A/Bテストを実施する際の注意点

A/Bテストを行う際は、いくつか注意点があります。A/Bテストツールに必要項目を設定すればテスト自体は実施できてしまうので意外と見落としがちですが、しっかりとポイントを押さえておきましょう。

テストする軸は必ず1つにする

A/Bテストで検証する軸は、必ず1つにするのが基本です。例えばWeb広告で、キャッチコピーとイメージ画像の両方を変更したBパターンを作った場合、仮にBパターンの成果が良かったとしても、キャッチコピーと画像のどちらが原因かの判断がつきません。

A/Bテストツールの中には、複数の要素を検証する多変量テストの機能を備えているものもあります。しかし多変量テストは要素の組み合わせや検証の目的、考え方などがA/Bテストよりも複雑になります。ある仮説を検証したいのであれば、手間はかかりますが軸ごとにA/Bテストを実施して検証するのが基本です。

テストする期間を合わせる

A/Bテストツールを使わずに、今週はAパターン、来週はBパターンのように期間を分けて成果を比較しようと考える人もいるかもしれません。しかしA/Bテストは、同じ期間でパターンを出し分ける必要があります。なぜなら、期間も1つの軸だからです。

極端な例では、ゴールデンウィークなどの連休と平日では、ユーザーの動きも異なるでしょう。同じ平日同士の週だとしても、世の中で大きなニュースがあったり、そのユーザーの給料日の前後だったりなどの外部要因が影響を与える可能性もあります。

テストの途中で内容を変更しない

意外とやってしまいがちなのが、A/Bテストをスタートした後に気になるところがあり、テスト期間の途中で変更を加えてしまうことです。Bパターンの画像を期間内で差し替えた場合、差し替える前の画像が良かったのか、差し替えた後の画像が良かったのかがわからなくなってしまいます。

A/Bテストをスタートしたら、何も触らずにサンプル数が集まるまで待つようにしましょう。気になる部分は、テストが終わったら次のA/Bテストを行えばいいのです。

テストが終わったら改善につなげる

A/Bテストの結果が出たら、必ず改善のアクションにつなげるようにしましょう。A/Bテストを行う目的や仮説があいまいだと、ただ結果を眺めて終わりということになりがちです。

A/Bテストで仮説が正しいことがわかったのであれば勝ちパターンを反映し、より成果を上げるために次のA/Bテストに進めます。A/Bテストで仮説とは違う結果になったのであれば一度元のパターンに戻して、もとの目的を果たすためにどのような改善をすればいいのかをあらためて考えます。

Sprocketでは、3万回のA/Bテストの実績から導き出した、注意を引く見せ方や訴求のポイントを解説した資料を公開中です。そちらもぜひご参照ください。

A/Bテストを実施できるツール

A/Bテストを実施できるツールは国内外で多数あります。ある程度まで無料で利用でき、最も有名なものはGoogleが提供する「Googleオプティマイズ」です。A/Bテストツールについては、以下の記事で詳しく解説しています。

Googleオプティマイズは2023年9月で終了（※2023年1月27追記）

2023年1月に、Googleオプティマイズは2023年9月30日をもって終了するとアナウンスがありました。Googleオプティマイズの最新の情報については以下の記事をご参照ください。

仮説を素早く検証するならポップアップが有効

検証したい仮説があっても、トップページなどの重要なページやメニュー構成を気軽に変えられないというケースは多いでしょう。そのようなときは、仮説をポップアップでスピーディーに検証するという方法が有効です。

例えば「初めて来訪した新規ユーザーにとっては、今のメニューが使いづらくて離脱している人も多いのではないか」という仮説があったとします。それを検証するために、Webサイトにとって重要なメニュー構成をがらりと変えてしまうのはリスクがあります。

ポップアップで「お探しの情報は何ですか？」と来訪目的を聞いて仮説を検証することができれば、そのデータを根拠にメニューの改善を進めることもできます。

ECサイトや予約サイトなどで「ここが使いづらいのではないか」と思っても、システム上簡単に変えられないこともあるでしょう。そのようなときも、ポップアップでピンポイントに使い方をサポートして、そのA/Bテストの結果で明らかに効果があるのであれば、システム改修を進める根拠になります。

SprocketはWebサイト内の画像やメニューなどのA/Bテストも可能

Sprocketの「コンテンツパーソナライゼーション機能」を利用すれば、ポップアップではなくページ内の画像やメニューなどをセグメントに合わせて出し分けることも可能です。「過去に女性向けの商品を閲覧していた」「カートに商品が入っている」といったユーザー行動をもとにしたセグメントに従って自動でコンテンツを出し分け、その結果KPI/KGIにどのような影響を与えたかも検証できます。

A/Bテストをすること自体が目的ではない

A/Bテストを実施する際は、必ず目的と検証したい仮説を明確にしておく必要があります。A/Bテストはツールを利用すれば気軽に行えますが、決してA/Bテストを実施すること自体が目的ではありません。

Sprocketは、Webサイトの仮説を最小限のリソースかつスピーディーに検証することが可能です。システム担当者やWebサイトの制作チームに大がかりな変更を依頼する必要もなく、マーケティング担当者の判断で次々とA/Bテストを行えます。

Webサイトの課題解決や改善をお考えの方は、ぜひSprocketにご相談ください。