<img height="1" width="1" style="display:none" src="https://www.facebook.com/tr?id=134155187181733&amp;ev=PageView&amp;noscript=1">

Sprocket 公式ブログ

コンバージョン向上に欠かせない「ABテスト」で効果を上げるためのコツと結果分析での注意点

2018/06/14 8:00:00

yasashii-11.jpg

コンバージョン向上のために重要な「A/Bテスト」。複数のパターンを同時に実施最も効果の出るのがどれかを検証するA/Bテストはすでにおなじみという人も多いでしょう。

 

A/Bテストで効果を上げるためのコツと結果分析での注意点を紹介します。


<この記事の目次>

 

◆ ABテストとは

◆ アカデミックな実験とデジタルマーケティングでのABテストの違い

◆ ABテストを実施する対象ユーザーの注意点

◆ 対象のユーザが少ないとABテストに向かない

◆ 時間が長くかかるものはABテストに向かない

◆ ABテストの結果分析の注意点

◆ 統計的に信頼できる結果か?

◆ 「有意に差がある」とはどういうことか?

◆ 結果の判断に必要なコンバージョン数の目安

 


ABテストとは

 

ABテストは、複数のテストパターンを同期間に同質と想定されるユーザーセグメントに対して、ランダムにいずれかのテストパターンを提示するものです。その結果から、どれがより効果的かを検証します。テストに用いる各テストパターンを慣習的に「Aパターン」「Bパターン」などと呼びます。

 

null

 

 

アカデミックな実験とデジタルマーケティングでのABテストの違い

 

アカデミックな研究で行われる実験では、まったく同じ環境で1 つだけ要素を変更して結果を比較することで、変えた要素が与える影響が何かがわかります。

 

一方デジタルマーケティングの場合は、「まったく同じ環境」は現実問題としてなかなか作れません。そのため「同一期間」「同じ性質をもっと想定されるユーザーセグメント」を対象とすることで、擬似的に同じ環境とみなすのが一般的です。同じ環境であれば各テストパターンの効果の違いがわかります。

 

<A/Bテストの対象となるコンポーネントの例>

null

 

 

ABテストを実施する対象ユーザーの注意点

 

テストパターンを用意できたら、対象ユーザーセグメントにそれぞれをランダムに提示します。「同じ性質のユーザー」というところが重要なので、実施期間中はできるだけユーザーの性質を同質に保てるように気をつけましょう。例えば、実施中に広告経由の流入が急増したりすると、その聞は性質の異なるユーザーが入ってくることになります。いつもと違うユーザーが混ざりそうな別の施策を予定している場合は、その期聞を避けて実施するか、やむを得ない場合はその期間とちょうど重ねて行うといいでしょう。

 

対象のユーザが少ないとABテストに向かない

 

ABテストはコンバージョン最適化において非常に重要な役割を担いますが、万能ではありません。テストの対象や状況によってはABテストに向かないケースもあります。

まず、テストの対象となるセグメントのユーザー数が十分でない個所での設置はAB テストに不向きです。例えば、特定ワードでのサイト内検索結果の表示数をABテストしようとしたときに、そのワードで検索する十分な数のユーザーがいなければ、信頼できる結果データが集まりまりません。

 

入力される検索ワードの種類はかなりの数になるので、それぞれをAB テストしようとしても十分な数が集まらないでしょう。そもそも検索ワードごとのABテストも、テストの数が膨大になってしまうため非現実的な取り組みです。

 

後述しますがABテストの結果が信頼できるかどうかは統計的にも見ていきます。そのためには一定量以上のデータが必要になるので、ユーザー数が少ないといつまでも結果が出ないということになります。

 

時間が長くかかるものはABテストに向かない

 

テストの個所から結果が出るまでに距離がある、もしくは時間が長くかかる場合も、ABテストには向きません。例えば、トップページのバナー画像のABテストを行う際に、結果として見ていく指標を「リピート購入回数」にすることは設定上は可能です。ただリピート購入回数に影響を与える要因は、トップページのバナー画像以外にもさまざま考えられます。このように、テストを実施する個所(トップページのバナー)からその影響を測定したい個所(リピート購入)までが遠いと、その間にいろいろな要因が絡み合います。こうなるとセグメントの同質性の確保が難しくなり、出てきた結果が信頼しにくい(再現性が低い)ものとなります。

 

null

 

 ABテストの結果分析の注意点

 

 ABテストを実施すると、テストパターンごとに結果が数値で表れます。結果の数値を読み解くときは、いい結果だったパターンを単純に「勝ちパターン」として採用してしまいがちですが、ここに落とし穴があります。

 

ABテストの結果、テストパターンAの数値がもっとも良かったとしても、偶然そうなっているだけなのかどうかを見極めなければいけません。それを教えてくれるのが「統計」です。テスト結果の違いが「偶然ではなさそうだ」となってはじめて勝ち負けを判断できます。

 

 

null

 

このようにAB テストの勝ち負けは、統計的に数値が信頼できるかどうかで判断する必要があります。統計や数字というと難しく感じるかもしれませんが、ABテストを正しく行うには、自分で計算できなくても大丈夫ですので「概念」 としては必ず理解しておきましょう。ここをいい加減にしてしまうと、仮説検証のサイクルを正しく回せなくなってしまいます。

 

統計的に信頼できる結果か?

 

数値の違いが偶然ではないことを、統計の言葉では「有意に差がある」と表現します。ややこしいのは「有意に差があるかどうか」が確率(パーセント)で表現される点です。差のある/なしが明確に出るわけではないので、見方を知っておく必要があります. ABテストツールの場合、簡易的に「結果を信頼できます』と表示されたり、あるいは信頼度が段階として表示されたりしますが、それはこの有意に差がある確率が何パーセントなのかということに基づいて表示内容を決めているのです。

 

 

「有意に差がある」とはどういうことか?

 

では、『有意に差がある/ない」とはどういうことでしょうか? 例えば、テストパターンAでは対象200人のユーザーに対して、コンバージョン行動を実施したのが20人だったとしましょう。同じパターンAを時期を変えて同質と思われる200人のユーザーに実施したときに、毎回きっちり20人がコンパージョンするわけではありません。19人だったり22人だったり、15人だったりするでしょう。ただ、これが150人になることはほとんどなさそうに思えます。統計が教えてくれるのは、「今回は20人だったけど、例えば80パーセントの確率だと15人~25人の幅になるよ」という「おおよその広がりの幅」です。広がりの幅を超えて差があれば「有意に差がある」(結果が信頼できる)となり、差が広がりの幅のなかに収まるなら「偶然」 (結果が信頼できない)となります。

 

差が偶然でない確率を高めようとすると、求められる差が大きくなっていきます。差が小さければ偶然の度合いが高まります。結果指標として差があったとしても「たまたま」そうなっているだけということは常にあり得るので、どの程度「たまたま」起きることなのかが統計的にわかるということは知っておいてください。

 

 

null

 

 

結果の判断に必要なコンバージョン数の目安

 

統計的な話だけでなく、「ユーザーの同質性」も考慮する必要があります。例えば、曜日が違えばユーザー層が変わるというのは多くのサイトで見られます。そのため、ABテストの実施期聞を2週間以上にしておくと、曜日による違いを吸収しやすくなります。

 

経験則的な基準ですが、期間としては2週間以上、またテストパターンごとにできれば100以上のコンパージョン行動数があれば、ユーザーの同質性や統計的な信頼性を含めて結果の比較として妥当と言えるでしょう。なるべくこのくらいの数のデータが貯まるまではAB テストを継続してください。

 

ただ、実際にはどうしてもコンパジョンが基準の数まで至らないことがあります。その場合は結果が偶然であるという可能性を踏まえて判断するほかありません。

 

まとめ

 

・ABテストでは複数のテストパターンを同期間に、同ユーザーセグメントにランダム提示する

・対象のユーザが少ないとABテストに向かない

・時間が長くかかるものはABテストに向かない

・統計的に信頼できる結果か? 有意差があるか?に注意する

 

ABテストを手際よく使いこなせば、仮説検証を素早く行い、より大きな成果を得ることができます。本記事で書いたことは、最初は難しく感じることもあるかもしれませんが、どれも非常に重要なので、ぜひマスターして成果につなげてください!



いちばんやさしいコンバージョン最適化の教本
〜人気講師が教える実践デジタルマーケティング

深田浩嗣 著 / 2017年3月 インプレス刊

 本記事は、私が2017年に出版した「いちばんやcv.jpgさしいコンバージョン最適化の教本」から、特に多くのサイト運営者・経営者に知ってほしい重要なポイントを、再編集しました。よりくわしい解説や、コンバージョン最適化の全体像を知りたい方は、ぜひ本書を読んでください!


https://www.amazon.co.jp/dp/4295000159



▼連載:いちばんやさしいコンバージョン最適化のコツ 記事一覧


Topics: いちばんやさしいコンバージョン最適化の教本