A/Bテストメソッド

A/Bテストの結果が信頼できるかどうかは統計的に判断しなければなりません。データが十分に集まっていない状態では結果が偏ってしまう可能性があり、誤った判断につながります。統計有意差が得られるだけのデータが集められるよう十分な期間を設定しておく必要があります。また、曜日によるユーザーの行動傾向の違いを吸収できるように、KGIの推移をしっかり追える仕組みも必要です。

施策の本当の成果を検証するためには、「その施策を実施しない状態」との比較も必要です。施策を実施しなくても一定数のコンバージョンはあるはずなので、その差分を見ることで施策の効果を検証できます。ありがちなミスとして、単純に施策Aと施策Bとだけ比較して、「施策を実施しない状態」との差は見ていないということがあります。

短期的な成果はコンバージョンの改善であることがほとんどでしょうが、中長期的に改善のPDCAサイクルを回して成果を積み上げていくためにはユーザー視点での施策の企画と運用が欠かせません。点の施策として短期的に成果をあげられたとして、その結果ユーザーの離反を招いて顧客ロイヤルティやLTVを低下させてしまっては意味がないためです。結果からユーザー理解を深めていくことのできる、施策とA/Bテストの設計が求められます。

Sprocketは、ユーザーがWebサイトで取った行動を「行動データ」としてリアルタイムに計測し、詳細なデータを蓄積しています。そのデータをもとに、購入をした／しない、リピーターになった／ならないというユーザーの行動の差に影響を与える要因を割り出せます。貢献度の高い要素を割り出すことでA/Bテストの優先順位を正しく決定することができます。

A/Bテストは、他社の事例を形だけ真似てもうまくいかないものです。Sprocketには300以上の業界別成功パターンがあり、それらをサイトやサービスごとの特性に応じてチューニングしながら適用していきます。これまでの試行錯誤の蓄積から得られた知見を施策に反映するため、最短距離で成果を出すことができます。

A/Bテストの結果を読み解くときは、偶然そうなっているだけなのかどうかを見極めなければいけません。Sprocketには、統計的な有意差でA/Bテスト結果を定量判断するロジックと、結果を正しく読み解くためのメソッドがあります。 有意に差があるかを見た上で一定期間安定して勝ち続けているかを検証することで偶然の結果ではないことを確かめます。