【いただいた質問への回答】CRO JAM／失敗しないサイト改善KPIの設計と分析手法（前編）

マーケティングセミナー・イベント

2019年12月17日

深田浩嗣

12月13日（金）に、電通デジタルさん主催による「CRO JAM／失敗しないサイト改善KPIの設計と分析手法」というイベントでお話する機会がありました。いただいた質問にお答えします。

「CRO JAM／失敗しないサイト改善KPIの設計と分析手法」では、UNCOVER TRUTHの小畑さんのアイデアで、お酒を交えてのパネルディスカッションがとてもおもしろかったです。

会場でいただいた質問にすべて答えることができなかったので、この場を借りてお答えできるものはしていこうと思います。

・・・と思い眺めていると、かなり数があったので、いいねが１つ以上ついている質問を選択させてもらいました。
それでも結構数があった＞＜

質問への回答（前編）

全部で24問、ブログは前編、後編の2回に分けてご紹介していきます。

写真：セミナー会場の様子

Q１：複数の施策を同時におこなうと勝ち負けの原因がわかりにくいと思うが、同時並行で実施するのは良くないか？

施策同士が影響することで真の要因がわかりにくくなるというのは実際起こります。ただデータ量が十分あり、どの施策にあたったユーザーかをデータ上分類ができるのなら、
例えば、

施策A、B両方あたったグループ
施策Aだけあたったグループ
施策Bだけあたったグループ
いずれもあたっていないグループ

を比較することで、それぞれの比較は可能です。
一定のランダム性が担保できるだけの数があり、施策Aの評価をする上で同程度施策Bにあたったグループとあたっていないグループが含まれると言えそうであれば、気にせず実施するということもあり得ます。
また、施策AとBが実質的にほぼ対象ユーザーが重ならない場合は、同時の実施でも気にする必要はありません。ただ、ビジネスではあるので、常に結果の精度を最優先することが是というわけでもなく、時にはスピードが重要になる場面もあります。

Q２：スモールスタートのスモールのサイズとは？

会場でも回答したのですが、結果を図る指標の数として3桁、できれば300～400件以上は欲しいです。
2桁だとなかなか結果に到達できないでしょう。

Q３：ABテストは最低何日以上やるべきですか？それとも母数がある程度たまればですか？もしある程度の母数であれば具体的な数値が知りたいです。

2週間は見ることを推奨しています。
平日・土日で動きが変わることはよくあるので、２週分くらいはあったほうが妥当性は高まります。数百万ユーザーのアクセスがあるなどの巨大なサイトであれば、もっと短くて済ませる場合もありますが、原則は期間はちゃんと取ったほうが良いです。

Q４：CROを実践していくなかで、あるあるな失敗ケースや、こういう進め方はよくない、といったものがあれば教えていただきたいです。

うまくいかないのは試行回数が回せないときです。
ひいては、実験を繰り返して正解にたどり着くものだということを理解しながらやらないと、試行回数を回すことにつながりませんので、その認識を関係者間で合意してスタートすることはとても大切です。実施直後から成果が出ますという認識で進めるのは止めたほうが良いと思います。

Q５：SEOベンダーで働いてます。CROについてはほぼわからないです。質問は２つあります。① 簡単にできる割に、インパクトが大きい手法を教えてほしいです。SEOだったら、タイトルにキーワード入れるみたいな。② SEOベンダーがCROベンダーに案件を紹介するために、どんなことをヒアリングできたら良いでしょうか？

気持ちはわかりますが、CROの施策にお手軽さはあまり求めないほうが良いと思います。
他社での成功事例をそのまま当てはめても基本的にはうまくいかないですし、一定の回数の試行錯誤は必要だと考えましょう。あと、もしありがたくも案件をご紹介いただける場合は、「対象サイトのURL、UU数、CV数、1CVあたりの経済的評価」を教えていただけると嬉しいです。

Q６：お客様の属性（初回注文か、注文経験ありか）ごとに、行動パターンは必要なのでは？もしくは、そこはイコールなんでしょうか？

（すみません、どの場面での質問かわからずですが）施策としては、注文回数で分けるほうが良い場合もありますが、あまり関係ない場合もあります。例えば「お気に入り機能未使用者にお気に入り機能を勧める」という施策であれば、注文回数よりも商品閲覧数を見たほうが良いことが多いと思います。

Q７：A/Bテストとして、CROではないけど、EC/リアル会員に対して購入履歴から機械学習でCRM施策を行うツール VS 既存のRFMデータに基づいた一律のCRMツールでA/Bテストしたことがあります。結果は既存のRFMが勝ってしまい、役員含めてズコー

機械学習、AIは万能ではありませんので、そういうこともあります。
僕らもAIは活用していますが、例えば十分なデータ量がないとやはりうまく判定できないこともよくありますので、そこはそういうもんだと思ったほうが良いと思います。

Q８：コンバージョンレート最適化の本、持っています(^^)

ありがとうございます！！(^^)

Q９：費用対効果はどう考えますか？100万円でABするなら広告うったほうがよくないですか？って言われる

継続性のある施策で勝ちパターンが見つかれば、その施策はその後ずっと勝ちを生み出し続けてくれます。
例えば先程の「お気に入り機能未使用者にお気に入り機能を勧める」という施策で勝ちが見つかると、その後ずっと勝ってくれますので、仮にその勝ちを見つけるのに100万円かかったとして、月間でこの施策が50万円の勝ちを生むとすると、100万円の広告で得られる成果を何ヶ月後に超えるか？が計算できます。
逆に言うと、そういう考え方ができる施策でABテストは実施したほうが費用対効果は説明しやすいです。