Sprocket 公式ブログ

【いただいた質問への回答】CRO JAM/失敗しないサイト改善KPIの設計と分析手法(前編)

Koji Fukada
Koji Fukada


深田です。
12月13日(金)に、電通デジタルさん主催による「CRO JAM/失敗しないサイト改善KPIの設計と分析手法」というイベントでお話する機会がありました。
UNCOVER TRUTHの小畑さんのアイデアで、お酒を交えてのパネルディスカッションはとてもおもしろかったです。
会場でいただいた質問にすべて答えることができなかったので、この場を借りてお答えできるものはしていこうと思います。

・・・と思い眺めていると、かなり数があったので、いいねが1つ以上ついている質問を選択させてもらいました。
それでも結構数があった><

全部で24問、ブログは前編、後編の2回に分けてご紹介していきます。

Q1:複数の施策を同時におこなうと勝ち負けの原因がわかりにくいと思うが、同時並行で実施するのは良くないか?

Q2:スモールスタートのスモールのサイズとは?

Q3:ABテストは最低何日以上やるべきですか?それとも母数がある程度たまればですか?もしある程度の母数であれば具体的な数値が知りたいです。

Q4:CROを実践していくなかで、あるあるな失敗ケースや、こういう進め方はよくない、といったものがあれば教えていただきたいです。

Q5:SEOベンダーで働いてます。CROについてはほぼわからないです。質問は2つあります。① 簡単にできる割に、インパクトが大きい手法を教えてほしいです。SEOだったら、タイトルにキーワード入れるみたいな。② SEOベンダーがCROベンダーに案件を紹介するために、どんなことをヒアリングできたら良いでしょうか?

Q6:お客様の属性(初回注文か、注文経験ありか)ごとに、行動パターンは必要なのでは?もしくは、そこはイコールなんでしょうか?

Q7:A/Bテストとして、CROではないけど、EC/リアル会員に対して購入履歴から機械学習でCRM施策を行うツール VS 既存のRFMデータに基づいた一律のCRMツールでA/Bテストしたことがあります。結果は既存のRFMが勝ってしまい、役員含めてズコー

Q8:コンバージョンレート最適化の本、持っています(^^)

Q9:費用対効果はどう考えますか?100万円でABするなら広告うったほうがよくないですか?って言われる

Q10:コンバージョン影響度分析はどのように算出しているのでしょうか。ツールを使用していますか。

Q11:仮説をたてるポイントが知りたい

Q12:ABテストを実施して、同じサイトを見ているのに隣の人と違うページが出るとユーザーの混乱を招きませんか?

IMG_0696

Q1:複数の施策を同時におこなうと勝ち負けの原因がわかりにくいと思うが、同時並行で実施するのは良くないか?

施策同士が影響することで真の要因がわかりにくくなるというのは実際起こります。ただデータ量が十分あり、どの施策にあたったユーザーかをデータ上分類ができるのなら、
例えば、
 - 施策A、B両方あたったグループ
 - 施策Aだけあたったグループ
 - 施策Bだけあたったグループ
 - いずれもあたっていないグループ
を比較することで、それぞれの比較は可能です。
一定のランダム性が担保できるだけの数があり、施策Aの評価をする上で同程度施策Bにあたったグループとあたっていないグループが含まれると言えそうであれば、気にせず実施するということもあり得ます。
また、施策AとBが実質的にほぼ対象ユーザーが重ならない場合は、同時の実施でも気にする必要はありません。ただ、ビジネスではあるので、常に結果の精度を最優先することが是というわけでもなく、時にはスピードが重要になる場面もあります。

 

Q2:スモールスタートのスモールのサイズとは?

会場でも回答したのですが、結果を図る指標の数として3桁、できれば300~400件以上は欲しいです。
2桁だとなかなか結果に到達できないでしょう。

 

Q3:ABテストは最低何日以上やるべきですか?それとも母数がある程度たまればですか?もしある程度の母数であれば具体的な数値が知りたいです。

2週間は見ることを推奨しています。
平日・土日で動きが変わることはよくあるので、2週分くらいはあったほうが妥当性は高まります。数百万ユーザーのアクセスがあるなどの巨大なサイトであれば、もっと短くて済ませる場合もありますが、原則は期間はちゃんと取ったほうが良いです。

 

Q4:CROを実践していくなかで、あるあるな失敗ケースや、こういう進め方はよくない、といったものがあれば教えていただきたいです。

うまくいかないのは試行回数が回せないときです。
ひいては、実験を繰り返して正解にたどり着くものだということを理解しながらやらないと、試行回数を回すことにつながりませんので、その認識を関係者間で合意してスタートすることはとても大切です。実施直後から成果が出ますという認識で進めるのは止めたほうが良いと思います。

 

Q5:SEOベンダーで働いてます。CROについてはほぼわからないです。質問は2つあります。① 簡単にできる割に、インパクトが大きい手法を教えてほしいです。SEOだったら、タイトルにキーワード入れるみたいな。② SEOベンダーがCROベンダーに案件を紹介するために、どんなことをヒアリングできたら良いでしょうか?

気持ちはわかりますが、CROの施策にお手軽さはあまり求めないほうが良いと思います。
他社での成功事例をそのまま当てはめても基本的にはうまくいかないですし、一定の回数の試行錯誤は必要だと考えましょう。あと、もしありがたくも案件をご紹介いただける場合は、「対象サイトのURL、UU数、CV数、1CVあたりの経済的評価」を教えていただけると嬉しいです。

 

Q6:お客様の属性(初回注文か、注文経験ありか)ごとに、行動パターンは必要なのでは?もしくは、そこはイコールなんでしょうか?

(すみません、どの場面での質問かわからずですが)施策としては、注文回数で分けるほうが良い場合もありますが、あまり関係ない場合もあります。例えば「お気に入り機能未使用者にお気に入り機能を勧める」という施策であれば、注文回数よりも商品閲覧数を見たほうが良いことが多いと思います。

 

Q7:A/Bテストとして、CROではないけど、EC/リアル会員に対して購入履歴から機械学習でCRM施策を行うツール VS 既存のRFMデータに基づいた一律のCRMツールでA/Bテストしたことがあります。結果は既存のRFMが勝ってしまい、役員含めてズコー

機械学習、AIは万能ではありませんので、そういうこともあります。
僕らもAIは活用していますが、例えば十分なデータ量がないとやはりうまく判定できないこともよくありますので、そこはそういうもんだと思ったほうが良いと思います。

 

Q8:コンバージョンレート最適化の本、持っています(^^)

ありがとうございます!!(^^)

 

Q9:費用対効果はどう考えますか?100万円でABするなら広告うったほうがよくないですか?って言われる

継続性のある施策で勝ちパターンが見つかれば、その施策はその後ずっと勝ちを生み出し続けてくれます。
例えば先程の「お気に入り機能未使用者にお気に入り機能を勧める」という施策で勝ちが見つかると、その後ずっと勝ってくれますので、仮にその勝ちを見つけるのに100万円かかったとして、月間でこの施策が50万円の勝ちを生むとすると、100万円の広告で得られる成果を何ヶ月後に超えるか?が計算できます。
逆に言うと、そういう考え方ができる施策でABテストは実施したほうが費用対効果は説明しやすいです。

 

Q10:コンバージョン影響度分析はどのように算出しているのでしょうか。ツールを使用していますか。

すいません、うちのツール(Sprocket)の機能です・・・

 

Q11:仮説をたてるポイントが知りたい

さすがに一言で答えられませんが、月並みですがユーザー視点で考えましょう。
経験上、みなさんが思っている以上にユーザーはサイトのことを知らないですし、ページ内の文章を読んでいないですし、機能やサービスについても理解していませんので、そういう前提でサイトを眺めると仮説が立てやすいです。

 

Q12:ABテストを実施して、同じサイトを見ているのに隣の人と違うページが出るとユーザーの混乱を招きませんか?

そういうクレームを受けたことは覚えている限りありませんので、あまり気にしなくていいと思います。
時間や曜日で出す内容を変えていたりするケースもありますし、ABテストに限らず人によって違うページが出ることがあるということには一定の認識があるのではと思います。

残り12の質問については後編で回答させていただきます!

最新記事

お問い合わせ・ご相談など
お気軽にご連絡ください

03-6303-4123
平日10:00–19:00

「成果につながる顧客体験」へのヒントがここにあります