【いただいた質問への回答】CRO JAM／失敗しないサイト改善KPIの設計と分析手法（後編）

前編はこちら。

質問への回答（後編）

全部で24問、ブログは前編、後編の2回に分けてご紹介していきます。
今回は後編としてQ13からQ24への回答です。

• Q13：最終ゴールが上がらない場合は中間を見ないとダメでは？
• Q14：B2Bのようにテストボリュームを稼げない場合はどうされていますか？
• Q15：有意差がなく勝ちきれなかったまたは負けきれなかったものの処理を教えてください。というのもどっちでもいいとなるとバイアスが働いて趣味趣向の判断になってしまいます。現場で多発してるので参考にしたく。
• Q16：最近Googleが「バタフライサーキット」という概念を提唱しています。「企業側が考えていた一直線のカスタマージャーニーは通用しなくなってきている」という話でした。このお話聞いてどう思われますか？
• Q17：改善目標の設定について、どのくらい改善されたら成功とするのかを決めるのは難しいです。上がれば上がる程良いと思うので。適正な目標設定のやり方はあるのでしょうか？
• Q18：ABテストで負け続けると、結果続かない。では、負けない（もしくは次につながる負け方）をするために何が必要でしょうか？
• Q19：新規ユーザー獲得の必要があるが、古くからの既存ユーザーのボリュームが多く、UIの大幅リニューアルが難しい場合、どのように改善を進めると良いでしょうか
• Q20：CROの取り組みで、成果が上がるまでに要する期間や、そのプロセスでPDCAがどんなスパンで行われるのか教えていただきたいです
• Q21：特定セグメントにおけるユーザーの傾向を見つけ出し、そのユーザーに対してのピンポイントな接客を行おうとします。ユーザーの傾向を探る分析をいままで行ってこなかったのですが、どのような観点で分析をすすめるのが効率的でしょうか？
• Q22：メンバーがそれぞれ課題を設定し、ABテストを実施しています。CVRの結果が重視され中間KPIも意識されていません。全体の方針をそろえ、負けも次につなげるためにはどうすれば良いでしょうか。
• Q23：上がった数字って、何ヶ月先まで見るんですか？契約期間だけですか？
• Q24：ABテストをするべきとき・やめるべきとき、はどういう時なのかを知りたいです。常に状況を良くしようと思えば、「常にABテストはしているべき」という考え方もありそうです。始める時はわかりやすいですが、やめるとき（「この数字（CVR等）で問題ないよね」となる時）はどういう時なのでしょうか？

Q13：最終ゴールが上がらない場合は中間を見ないとダメでは？

最終ゴールが上がらない施策に対し、中間を上げることで粘っても経験上結局は成果につながらないことが多かったので、仮説検証は一定繰り返しますが、正直諦めも肝心です。なので、最終ゴールが上がらない施策は「ダメだった」として見切りをつけることも大切です。

Q14：B2Bのようにテストボリュームを稼げない場合はどうされていますか？

数が少ないと正直苦しいです。
数を先に増やすか、それでもという場合は（やむなく）中間KPIを指標にして考えたほうが良いです。

Q15：有意差がなく勝ちきれなかった、または負けきれなかったものの処理を教えてください。というのも、どっちでもいいとなるとバイアスが働いて、趣味趣向の判断になってしまいます。現場で多発してるので参考にしたく。

勝ちも負けも至らず、かつこれ以上検証を回さない、ということであれば、向上成果が得られなかった施策は「成果ゼロ」として打ち切りましょう。

Q16：最近Googleが「バタフライサーキット」という概念を提唱しています。「ユーザーは複雑な態度変容を起こしていて、思いがけないタイミングでの衝動的にコンバージョンを生み出すこともある。企業側が考えていた一直線のカスタマージャーニーは通用しなくなってきている。」
という話でした。このお話聞いてどう思われますか？

すみません、バタフライサーキットという言葉は初めて聞きました。
カスタマージャーニーをどういうものとして描くかにもよると思いますが、CROというのは原則的に確率論の話です。あるセグメントのユーザーにこういう施策を当てると態度が変わる人が一定以上いる、という施策を見つけられるかどうか。そのため個々のユーザーがどういう動きをするか、というよりも「だいたいこういう行動をするにはこういう施策を当てると良い」という、ある程度のざっくり感で捉えた方がやりやすいです。
先程のお気に入り機能の例でいうと「お気に入り機能を使う人のほうが、使わない人より買う人が多い」ということはデータを見ればわかりますし、もちろんユーザーによってどのタイミングでお気に入り機能を使うかはぜんぜん違うだろうとは思いますが、それでも商品を１つも見ていないのにお気に入り機能を使うユーザーはいませんし、いくつか商品を見てから使う人が多いでしょう。こういう粒度感で見たほうが考えやすいと思います。

Q17：改善目標の設定について、どのくらい改善されたら成功とするのかを決めるのは難しいです。上がれば上がる程良いと思うので。適正な目標設定のやり方はあるのでしょうか？

どの程度の改善ができるかを事前に設定するのは確かに難しいです。なので、成功失敗は費用対効果で見ることをおすすめします。
かけた費用に対していくら以上の効果が出れば良しとするか、を決めましょう。

Q18：ABテストで負け続けると、結果続かない。では、負けない（もしくは次につながる負け方）をするために何が必要でしょうか？

ABテストは基本、負けます。勝ち負けというより実験をする、という感覚で取り組むほうが良いと思います。
先の「お気に入り機能未使用者にお気に入り機能を勧める」で例をあげると、「どういう言い方をすれば使ってくれるだろう」「どういうタイミングで言えば使ってくれるだろう」を見つけたいです。なので、前者なら魅力を訴求する言い方を何パターンが試していくことになります。後者なら適切と思われるタイミングを何パターンか試していくことになります。
結果的に勝ちにたどり着くまでに何回も検証を重ねることになりますので、その過程はいわばずっと負けているのですが、１回勝ちを見つければ良いので、一定粘り強く続けます。

Q19：新規ユーザー獲得の必要があるが、古くからの既存ユーザーのボリュームが多く、UIの大幅リニューアルが難しい場合、どのように改善を進めると良いでしょうか

ポジショントークですが、接客ツールだと新規ユーザーにだけ絞って施策が打てます^^;
もちろんABテストツールでもそういうセグメントはきれるのではないかと思います。

Q20：CROの取り組みで、成果が上がるまでに要する期間や、そのプロセスでPDCAがどんなスパンで行われるのか教えていただきたいです

僕らは少なくとも6ヶ月、できれば12ヶ月くださいと話しています。PDCAのサイクルとしては、１施策につき約１ヶ月です。

Q21：特定セグメントにおけるユーザーの傾向を見つけ出し、そのユーザーに対してのピンポイントな接客を行おうとします。ユーザーの傾向を探る分析をいままで行ってこなかったのですが、どのような観点で分析をすすめるのが効率的でしょうか？

接客で考えるなら、経験則に基づくヒューリスティック分析でやったほうが絶対に早い・・・のですが、分析起点で実施するのであれば、一定ボリュームが有ると思われるセグメントのユーザーグループを対象に、大まかな行動パターンを見つけるように分析するのが良いです。
「お気に入り機能を使い始めるまでの行動パターン」は大体いつ頃か、ということで、大まかな仮説で良いので例えば「訪問回数で見てみる」「商品の閲覧数で見てみる」などで見ていくと良いと思います。

Q22：メンバーがそれぞれ課題を設定し、ABテストを実施しています。CVRの結果が重視され、中間KPIも意識されていません。全体の方針をそろえ、負けも次につなげるためにはどうすれば良いでしょうか。

仮説を事前に共有し、結果検証を事後に共有する、ということをやってみてはどうでしょうか。みんなで実験するという認識ができると良いと思います。

Q23：上がった数字って、何ヶ月先まで見るんですか？契約期間だけですか？

僕らは施策実施後２週間で見ていますが、施策によって見る期間は変わると思います。ただそんなに長くは見れない気がします。

Q24：ABテストをするべきとき・やめるべきとき、はどういう時なのかを知りたいです。常に状況を良くしようと思えば、「常にABテストはしているべき」という考え方もありそうです。始める時はわかりやすいですが、やめるとき（「この数字（CVR等）で問題ないよね」となる時）はどういう時なのでしょうか？

勝ちといえる状況にまでたどり着ければ、実験をさらに繰り返すか、その施策を本採用するかを判断します。
ただ他の箇所で出来ることがありそうなら、施策を本採用して次の箇所に実験を移したほうが良いことが多いと思います。

いただいた質問への回答は以上です。
ご参加いただいた皆さま、ありがとうございました！