ファーストビューを差し替え、フォーム項目も減らした。
それでもCVRは1.0%台のまま動かない。
BtoB SaaSでこれが起きるとき、多くは変更が悪かったのではなく、差があったかどうかを判定できない設計で走らせています。
この記事では、判定が壊れる原因と、改修前に決める項目、2週間で組み直す手順をまとめます。
LPを直してもCVRが動かないとき、先に疑うのは変更内容ではなく検証設計です。
BtoB SaaSの流入量では、CVを主指標にしたA/Bは判定できません。
- 月5,000セッション・CVR1%の規模では、資料請求CVRを主指標にした比較は1年以上かかる
- 主指標は、フォーム開始率や主要セクション到達率など、分母が大きく発生率も高い中間指標に置き換える
- 改修前に、主指標・必要サンプル数・判定日・不採用の基準の4点を文章で確定させる
※本記事の数値は、実案件で起きやすい状況を一般化したモデルケース(シミュレーション)です。特定企業の実績ではありません。
目次
- 「変わらなかった」は、変更の失敗ではなく判定の失敗です
- 原因1:いまの流入量では、CVを主指標にした差は検出できない
- 原因2:同じ週に複数変えて、どれが効いたか分けられない
- 原因3:流入の質の変化と計測の破損を、LPの結果として読んでいる
- 原因4:詰まっているのはLPの中ではなく、外側だった
- 改修前に決める7つと、次に直すものの選び方
- 効かないケースと、やってはいけない対処
- 2週間で検証設計を組み直すための型
- よくある質問
- まとめ
「変わらなかった」は、変更の失敗ではなく判定の失敗です
LPを直してCVRが動かなかったとき、最初に見るのは変更内容ではありません。
その変更の良し悪しを判定できる状態だったか、が先です。
BtoB SaaSのLPは、月間セッション数千、CVR1%前後という規模が多くあります。
この規模では、CVRが1.0%から1.2%に上がっても数字の上では区別がつきません。
「変わらなかった」は観測結果ではなく、判定不能の別名になっています。
切り分けの入口は、サンプル不足、同時変更、流入の質、計測の破損、LPの外側の5つです。
この5つを潰すと、残るのは「本当に効かなかった変更」だけです。
そこで初めて、デザインやコピーの議論に意味が出ます。
POINT
改修の打率を上げる前に、判定の精度を上げます。
順番が逆だと、良い案も悪い案も同じ「変わらなかった」に丸められます。
社内での説明も変わります。
判定できる設計なら、「差なし」と結論を出せた改修も確定した1件です。
原因1:いまの流入量では、CVを主指標にした差は検出できない
月5,000セッション、資料請求CVR1.04%という規模で考えます【モデル試算】。
CVは月52件で、A/Bで半分に割れば片群あたり月26件しか発生しません。
そこで必要サンプル数を開始前に計算します。
簡易式は片群あたり n ≒ 16 × p × (1−p) ÷ δ²。pがベース率、δが検出したい率の差です。
表1|主指標別・相対20%の改善を検出するのに必要な数(モデル試算)
| 主指標 | ベース率 | 分母(月間) | 必要数(片群) | 月5,000セッションでの所要期間 |
|---|---|---|---|---|
| 受注 | 0.06% | 5,000セッション | 約666,000 | 判定不能 |
| 商談化 | 0.26% | 5,000セッション | 約153,000 | 判定不能 |
| 資料請求(CV) | 1.04% | 5,000セッション | 約38,000 | 約15か月 |
| フォーム完了率 | 16.8% | 310フォーム開始 | 約2,000 | 約13か月 |
| フォーム開始率 | 6.2% | 5,000セッション | 約6,000 | 約2.4か月 |
| 主要セクション到達率 | 42.0% | 5,000セッション | 約600 | 約1週間 |
※有意水準5%・検出力80%の簡易式 n≒16×p(1−p)÷δ² による概算です。実際の判定はテストツールの計算に従ってください。
表1で目に付くのは、フォーム完了率が思ったほど使えないことです。
発生率は16.8%と高いのに、分母がフォーム開始者310人しかなく、必要な2,000人を集めるのに13か月かかります。
中間指標は、発生率の高さと分母の大きさの両方を満たすものだけを選びます。
そのうえで、主指標は2段構えにします。
判定用に主要セクション到達率やフォーム開始率を置き、確認用の資料請求CVRと商談化率は月次でまとめて見ます。
確認用を週次で見ると、揺れに引きずられて判断が毎週ひっくり返ります。
中間指標が改善してもCVが増えないなら、指標の選び方が誤っています。
過去6か月の月次データで、中間指標とCV数が同じ方向に動いているかを確認します。
原因2:同じ週に複数変えて、どれが効いたか分けられない
リリースの手間を考えると、複数箇所をまとめて変えたくなります。
ただし、まとめた瞬間に、その改修から学べることはゼロになります。
3つ変えて横ばいなら、3つとも効かなかったのか、上げた分と下げた分が相殺したのかが分かりません。
相殺していたなら、効いた1つの効果を、効かない2つが打ち消し続けます。
同時変更は工数を節約する代わりに、次の判断材料を丸ごと失います。
とはいえ、1つずつでは時間が足りません。
そこで変更を「単独で検証するもの」と「まとめて入れるもの」に分けます。
まとめて入れてよい変更と、単独で検証する変更
- まとめてよい:誤字修正、リンク切れ、表示崩れ、読み込み速度の改善
- まとめてよい:明らかな不備の解消(価格が書かれていない、問い合わせ先が無い)
- 単独で検証:ファーストビューの訴求変更
- 単独で検証:オファーの内容変更(無料トライアルと資料請求の入れ替えなど)
- 単独で検証:フォーム項目数の増減
- 単独で検証:料金の掲載有無
基準は単純です。
「効かなかったときに撤回したいもの」だけを単独で検証します。
ただし、まとめて入れた日付は記録に残します。
記録がないと、3か月後に基準線が動いた理由を追えなくなります。
原因3:流入の質の変化と計測の破損を、LPの結果として読んでいる
LPを改修した月に、広告側でも何かが動いていることは珍しくありません。
予算配分の変更、キャンペーンの追加、入札戦略の切り替え。どれも来訪者の中身を変えます。
図4のように指名検索の比率が32%から14%へ落ちると、全体CVRは下がって当然です【モデル試算】。
指名で来る人は、もともと最も購入意向が高い層だからです。
このとき非指名だけを見ればCVRは0.71%から0.78%へ改善しています。
LP改修は効いているのに、流入の悪化が結果を隠しています。
LPの効果を読むときは、流入構成を固定して比べます。
最低限、指名検索とそれ以外、検索広告とディスプレイ・SNS、PCとモバイルは分けて確認します。
最も確実なのは、同じ期間に旧LPと新LPを並走させることです。
難しければ、指名を除いた非指名セグメントだけで比較します。
もう1つ、LP改修は計測が壊れる典型的なタイミングです。
ページ構成を変えればサンクスページのURLも変わり、URLベースのCV計測は止まります。
逆にタグが二重に入ると、CVが1.5〜2倍に増えて「大成功」に見えます。
リリース当日に確認する計測チェック
- サンクスページのURLが改修で変わっていないか
- フォーム送信のイベント発火が二重になっていないか
- 同意管理ツールの設定変更でタグが止まっていないか
- 資料請求と問い合わせを同じCVとして数えていないか
- 自社IPと制作会社の確認アクセスが除外されているか
- テストツールのフリッカーで初回表示が遅れていないか
リリース当日に自分でCVを1件通すだけで、後戻りの大半は防げます。
実機でフォームを送信し、GA4のリアルタイムで発火を見て、翌日に媒体の数字と照合します。
注意
「改修前の1か月」と「改修後の1か月」を単純比較するのが、最も間違いやすい読み方です。
その2か月の間に、LP以外が何も変わっていないことは、ほぼありません。
自社のLPが、そもそも検証できる状態にあるかを確認しませんか
TimeValue株式会社では、無料マーケティング診断を毎月10社限定で実施しています。
- いまの流入量で判定できる主指標とテスト期間
- CV定義と計測に破損リスクがある箇所
- ボトルネックがLPの中にあるのか、外側にあるのか
オンライン30〜45分/資料の事前提出は不要です。
原因4:詰まっているのはLPの中ではなく、外側だった
LPを何度直しても動かない場合、ボトルネックがLPの外にあります。
BtoB SaaSで多いのは、オファーの弱さです。
「資料請求」とだけ置かれ、何がもらえるかが書かれていません。
読み手は、営業メールが来るだけの資料を想像します。この状態では、デザインを変えても行動は変わりません。
切り分けは、LPを大きく変えずに試せます。
資料の目次とページ数をLP上に載せ、フォーム開始率が動くかを見ます。
上がるなら問題は伝え方、変わらないならオファーそのものを作り直します。
もう1つ、BtoB SaaSでは意思決定が1ページで完結しません。
LPを見る人と、稟議を通す人が別人だからです。
LPに求められるのは、その場で決めさせることではなく、持ち帰って説明できる材料を渡すことです。
- 価格レンジと課金単位(人数課金か、従量か)
- セキュリティとデータの取り扱い方針
- 導入に必要な工数と期間
- 既存システムとの連携可否
- 解約条件と最低契約期間
あわせて注意したいのが、資料請求と商談化の乖離です。
比較資料を集めるだけの人がCVの半分近くを占めると、CVRを上げる改修が商談化率を下げます。
そこでCVRとあわせ、商談化率をガード指標に置きます。
POINT
商談化率は判定に時間がかかるため、判定日ではなく4〜8週間後に確認します。
「4週間後の商談化率が12%未満なら旧版に戻す」と、期日込みで先に書きます。
改修前に決める7つと、次に直すものの選び方
ここまでの原因は、改修前の30分で防げます。
次の7つを、実装前に文章で残します。
- 主指標を1つに決める複数あると、都合の良い数字を後から選べてしまいます。分母が大きく発生率も高い指標を1つだけ選びます。
- 中間指標とCV指標の役割を分ける中間指標は採否の判定に、CV指標は月次の答え合わせに使います。
- 必要サンプル数と判定日を計算する表1の式でサンプル数を出し、日次セッションで割って判定日を確定します。3か月を超えるなら、A/Bテストの対象から外します。
- ガード指標と下限値を決める「CVRが改善しても商談化率が12%を下回れば不採用」のように、数値で書きます。
- 判定日までは中間結果を見ない途中で覗くと、たまたま有意になった瞬間に止めたくなります。これが偽の勝ちパターンを量産します。
- 不採用の基準を先に書く「判定日に有意差なしなら元に戻す」を、開始前に確定させます。
- 誰が採否を決めるかを決める判定日に決裁者が不在だとテストは自動的に延長され、その時点で事前の判定条件は無効になります。
実務で最も抜けるのは5番目です。
判定日まで該当テストのビューを閉じる、といった物理的な対処が要ります。
そのうえで、次に何を直すかは条件で決めます。
使うのは、流入量、ボトルネックの位置、計測の健全性の3つです。
表2|条件別・次に直すものの判断基準(モデル試算)
| いまの状態 | 主指標に置くもの | 次に直すもの | やらないこと |
|---|---|---|---|
| 月2,000セッション未満 | 主要セクション到達率 | LPを1本に絞り、訴求を作り直す | A/Bテスト全般 |
| 月2,000〜10,000セッション | フォーム開始率 | オファーの中身の開示、価格の掲載 | CVRを主指標にしたA/B |
| 月10,000セッション以上 | 資料請求CVR | 1要素ずつのA/Bテスト | 複数箇所の同時変更 |
| 到達率が30%未満 | 主要セクション到達率 | ファーストビューと読み込み速度 | フォームの改修 |
| CVは増えたが商談化率が低下 | 商談化率 | ターゲット外流入の除外、CV定義の見直し | CVRのさらなる改善 |
| 計測の破損が疑われる | 判定を止める | 計測の復旧と定義の統一 | あらゆる改修と配信変更 |
※セッション数はLP単体の月間値です。合算では判断を誤ります。
表2で最も重要なのは最下段です。
計測が壊れている疑いがあるときは、改修も配信変更も止めます。
月2,000セッション未満はA/Bが成立しないため、検証ではなく作り直しに振ります。
その材料は統計ではなく定性データにします。
商談で繰り返し出る質問、失注理由、営業が使う説明資料の3つで足ります。
効かないケースと、やってはいけない対処
ここまでの手順を踏んでも、数字が動かないケースはあります。
- プロダクトの提供価値が、競合と実質的に差がない
- 価格帯が市場の想定より2倍以上高い
- ターゲット企業の予算計上が翌期以降になっている
- 広告の流入キーワードが、そもそも購買意向を含んでいない
- 営業の一次返信が3営業日以上かかっている
これらはLPの検証設計では解けません。
プロダクト、価格、営業体制のどこかを動かす必要があります。
一方で、やってはいけない対処もあります。
いずれも短期は数字が動くため、選ばれやすい打ち手です。
表3|やってはいけない対処と、その理由
| やってはいけない対処 | 短期に起きること | 3か月後に起きること |
|---|---|---|
| 有意差が出るまでテストを延長する | いずれ有意に見える瞬間が来る | 再現しない施策が正解として残る |
| CV定義に軽いアクションを追加する | CVRが1.5倍前後に改善して見える | 商談化率が半減し、CPAの意味が消える |
| 複数箇所を同時に刷新する | 工数が節約できる | 次に何を直すかの根拠が残らない |
| 効かなかった変更を戻さず放置する | 手戻りが発生しない | マイナス要素が積み上がり、基準線が下がる |
※いずれも短期の数字は改善して見えるため、成功として報告されがちです。
最も損失が大きいのは、CV定義を軽くしてCVRを改善させる対処です。
CVRとCPAは改善し、レポート上は成功に見えます。
ただし商談化率が落ちるため、受注数は変わらないか減ります。
注意
CV定義を変える必要が出た場合は、旧定義と新定義を3か月間並行で計測します。
切り替えではなく重ねる形にすれば、比較可能性は保てます。
不採用と決めた変更は、判定日から1週間以内に戻します。
戻す作業まで含めて、検証の1サイクルとして扱います。
2週間で検証設計を組み直すための型
最後に、明日から動かせる型を置きます。
この2週間、LPのデザイン作業は行いません。止めることが目的です。
- Day1〜3:計測を点検するチェック6項目を上から確認します。実機でCVを1件通し、GA4と媒体の数字が一致するかを見ます。ずれたら復旧まで次へ進みません。
- Day4〜6:判定できる指標を選ぶ直近3か月のセッション数と各段階の通過率を出し、表1の式に入れます。3か月以内に判定できる指標だけを候補に残します。
- Day7〜9:検証計画を1枚に書く主指標、ガード指標と下限値、必要サンプル数、判定日、不採用基準、採否の決裁者。この6項目を1枚に書き、関係者の合意を取ります。
- Day10〜14:変更を1つだけ入れる表2を見て、いまの状態で直すべきものを1つ選びます。実装したら判定日まで触らず、中間結果も見ません。
この型で最も効くのは、Day7〜9の1枚です。
書面にすると、判定できない計画がその場で分かり、その時点で作り直せます。
以降は2〜4週のサイクルで、1つずつ回します。
回数は少なく見えますが、判定できない改修を30件回すより結果は先に出ます。
レポートも、今週の主指標、判定日までの残り日数、ガード指標の状態の3行で足ります。
よくある質問
月間セッションが1,000程度です。A/Bテストは諦めるしかありませんか
CVRを主指標にしたA/Bテストは諦めます。この規模で相対20%の差を検出するには、資料請求CVRなら数年分のトラフィックが必要だからです。代わりに、主要セクション到達率のように発生率が40%前後ある指標なら、1〜2か月で判定できる場合があります。それでも足りなければ統計的検証をやめ、商談で繰り返し出る質問と失注理由の上位3つから、LPに足りない情報を洗い出します。
中間指標が改善しても、CV数が増えません。どう考えればいいですか
中間指標の選び方が合っていない可能性が高い状態です。まず過去6か月のデータで、その中間指標とCV数の相関を確認してください。相関が弱ければ、改善してもCVは動きません。よくあるのはスクロール深度で、深く読む人が購買意向の高い人とは限らないためです。CVへの経路が明確なフォーム開始率へ置き換え、開始率と完了率のどちらが動いていないかを特定してください。
CVRは上がったのに商談化率が下がりました。採用すべきですか
事前に決めたガード指標の下限を下回っていれば、不採用にします。後から議論すると、CVRが上がった事実だけが残って採用されがちだからです。判断するときは、CVR×商談化率で商談数に直してください。CVRが1.0%から1.3%に上がり、商談化率が25%から18%に下がった場合、商談数の指標は0.25から0.234となり、わずかに減ります【モデル試算】。この試算をせずCVRの改善だけを報告すると、翌月以降の判断が狂います。
まとめ
- LPを直してCVRが動かないとき、多くは変更の失敗ではなく、差を判定できない検証設計が原因
- BtoB SaaSの流入量では、資料請求CVRを主指標にしたA/Bは1年以上かかり、事実上判定できない
- 中間指標は、発生率の高さと分母の大きさの両方を満たすものを選ぶ
- 同時変更、流入の質の変化、計測の破損、LPの外側を先に潰してから改修の良し悪しを議論する
- 改修前に、主指標・必要サンプル数・判定日・不採用基準を文章で確定させる
- CV定義を軽くしてCVRを改善させる対処は、商談化率を下げ、過去との比較可能性まで失う
次のデザイン案を作る前に、いまの流入量で何なら判定できるかを一度計算してみてください。
検証設計から作り直して、LP改修を判定できる状態にします
KAIZENは、広告運用とLP改善、計測設計をまとめて見直す一括支援です。
判定できる主指標を決め、必要サンプル数と判定日、不採用基準まで含めた計画を作ります。