ブランドリフトをどう測るか

なお、TimeValue株式会社では、広告運用・クリエイティブ制作・LP改善・データ分析・AI導入までを一括で引き受けるWebマーケティング支援「KAIZEN」を提供しています。

現在、オンラインの無料マーケティング診断を毎月10社限定で実施中です。いまの数字を見ながら、どこから直すのが早いかを一緒に整理します。

今月の無料診断は残り4社です

無料マーケ診断を申し込む

広告からLPまで、まとめて見ます。オンラインで30分から対応しています。

ブランドリフトという数字は、何を指しているのか

ブランドリフトという言葉は、社内で二つの意味で使われています。
どちらの意味で話しているかが揃っていないと、議論が噛み合いません。

一つ目は、出稿の前と後で認知率を比べた差です。
この差には、季節の動き、報道、競合の出稿、営業活動の影響がすべて混ざっています。

広告の効果だけを取り出した数字ではありません。
にもかかわらず、社内では広告の成果として報告されることがあります。

二つ目は、接触した群と接触しなかった群の差です。
両方に共通して働く要因が打ち消されるため、接触によって増えた分だけが残ります。

ブランドリフトとして予算の判断に使えるのは、こちらの差です。
前者を使うと、広告以外の要因で動いた分まで広告の成果として計上します。

測る対象も、認知の水準だけではありません。
覚えているか、内容を理解しているか、候補として考えるか、人に勧めるか。

この階層ごとに差を取ります。
階層を分けずに認知だけを測ると、投資の効き方が見えません。

リフトとして測る対象の階層

階層によって、必要な出稿の量と期間が変わります。
補助想起は数週間の出稿でも動きます。

非助成想起と検討の意向は、数か月から1年の継続が要ります。
短い期間の測定で非助成想起を指標に置くと、効果がないという結論になります。

この結論が出ると、翌期の予算の議論が難しくなります。
効かなかったのではなく、測る対象と期間が合っていなかっただけです。

この取り違えは、報告の場では見分けがつきません。
効果なしという結論だけが残り、設計の話は議事録に残りません。

どの階層を測るかを、誰が決めるのか

測る階層は、出稿の目的から決まります。
目的を決めるのは、マーケティング責任者と予算を承認する立場の二者です。

新しい市場に入る段階なら、補助想起と内容の理解が対象になります。
名前を知られていない状態から始めるので、非助成想起は当面動きません。

すでに名前が知られている市場で順位を上げる段階なら、非助成想起と検討の意向が対象です。
補助想起はすでに高い水準にあり、そこから動かしても事業の数字に出ません。

この決定を担当者に任せると、測りやすい階層が選ばれます。
測りやすい階層は動きやすい階層でもあるので、報告の数字は良くなり、事業との関係は薄くなります。

対照群を作らない測定が、当てにならないのはなぜか

対照群を用意しない測定は、費用が安く、実施も早く済みます。
その代わり、出た数字を予算の判断に使えません。

混ざるものは、大きく五つあります。
季節の需要、報道や話題、競合の出稿、回答者の構成の差、他部門の活動です。

季節の需要は、需要期に入ると認知が自然に上がります。
検索する人が増え、比較する人が増えるためで、広告とは関係なく動きます。

この影響を外すには、前年の同期と比べる必要があります。
前年の数字がなければ、季節の分を切り分けられません。

報道や話題は、短期に大きく動かします。
自社に関する記事が出た週と、出稿を始めた週が重なっていれば、差の大半は報道によるものかもしれません。

そのため、測定の期間中に起きた報道や話題を記録しておきます。
記録がないと、後から切り分ける手段がありません。

競合の出稿は、自社の認知を下げる方向にも働きます。
同じ枠で競合の露出が増えれば、自社が見られる回数が減ります。

この場合、出稿しているのに認知が横ばい、という結果が出ます。
対照群がなければ、出稿が効かなかったという解釈しか立てられません。

回答者の構成の差も、数ポイントを動かします。
出稿の前と後で、別の人に調査をかけるからです。

属性が少しずれるだけで、認知率は上下します。
出稿の効果と、この揺れを区別する方法がありません。

他部門の活動も混ざります。
営業の訪問、採用の広報、既存顧客の口伝え。

どれも認知を動かしますが、広告の予算とは関係ありません。
それでも前後の差には含まれてしまいます。

差が出なかった場合も、判断ができない

対照群のない測定では、差が出た場合だけでなく、出なかった場合も判断できません。
広告が効かなかったのか、他の要因で下がる分を広告が打ち消したのかが分かりません。

どちらの結論も立てられないまま、翌期の予算の議論に入ることになります。
議論の材料がないので、結論は前年の踏襲か、金額の一律削減になります。

この状態を避ける方法は一つで、測定の設計の段階で対照群を作ることです。
出稿が始まってから作ろうとしても、間に合いません。

費用の差は、対照群の作り方によって変わります。
配信の側で分ける方法なら、追加の費用はほとんどかかりません。

かかるのは、調査を2回に分けて実施する分の費用です。
この額は、対照群を作らずに出した数字が使えなくなる損失より小さくなります。

つまり、対照群を作らない判断は費用の節約になっていません。
測定の費用を全額捨てているのと同じ結果になります。

対照群は、どうやって用意するのか

対照群の作り方によって、測れる範囲と費用が変わります。
どの方法にも制約があるので、目的に合わせて選びます。

配信の側で分ける方法は、一部の対象には広告を出さず、その人たちにも同じ調査をかける形です。
同じ媒体の中で完結するため、実施が早く済みます。

制約は、その媒体の中の効果しか測れないことです。
複数の媒体に出稿している場合、合計の効果は出てきません。

地域で分ける方法は、出稿する地域と出稿しない地域を決めて、両方で同じ調査をかける形です。
テレビ、交通、屋外、ネットをまたいだ合計の効果を測れます。

制約は、地域間の差がもともとあることです。
事前の期間で水準を揃えておかないと、地域差を効果として報告することになります。

時期をずらす方法もあります。
同じ地域で、出稿する期間と出稿しない期間を作って比べる形です。

地域差は消えますが、季節の影響が残ります。
需要の動きが小さい業種でなければ、扱いが難しくなります。

対象の条件で分ける方法は、属性ごとの効き方を見るときに使います。
群の性質が揃いにくいため、単独で効果の判定には使いません。

地域で分ける場合は、事前の期間を必ず確保します。
出稿を始める前の数か月、両方の地域で同じ調査をかけます。

その期間の水準の差を記録しておき、出稿後の差からその分を引きます。
この手順を省くと、もともとの地域差を効果として報告することになります。

事前の期間は、4週間から8週間を見ておきます。
1回の調査だけでは、その時点のぶれと地域差を区別できません。

既製の枠組みで足りるかを先に確認する

地理的な実験の枠組みは、自社で一から組む必要がないこともあります。
Googleが提供しているオープンソースのマーケティング効果測定の枠組みとして、Meridianがあります。

地域単位の実験に対応するMeridian GeoXも近日公開とされています。
自社で設計を組む前に、こうした既存の枠組みで足りるかを確認します。

確認するのは、必要な入力のデータが自社で揃うかどうかです。
地域別の出稿額と、地域別の成果の数字が同じ期間で揃っていないと、枠組みがあっても動きません。

揃っていない場合は、揃える作業が最初の投資になります。
測定の設計より先に、記録の粒度を地域別に変える判断が要ります。

この判断は、マーケティング部門だけでは完結しません。
成果の記録は営業や受注の管理側にあり、粒度の変更にはその側の作業が発生します。

そのため、測定の計画を立てる会議に、記録を持つ部門を最初から入れます。
後から依頼する形にすると、次の期まで着手できないことがあります。

どの設問でリフトを取るのか

設問の作り方で、出る数字が変わります。
社内で比較を続けるなら、文言を固定します。

順番の設計が最初の分かれ目になります。
名前を見せずに思い浮かぶものを答えてもらう設問を、最初に置きます。

先に選択肢を見せてしまうと、その後の非助成想起が測れなくなります。
見せられた名前が記憶に入り、思い浮かんだのか見たのかを区別できなくなるためです。

順番を変えると、過去の数字と比較できません。
一度決めた順番は、期をまたいで固定します。

次の分かれ目は、何と結びつけて聞くかです。
名前を知っているかだけを聞くと、用途と結びついていない認知も拾います。

どの場面で使うものかを含めた設問にすると、検討につながる認知だけを取り出せます。
この差は、数字の水準としても数ポイントから十数ポイント出ます。

設問の階層と、出稿から動くまでの期間

この表のうち、接触の記憶だけは性質が違います。
広告を見た記憶があるかは、配信が届いたかの確認に使う数字です。

この数字が高くても、想起や検討が動いたことにはなりません。
到達の確認と効果の測定を分けて報告します。

分けずに報告すると、到達率の高さが成果として読まれます。
届いたことは支払った対価であって、得られた結果ではありません。

設問の文言も、期をまたいで固定します。
言い回しを少し変えるだけで、数ポイントの差が出ます。

変えるなら、過去の測定も同じ文言でやり直すか、変更した時点を記録して前後を分けて扱います。
記録せずに変えると、変更の前後の比較が成立しなくなります。

設問の数を増やさない

設問を増やすと、後半の回答の質が落ちます。
途中で離脱する人も増え、最後まで答えた人だけの偏った集計になります。

そのため、階層ごとに一問ずつという上限を最初に置きます。
追加で聞きたい項目が出たら、次回の測定に回します。

属性の設問も最小限にします。
集計で分ける必要がある項目だけを残し、参考のために聞く項目は落とします。

この判断は、測定を発注する前に社内で済ませておきます。
発注後に部門から追加の要望が入ると、設問が増えて質が落ちます。

要望が入りやすいのは、他部門が同じ調査に相乗りしようとする場合です。
相乗りは費用の面では合理的に見えますが、リフトの測定としては精度を落とします。

別の目的の設問が必要なら、別の調査として実施します。
一つの調査で二つの目的を満たそうとすると、どちらの結論も弱くなります。

何ポイント動けば、意味があると言えるのか

出た差が小さいとき、効果があったのかなかったのかで議論になります。
判定の基準は、測定を始める前に決めておきます。

基準を後から決めると、出た数字に合わせた基準になります。
差が小さければ基準が下がり、大きければ上がります。

標本が少ないと、誤差の幅が大きくなります。
誤差の幅より小さい差は、あってもなくても判別できません。

そのため、測りたい差の大きさから必要な標本の数を逆算します。
逆算せずに標本の数を決めると、測定の後で判定できないことが分かります。

数字は説明のための仮の値です。
補助想起が接触群で32%、非接触群で28%なら差は4ポイントですが、誤差の幅が片側3ポイントずつあるなら、この差を効果として報告することはできません。

対象を層に分けて見る場合は、必要な標本がさらに増えます。
全体で見れば差が出なくても、特定の層では差が出ることがあります。

層ごとに見るなら、層ごとに必要な標本を確保します。
全体の標本を後から分割すると、各層の誤差が大きくなりすぎます。

確認する項目は五つです。
標本の数、誤差の幅、事前の水準、測定の期間、回答の質です。

標本の数は、層ごとに必要数を確保できているかで見ます。
確保できていないなら、層別の集計は諦めます。

事前の水準は、両群が揃っているかで見ます。
揃っていないなら、出稿後の差から事前の差を引きます。

測定の期間は、測る階層に応じた長さがあるかで見ます。
足りていないなら、早く動く階層だけで判断します。

回答の質は、途中の離脱が少ないかで見ます。
多いなら、設問数を減らして再度実施します。

小さい差を積み上げて報告しない

各階層で誤差の中に収まる小さい差を並べて、全体として効果があったと報告する形があります。
この報告は、次の判断に使えません。

積み上げて示された差は、どの項目が動いたのかを特定できません。
特定できないと、次に何を変えればよいかも出てきません。

判定できなかった項目は、判定できなかったと書きます。
書いておくと、次回の測定で標本を増やすか対象を絞るかの判断につながります。

この書き方は、報告する側にとっては不利に見えます。
そのため、判定できなかった項目の扱いを、測定の前に合意しておく必要があります。

合意の内容は、判定できなかった場合に予算を止めるのか、標本を増やして再測定するのかです。
ここを決めずに測定に入ると、結果が出た後に解釈の交渉が始まります。

リフトの数字を、売上の話にどうつなぐのか

決裁の場で問われるのは、そのポイントの上昇がいくらの事業価値になるかです。
リフトの数字を単独で出すと、この問いに答えられません。

答えられないまま金額を要求すると、判断は前年の踏襲になります。
踏襲された金額は、事業の状況が変わっても動きません。

つなぎ方は、三つの数字を同じ時間軸で並べることです。
想起の水準、指名の量、獲得の単価の三つです。

この三つは、順番に動きます。
想起が上がった数か月後に指名が増え、その後に獲得の単価が下がります。

並べるときは、時期のずれを織り込みます。
同じ月で比べると、関係がないように見えます。

段階ごとの遅れは、次のように見ておきます。
到達した人数と頻度は出稿中に出ます。

補助想起の上昇は、出稿から1か月から3か月後に出ます。
非助成想起の上昇は、6か月から1年後です。

指名の検索や直接の来訪の量は、3か月から9か月後に動きます。
獲得の単価と新規の比率は、6か月から1年後です。

一度の測定では、この関係は示せません。
同じ設計で数回繰り返して初めて、どのくらいの想起の上昇がどのくらいの指名の増加に対応するかが見えます。

繰り返すには、設計を変えないことが条件になります。
毎回設計を変えると、回数を重ねても関係は出てきません。

つながらない場合に、どこを疑うか

想起は上がったのに指名が増えないとき、覚えられた内容が用途と結びついていない可能性があります。
社名は知られたが、何を頼める会社かが伝わっていない状態です。

この場合、出稿の量を増やしても指名は増えません。
伝える内容を変える判断が要ります。

指名は増えたのに受注が増えないなら、指名で来た人の受け皿に問題があります。
着地するページ、問い合わせへの初動、営業の対応のいずれかです。

どちらの場合も、広告の量の問題ではありません。
量の議論に戻すと、費用だけが増えて同じ結果になります。

切り分けの順番は、まず指名の量を見ることです。
指名が増えていなければ内容の問題、増えているなら受け皿の問題になります。

この切り分けができると、次に手を入れる部門が決まります。
決まらないまま報告すると、議論はもう一度予算の額に戻ります。

測定で起きやすい間違いは、どこにあるのか

測定の設計そのものより、報告の段階で起きる取り違えのほうが影響が大きいことがあります。
設計が正しくても、読み方が違えば判断は誤ります。

最も多いのは、前後の差だけを見る形です。
効果があったように見えますが、他の要因と区別できません。

次が、接触の記憶を効果として報告する形です。
高い数字が出ますが、言えるのは届いたということだけです。

三つ目が、後から対照群を作る形です。
出稿が終わってから、接触しなかった人を集めて調査をかけます。

この場合、接触した人と接触しなかった人の性質が最初から違います。
広告が届きやすい人は、その媒体をよく使う人であり、もともと関心が高いことがあります。

大きな差が出やすい形ですが、その差が広告によるものかは分かりません。
群の性質の差を効果として報告している可能性が残ります。

四つ目が、差の出た層だけを報告する形です。
複数の層で測定して、差が出た層だけを取り出します。

層の数を増やせば、偶然差が出る層が必ず現れます。
どの層を見るかは、測定の前に決めておきます。

五つ目が、短い期間で非助成想起を判定する形です。
動かないという結果が出ますが、期間が足りていないだけです。

この結果を受けて出稿を止めると、あと数か月で出たはずの変化を捨てることになります。
階層ごとの期間を先に共有していれば、この判断は起きません。

測定の設計を外部に任せる場合に確認すること

外部に任せる場合は、四つを提案の段階で文書にしてもらいます。
対照群の作り方、標本の数、設問の文言、判定の基準です。

実施の後に基準を決める進め方だと、都合のよい解釈が入ります。
提案の段階で書かれていないなら、書いてもらってから発注します。

あわせて、判定できなかった場合の報告のしかたも決めます。
判定できなかったと書ける契約になっていないと、無理な解釈が報告書に入ります。

この確認を行うのは、マーケティング責任者です。
担当者に任せると、提案の比較が金額と納期だけになります。

金額と納期だけで選ぶと、対照群を作らない提案が最も安く見えます。
安い提案を選んだ結果、判断に使えない数字に費用を払うことになります。

測定を始めるまでの段取りを、どう組むのか

測定の可否は、出稿の前の数か月で決まります。
出稿の予算が承認された後に設計を始めると、事前の期間が取れません。

測定を組むまでの工程

この6工程は、着手から出稿の開始までで3か月前後が目安になります。
期初から出稿するなら、前の期の第4四半期には1を始めます。

測りたい階層は、一つに絞ります。
全部の階層を同じ精度で測ろうとすると、標本も費用も膨らみます。

今回の出稿で動かしたい階層を一つ決め、そこに標本を寄せます。
他の階層は参考値として取り、判定には使いません。

事前の水準を取る4週間は、削らないようにします。
この期間を削ると、地域や群の差を補正できなくなります。

補正できないということは、出た差の解釈が一つに決まらないということです。
測定全体の価値が、この4週間で決まります。

出稿を始めたあとに見る指標

報告の形も、測定を始める前に決めます。
どの数字を、どの単位で、誰に報告するかです。

先に決めておくと、結果が出た後に都合のよい切り口を探す作業が起きません。
探す作業が始まると、報告の期日が延び、判断の時期も後ろにずれます。

測定の結果は、数字だけでなく設計と一緒に保管します。
設問、標本、期間、群の作り方を、結果の数字と同じ場所に残します。

次回の測定で同じ設計を再現できないと、期をまたいだ比較ができません。
比較できなければ、想起と事業の数字の関係もいつまでも出てきません。

ブランドリフトの測り方で判断に迷う場合は、無料相談で現状の測定の設計を見てもらうところから始められます。
出稿の設計ごと見直す段階ならWeb集客改善サービスもあります。

よくある質問

まとめ