ROAS 500%でも、広告が売上を生んだとは限らない——「手柄」と「仕事」を分けて測る

広告管理画面を開く。

広告費は 10 万円。広告経由売上は 50 万円。ROAS は 500%。

数字だけを見れば、広告は成功している。

では、その 50 万円は本当に広告が生んだ売上なのだろうか。

広告をクリックしたあとに買った人の中には、広告がなくても買っていた人がいる。ブランド名を検索

した人、すでに商品をカートへ入れていた人、何度も買っている既存客。彼らの購入は広告の近くで起

きたが、広告によって新しく生まれたとは限らない。

ここで混ざりやすい二つの問いがある。

「どの広告のあとに売れたか」と、「広告がなければ、その売上は消えていたか」。

前者は帰属の問いで、後者は因果の問いである。

デジタル広告は、前者を非常に細かく記録できるようになった。その結果、私たちは後者まで分かった

ような感覚を持ちやすくなった。

しかし、記録の解像度が上がることと、原因が分かることは同じではない。

FORWARD BASIS では、この違いを「広告の手柄」と「広告の仕事」の違いとして考える。

管理画面は、どの広告に成果の手柄をつけるかを決める。

経営が知りたいのは、その広告が実際にどんな仕事をしたかである。

クリックと購買意欲は、最初から独立していないこの問題を強く示した研究の一つが、eBay で行われた大規模な検索広告実験である。

Thomas Blake、Chris Nosko、Steven Tadelis は、検索広告を一部の地域で停止し、広告が出る地域と

出ない地域の購買行動を比較した。

通常の観察データでは、検索広告をクリックした人は多く買っている。そこだけ見れば広告が強く効い

ているように見える。

ところがランダム化に近い実験で「広告がなかった世界」と比べると、推定される効果は大きく縮ん

だ。

特に eBay というブランド名に関する検索広告では、短期売上への測定可能な増分効果は確認されな

かった。非ブランド検索では、新規・低頻度ユーザーにはプラスの反応が見られた一方、広告費の多く

を占める高頻度ユーザーの購買行動はほとんど変わらず、平均的なリターンはマイナスだったと報告さ

れた。[1]

この結果を「検索広告は意味がない」と読むのは誤りである。

eBay はすでに高い認知を持つ巨大プラットフォームだった。競合によるブランドキーワード出稿、検

索結果上の利便性、長期効果など、実験が直接測っていない価値もある。

研究が示したのは、もっと限定的で重要なことだ。

広告に接触した人は、広告がなくても買いやすい人である可能性がある。

広告接触と購買が強く結びついていても、それだけでは広告による増分を意味しない。

データが増えても、観察だけでは因果が戻らないことがある「昔の研究だからではないか。今なら顧客データが豊富なので、統計的に補正できるのではないか」。

その反論を考える材料になるのが、Brett Gordon、Florian Zettelmeyer らの 2019 年の研究である。

研究チームは Facebook 上で行われた 15 件の米国広告実験を用い、ランダム化実験で得た結果と、一

般的な観察データの手法で得た推定を比較した。

データ規模は約 5 億のユーザー×実験観測、16 億インプレッションに達した。人口統計や行動データを

豊富に持つ環境で、複数のマッチング・回帰手法も試された。

それでも観察的な推定は、ランダム化実験の結果をしばしば再現できなかった。[2]

これは「統計手法は役に立たない」という話ではない。

問題は、広告を見る人と見ない人の違いの中に、データで完全に観察できない要因が残ることにある。

例えば、今まさにその商品を必要としている。給料日が来た。友人から勧められた。競合と比較してい

る。広告配信アルゴリズムが、反応しそうな人を選んでいる。

広告を見る確率そのものが購買意欲と結びついていれば、広告接触者と非接触者の差をどれだけ細かく

比較しても、広告の効果と「もともとの買いやすさ」が混ざる。

データが多いことと、反実仮想があることは違う。

実験をすれば、答えがきれいに出るわけでもないここで反対側へ行くのも危険である。

「それなら全部 A/B テストすればいい」。

広告の因果効果は、実験でも測りにくい。

Randall Lewis と Justin Rao は、米国の大手小売・金融企業などが実施した 25 件の大規模広告実験を

分析した。多くは数百万人規模で、広告費は合計 280 万ドルだった。

それでも ROI 推定の信頼区間は広く、中央値で 100 パーセントポイントを超えていた。[3]

理由は単純である。

人の購買額は非常にばらつく。一方、一人あたりに広告が生む増分は小さい。

ノイズが大きく、信号が小さい。

数百万人を対象にしても、「ROI は確実にプラス」と言えないことがある。

マーケティングでは、数字が小数点まで表示されると精密に見える。

だが、推定値が 125%と表示されることと、真の ROI を 125%付近まで正確に知っていることは別であ

る。

不確実性の幅も、測定結果の一部である。

それでも、広告は実際に行動を変えるここまで読むと、「広告なんて測れないのではないか」という結論にも行ける。

それも違う。

Garrett Johnson、Randall Lewis、Elmar Nubbemeyer は、広告を見たはずの人に対応する比較対象を

実験内で作る「Ghost Ads」という方法を提案した。

オンライン小売企業のリターゲティング施策では、広告によりウェブサイト訪問が 17.2%、購入が

10.5%増えたと推定された。[4]

つまり、リターゲティングだから全部「もともと買う人を追いかけているだけ」でもない。

広告は本当に行動を変えうる。

問題は、広告を見た人が買ったという事実だけで、その変化量を知ったことにしないことである。

広告には、少なくとも三つの仕事があるここからは、研究結果そのものではなく、FORWARD BASIS の整理である。

広告経由売上を一つの箱に入れず、その広告が需要に対して何をしたかを三つに分ける。

1. 需要捕捉すでに存在していた購買意向を、購入まで運ぶ。

ブランド名検索、指名検索、既存顧客へのリターゲティングなどが典型である。

捕捉は価値が低いという意味ではない。

競合へ流れるのを防ぐ。公式サイトを見つけやすくする。購入の摩擦を減らす。

ただし、捕捉した売上をすべて「広告が新しく作った売上」と考えると、増分を過大評価しやすい。

2. 需要創出広告がなければ起きなかった認知・検討・購入を生む。

新しいブランドを知る。必要性に気づく。比較対象へ入る。購入時期が前倒しになる。

ここでは広告と購入の間が遠くなりやすい。

そのため、ラストクリック型の評価では成果が小さく見える可能性がある。

3. 需要移動売上そのものを増やすのではなく、すでに存在する需要を別の場所へ動かす。

オーガニック検索から有料検索へ移る。実店舗購入が EC へ移る。別商品の購入が広告商品へ移る。来

月買うはずだった人が今月買う。

こうした移動は、広告管理画面上では新しい成果として見えることがある。

しかし企業全体では、売上が増えていない場合もある。

この三分類は研究で標準化された指標ではない。広告の「手柄」と経済的な「仕事」を分けるための編

集フレームである。

重要なのは、捕捉・創出・移動を良し悪しで並べないことだ。

広告の目的によって、必要な仕事が違う。

高 ROAS は「強い広告」ではなく、「買う人に近い広告」かもしれないブランド名を検索した既存顧客へ広告を出す。

成約率は高い。

クリック単価も管理できている。

ROAS は 1000%を超える。

一方、ブランドを知らない新規顧客へ動画広告を出す。

その場では買わない。

数日後に口コミを見る。さらに後で検索する。最後にブランド名検索から購入する。

管理画面上では、最後の検索広告が売上の手柄を取るかもしれない。

このとき、ROAS が高い広告は「最も価値を生んだ広告」ではなく、購買意思決定の最終地点に最も近

い広告である可能性がある。

逆に、需要創出広告を無条件に正当化してもいけない。

「上流だから測れない」は、効果のない広告を守る便利な言葉にもなる。

必要なのは、広告の役割に合った反実仮想を用意することだ。

広告は、良い商品を増幅することもある広告効果は、広告クリエイティブだけでは決まらない。

Weijia Dai、Hyunjin Kim、Michael Luca は Yelp と共同し、18,294 のレストランを対象に大規模な

フィールド実験を行った。7,209 店舗へ 3 か月間、標準広告パッケージを無償提供した。

広告を受けた店舗では、複数の購買意向指標が平均 7〜19%増え、レビュー数も 5%増えた。

ただし効果は均一ではなく、独立系、高評価、レビュー数が多い、実験前からオーガニック流入が多い

店舗ほど大きな利益を得る傾向があった。[5]

これは広告の役割を考えるうえで示唆的である。

広告は、存在しない魅力を魔法のように作る装置とは限らない。

すでに良い評価を持つ商品・店舗へ注意を運び、その価値を増幅する場合がある。

広告の成果が弱いとき、ターゲティングやクリエイティブだけを直しても解決しないことがある。

広告の先にある商品、評判、レビュー、価格、購入体験が「増えた注意を受け止められる状態か」も測

定対象になる。

FORWARD BASIS の提案：「手柄の台帳」と「増分の台帳」を分ける日々の運用では、アトリビューションを捨てる必要はない。

どの広告でクリックが起き、どのクリエイティブで購入されたかは重要な運用情報である。

ただし、予算判断では別の台帳を持つ。

手柄の台帳ここには、管理画面で観測できる数字を書く。

 インプレッション  クリック  広告経由コンバージョン  CPA  ROAS  チャネル別売上

これは「何が広告の近くで起きたか」を記録する。

増分の台帳こちらには、「広告がなければ何が違ったか」を書く。

 広告なし群との差  地域・期間ホールドアウトとの差  新規と既存の効果差  他チャネルからの移動可能性  利益ベースの増分  推定値の不確実性

この二つを混ぜない。

ROAS が高くても、増分が小さいなら「捕捉として優秀」という評価があり得る。

ROAS が低くても、増分新規顧客が多く、その後の継続利益まで含めると投資価値があるかもしれな

い。

一つの数字で広告の価値を決めるのではなく、広告がどの仕事をしているかを先に決める。

予算会議で確認する五つの問い広告を増やす前に、五つだけ確認する。

1. この広告の主な仕事は、捕捉・創出・移動のどれか。

複数でもよい。ただし、何を期待しているかを言葉にする。

2. 管理画面の成果のうち、広告がなくても起きた可能性が高いものは何か。

特にブランド検索、既存顧客、カート離脱直後などでは強く疑う。

3. 広告を止めた比較対象を作れるか。

顧客、地域、期間など、一部をホールドアウトできるなら因果推定へ近づく。

4. 売上が増えたのか、場所や時期が移ったのか。

他チャネル、別商品、購入時期とのカニバリゼーションを見る。

5. 推定が間違っていても、この予算判断は成立するか。

効果推定に幅があるなら、中心値だけで最大投資額を決めない。

実験にも限界があるランダム化実験を万能視しない。

短期の売上実験では、ブランド認知や数か月後の購買を拾えないことがある。

広告停止が競合広告の存在によって違う結果を生む場合もある。

小規模企業では必要サンプルを確保できないこともある。

プラットフォーム外の行動が観測できなければ、オンライン上の増分しか分からない。

だから「実験できないから測れない」で終わるのではなく、どの範囲まで因果的に言えるかを明示す

る。

観察データしかなければ、「広告効果」ではなく「広告接触者の購買」と呼ぶ。

実験で短期購入だけ測ったなら、「短期購入への増分」と呼ぶ。

測れたものより大きな言葉を使わない。

それだけで、マーケティングの数字はかなり誠実になる。

管理画面は、広告の価値を測る装置ではなく、成果を配賦する装置でもある広告管理画面は必要である。

ただし、それは企業全体の経済価値を自動的に判定する装置ではない。

どの成果をどの広告へ帰属させるかというルールを持った、ひとつの会計方式でもある。

その数字を見て、

「この広告が 50 万円売った」

と読むか、

「この広告の近くで 50 万円の売上が観測された。広告が新しく生んだ部分は別に確かめる」

と読むか。

この差は小さく見える。

だが予算が大きくなるほど、企業の学習はまったく違うものになる。

広告の評価で最も危険なのは、数字がないことではない。

別の問いに答えている数字が、欲しかった答えに見えることだ。

次に ROAS を見るとき、数字を疑う必要はない。

意味を一つだけ足す。

この売上のうち、広告がなければ消えていたものはどれだけか。

その問いから、広告の「手柄」ではなく「仕事」の測定が始まる。

Sources[1] Thomas Blake, Chris Nosko, Steven Tadelis, “Consumer Heterogeneity and Paid Search Effectiveness: A Large-Scale Field Experiment,” *Econometrica* 83(1), 2015. DOI: https://doi.org/10.3982/ECTA12423

[2] Brett R. Gordon, Florian Zettelmeyer, Neha Bhargava, Dan Chapsky, “A Comparison of Approaches to Advertising Measurement: Evidence from Big Field Experiments at Facebook,” *Marketing Science* 38(2), 2019. DOI:https://doi.org/10.1287/mksc.2018.1135

[3] Randall A. Lewis, Justin M. Rao, “The Unfavorable Economics of Measuring the Returns to Advertising,” *Quarterly Journal of Economics* 130(4), 2015. DOI: https://doi.org/10.1093/qje/qjv023

[4] Garrett A. Johnson, Randall A. Lewis, Elmar I. Nubbemeyer, “Ghost Ads: Improving the Economics of Measuring Online Ad Effectiveness,” *Journal of Marketing Research* 54(6), 2017. DOI: https://doi.org/10.1509/jmr.15.0297

[5] Weijia Dai, Hyunjin Kim, Michael Luca, “Frontiers: Which Firms Gain from Digital Advertising? Evidence from a Field Experiment,” *Marketing Science* 42(3), 2023. DOI: https://doi.org/10.1287/mksc.2023.1436