インクリメンタリティとは
インクリメンタリティ（増分効果）とは、広告によって「純粋に増加した」成果のことです。管理画面のコンバージョン数には、広告がなくても発生していた分が含まれています。その差分だけを抽出して評価する考え方がインクリメンタリティです。
たとえば広告経由で200件のCVを計測したとします。そのうち120件は広告がなくてもオーガニック検索やブックマークで発生していた場合、広告の純増効果は80件です。この80件がインクリメンタルCVです。
管理画面のCPAが5,000円でも、インクリメンタルCPAで計算すると12,500円になることがあります。どちらの数字で判断するかによって、予算配分の意思決定は大きく変わります。
なぜアトリビューションだけでは不十分か
アトリビューションモデルは「CVに至る経路のどの接点に成果を配分するか」を決める手法です。ラストクリック、データドリブンなど複数のモデルがありますが、いずれも共通した限界を抱えています。
因果関係と相関関係の混同
アトリビューションが計測するのは「広告接触後にCVしたかどうか」です。「広告のおかげでCVした」かどうかは判定できません。ユーザーが広告をクリックした後にCVしても、広告がなくてもCVしていた可能性があります。
指名検索広告が典型例です。自社ブランド名で検索するユーザーは購入意向がすでに高い状態です。指名検索広告がCVを獲得しているように見えても、広告停止後にオーガニック検索でCVが維持されるなら、広告の純増効果は限定的です。
セルフセレクションバイアス
リターゲティング広告も同様の問題を抱えます。サイト訪問済みのユーザーはもともとCVする確率が高い層です。リターゲティング広告でCVしたユーザーの多くは、広告がなくても再訪してCVしていた可能性があります。アトリビューションモデルはこうしたバイアスを補正できません。
クロスチャネルの二重計上
GoogleとMetaの両方で広告を配信している場合、同一ユーザーのCVが各プラットフォームで重複してカウントされることがあります。アトリビューションは各プラットフォーム内で完結するため、全体の純増効果を正確に把握するのは困難です。
これらの限界を克服するには「広告がなかった場合」を再現し、比較する手法が必要です。それがインクリメンタリティ測定です。
リフトテストの仕組み
インクリメンタリティ測定の最も信頼性の高い方法が、リフトテスト（ランダム化比較試験）です。
ユーザーをランダムに2群に分割します。テスト群には通常どおり広告を配信し、コントロール群（ホールドアウト群）には広告を配信しません。両群のCV率を比較し、その差分がインクリメンタルリフトとなります。
ランダム分割により2群の属性が均質になるため、観測された差を広告の因果効果として解釈できます。これがアトリビューションとの最大の違いです。
Googleのコンバージョンリフト測定
Google広告ではコンバージョンリフト測定が提供されています。Googleが内部でユーザーをランダムに分割し、テスト群にのみ広告を配信します。
利用条件
コンバージョンリフト測定は、すべてのアカウントで即座に利用できるわけではありません。一定の出稿規模が求められます。利用可否はGoogle広告のアカウント担当者またはサポートに確認してください。
設定のポイント
- テスト対象: キャンペーン単位またはアカウント全体で設定可能です
- 期間: 最低2週間を推奨します。短すぎるとサンプル不足になります
- 計測指標: コンバージョン数のリフト、CVR（コンバージョン率）のリフトが算出されます
- ホールドアウト比率: Google側が自動で最適な比率を設定します
テスト期間中はキャンペーンの入札戦略や予算を変更しないでください。途中で設定を変えると結果の解釈が困難になります。
Metaのコンバージョンリフトテスト
Meta広告マネージャの「テスト」セクションからコンバージョンリフトテストを設定できます。
テストの種類
- コンバージョンリフト: 広告配信群とホールドアウト群のCV数を比較します
- ブランドリフト: 広告接触群と非接触群のブランド認知・検討意向を比較します（本記事では対象外）
設定手順
- 広告マネージャの「テスト」メニューから「コンバージョンリフト」を選択
- テスト対象のキャンペーンまたは広告セットを指定
- テスト期間を設定（推奨: 4週間以上）
- ホールドアウト比率を設定（通常10〜20%）
- テストを開始し、期間終了後に結果を確認
結果の見方
テスト完了後、以下の指標が表示されます。
- インクリメンタルCV数: テスト群とコントロール群のCV数の差分
- リフト率（%）: コントロール群に対する増加率
- インクリメンタルCPA: 広告費 / インクリメンタルCV数
- 信頼区間: リフト推定値の上限と下限
信頼区間が0をまたいでいる場合、統計的に有意なリフトが検出されていません。サンプルが不足している可能性があります。
テスト設計の要点
リフトテストの精度は設計段階で決まります。以下の要素を事前に検討してください。
テスト対象の選定
インクリメンタリティが疑われるキャンペーンから始めるのが効果的です。以下のような施策はインクリメンタリティが低い可能性があり、テストの優先度が高いです。
- 指名検索キーワードの広告
- サイト訪問者への一般的なリターゲティング
- すでにCV率が高い顕在層向けキャンペーン
逆に、認知目的の動画広告やプロスペクティング配信はインクリメンタルリフトが高い傾向にあります。
ホールドアウト比率
ホールドアウト比率（コントロール群の割合）は、テストの検出力と機会損失のバランスで決めます。
- 5〜10%: 機会損失は小さいが、検出力が低い。大規模アカウント向き
- 10〜20%: 標準的な設定。多くのケースで推奨
- 20〜30%: 検出力は高いが、機会損失が大きい。短期テスト向き
月間CV数が少ないアカウントではホールドアウト比率を大きめに設定し、検出力を確保する必要があります。
テスト期間
最低2週間、理想的には4週間を確保してください。期間が短いと以下の問題が起きます。
- 曜日や週ごとの変動による偏りが排除しきれない
- サンプル数が不足し、統計的に有意な結果が得られない
- CVまでのリードタイムが長い商材では効果が過小評価される
テスト期間中に大型セールやキャンペーンの変更を重ねないことも重要です。
必要なサンプルサイズ
統計的に有意なリフトを検出するには、十分なサンプルサイズが必要です。必要なサンプルサイズは「ベースラインCV率」「検出したいリフトの大きさ」「有意水準」「検出力」で決まります。
目安の計算
おおまかな目安として、以下の式が参考になります。
1群あたりの必要サンプルサイズ (n):
n = 16 x p x (1 - p) / d^2
- p: ベースラインCV率（コントロール群の想定CV率）
- d: 検出したい最小リフト（絶対差）
たとえばベースラインCV率が2%（p = 0.02）で、1%ポイントのリフト（d = 0.01）を検出したい場合、1群あたり約3,136人が必要です。ホールドアウト比率10%なら、全体で約34,800人のユーザーベースが求められます。
実務での判断基準
| 月間CV数 | テストの実現性 | 推奨アプローチ |
|---|---|---|
| 1,000件以上 | プラットフォームのリフトテストが実施可能 | Metaコンバージョンリフト、Googleリフト測定 |
| 300〜1,000件 | リフトテストは可能だが、検出力に注意 | ホールドアウト比率を大きめに設定 |
| 100〜300件 | プラットフォームのリフトテストは困難 | 地域テストまたはCausalImpactで代替 |
| 100件未満 | 統計的なテストは難しい | 定性的な評価と組み合わせる |
月間CV数が少ない場合は無理にリフトテストを実施せず、後述の代替手法を検討してください。
結果の解釈
テスト結果は以下の指標で評価します。
インクリメンタルリフト率
リフト率（%）= (テスト群CV率 - コントロール群CV率) / コントロール群CV率 x 100
リフト率が20%であれば、広告によってCVが20%純増したことを意味します。
インクリメンタルCPA
インクリメンタルCPA = テスト期間の広告費 / インクリメンタルCV数
管理画面のCPAと比較して、実質的な獲得効率を評価します。
統計的有意性の確認
p値が0.05未満（95%信頼水準）であれば、統計的に有意なリフトが検出されたと判断できます。信頼区間の下限が0を超えていることも確認してください。
リフトが検出されなかった場合、2つの可能性があります。
- 本当に増分効果がない: 広告のインクリメンタリティが低い
- 検出力が不足している: サンプル不足で差を検出できなかった
この2つを区別するため、テスト前に検出力分析を行い、十分なサンプルが確保できているかを確認することが重要です。
運用メモ リフトテストの最初の対象としては「指名検索キーワード」が取り組みやすいです。指名検索を2〜4週間停止し、オーガニック検索でどの程度CVがカバーされるかを確認します。広告費に占める指名検索の比率が高いアカウントほど、インパクトの大きい発見が得られます。停止前後でオーガニック流入の変化もあわせてモニタリングしてください。
簡易的な代替手法
プラットフォームのリフトテスト機能が利用できない場合や、月間CV数が少ない場合に活用できる代替手法を紹介します。
地域テスト（Geo Lift）
特定の地域で広告を配信し、別の地域では配信を停止することで、地域間のCV数の差からインクリメンタル効果を推定します。
地域テストの手順:
- 地域ペアの選定: 人口規模、過去のCV数、経済特性が類似した地域を選びます。都道府県単位または都市圏単位で分割するのが一般的です
- 配信設定: テスト地域では通常どおり広告を配信し、コントロール地域では配信を停止します
- 期間: 最低4週間を確保します
- 効果測定: CausalImpactやDID（差分の差分法）で2地域間の差を統計的に検証します
地域テストの利点は、プラットフォームに依存しない点です。GoogleとMetaの広告を同時に停止するなど、複数媒体を横断した検証ができます。
一方で、地域間の特性の違いが結果に影響するリスクがあります。テスト前の期間で両地域のトレンドが並行していることを確認してください。
オン/オフテスト
特定のキャンペーンを一定期間停止し、停止前後のCV数を比較する方法です。テスト設計が最もシンプルで、小規模なアカウントでも実施できます。
ただし、季節要因や競合の動きなど外部要因の影響を分離できないため、信頼性はリフトテストより劣ります。CausalImpactを使って「停止しなかった場合」の予測値と実績を比較すると、精度を高められます。
予算増減テスト
完全なオン/オフではなく、予算を大幅に増減させることで効果の変化を観測する方法です。予算を50%削減しても成果がほぼ変わらなければ、インクリメンタリティが低い可能性があります。
完全停止に比べて機会損失のリスクを抑えられるため、ビジネスへの影響を最小化しつつテストしたい場合に有効です。
運用メモ 地域テストを設計する場合、Googleのオープンソースツール「GeoLift」が参考になります。最適な地域ペアの選定とリフトの統計検定をサポートする設計になっています。また、テスト結果の分析にはCausalImpactやDIDを組み合わせることで信頼性が高まります。
テスト結果の活用
インクリメンタリティの測定結果は、以下の意思決定に直結します。
予算配分の最適化
インクリメンタルCPAが低い（純増効率がよい）チャネルに投資を集中させ、インクリメンタルCPAが高いチャネルの予算を見直します。管理画面のCPAが低くても、純増効果が小さいチャネルは過大評価されている可能性があります。
指名検索広告の判断
指名検索のインクリメンタリティが低い場合、その予算をファネル上部の認知施策に振り向けることで、全体の純増効果を高められる可能性があります。ただし指名検索に競合が出稿している場合は、防衛的な意味で継続する判断もあり得ます。
MMMとの併用
MMMのモデルをインクリメンタリティテストの結果で校正（キャリブレーション）することで、推定精度を高められます。MMMで算出したチャネル別のインクリメンタルCPAと、リフトテストの結果を照合し、乖離が大きい場合はモデルの再構築を検討します。
注意点と限界
ホールドアウトによる機会損失があります。コントロール群には広告を配信しないため、その分の潜在的なCVを見送ることになります。テスト期間とホールドアウト比率のバランスを事前に検討してください。
結果は時点の市場環境に依存します。テスト時期の季節性、競合状況、市場トレンドに影響されます。1回のテスト結果を絶対視せず、定期的に再テストすることが望ましいです。
チャネル間の相互作用は捕捉しにくいです。あるチャネルを停止すると別チャネルの成果に影響することがあります。チャネル単体のテストでは相互作用を把握しきれないため、複合的な評価にはMMMの併用が有効です。
プライバシー規制の影響を受けます。CookieやIDFA制限の強化により、ユーザー単位のリフト測定は今後さらに難しくなる可能性があります。地域テストやアグリゲート型の測定手法の重要性が増しています。