差分の差分法（DID）で広告効果を検証する｜地域テスト・施策評価への応用

DID（差分の差分法）とは

差分の差分法（Difference-in-Differences、DID）は、施策を実施したグループ（処置群）と実施しなかったグループ（コントロール群）の「変化の差分」を比較して因果効果を推定する手法です。

単純な前後比較では、季節性やトレンドなど施策以外の影響を区別できません。また、2群の単純な差の比較では、もともとの水準差を除外できません。DIDはこの2つの問題を同時に解決します。

具体的には「処置群の変化量」から「コントロール群の変化量」を差し引くことで、施策の純粋な効果を取り出します。

広告運用での活用シーン

DIDは以下のような場面で活用されています。

新媒体の追加効果の検証

たとえば「関東エリアで新たにLINEヤフー広告を追加し、関西エリアは従来のGoogle広告＋Meta広告のみで運用を継続する」というテスト設計が可能です。両地域の変化量の差分を比較することで、新媒体の追加効果を推定します。

テレビCM・OOH施策の効果検証

テレビCMを首都圏で放映し、他地域では放映しない場合に、DIDで放映効果を測定できます。オフライン施策の効果はデジタルの計測ツールでは捕捉しにくいため、集計データベースの手法が有効です。

大幅な予算変更の影響測定

特定のキャンペーンで広告費を倍増（または半減）させた場合、その変化がビジネス成果にどう影響したかをDIDで検証できます。全体の予算を変更する前に、限定的な範囲で効果を確認するアプローチです。

DIDの仕組み

DIDの計算は、4つの値を使ったシンプルな構造です。

基本的な考え方

まず、介入前の2群の推移を確認します。処置群とコントロール群が「同じ傾向で推移している」ことが前提条件です。

次に、介入後の変化量を2群それぞれで算出します。

処置群の変化量 = 処置群の介入後 - 処置群の介入前
コントロール群の変化量 = コントロール群の介入後 - コントロール群の介入前

最後に、2つの変化量の差分を取ります。

DID推定量 = 処置群の変化量 - コントロール群の変化量

この差分が、施策による因果効果の推定値となります。コントロール群にも生じた変化（季節性やトレンドの影響）を差し引いているため、施策固有の効果を取り出せるのがDIDの強みです。

数値例

具体的な数値で確認します。

	介入前（4月）	介入後（5月）	変化量
処置群（新媒体追加）	CV 200件	CV 280件	+80件
コントロール群（従来のまま）	CV 180件	CV 210件	+30件

DID推定量 = 80 - 30 = +50件

コントロール群でも+30件の増加がありました。これは季節的な需要増など施策以外の要因と考えられます。処置群の増加+80件からこの分を差し引いた+50件が、新媒体追加による純増効果の推定値です。

平行トレンド仮定

DIDの妥当性は「平行トレンド仮定」に依存しています。

平行トレンド仮定とは、「もし施策を実施しなければ、処置群とコントロール群は同じ傾向で推移していたはず」という仮定です。この仮定が崩れると、DIDの推定値は信頼できません。

検証方法

介入前の期間で、2群が実際に同じ傾向で推移しているかを目視と統計の両面で確認します。

グラフでの確認: 介入前期間の2群の時系列をプロットし、傾きが近いことを確認
統計的な検定: 介入前の各期間で2群のトレンドに有意な差がないことを確認（プラセボテスト）

介入前に2群のトレンドが乖離している場合、DIDの適用は適切ではありません。コントロール群の選定を見直すか、別の分析手法を検討する必要があります。

実施条件と設計上の注意

DIDを適切に実施するために、いくつかの条件と注意点があります。

コントロール群の選定が重要です。処置群と類似した特性を持ち、かつ施策の影響を受けていないグループを選ぶ必要があります。地域テストの場合、人口規模・経済圏・過去の広告パフォーマンスが近い地域をコントロール群に選びます。

スピルオーバー（波及効果）に注意が必要です。処置群への施策がコントロール群にも間接的に影響を与えると、DIDの推定値が歪みます。たとえば、首都圏でテレビCMを流した場合、隣接する地域にも認知効果が波及する可能性があります。

十分な介入前期間が必要です。平行トレンド仮定の検証と、モデルの安定性を確保するために、少なくとも数か月分の介入前データがあることが望ましいです。

他の大きな変化が重ならないことが前提です。施策の実施と同時に価格変更やLP改修を行った場合、効果を分離できません。

Google Geo Experimentsとの関係

GoogleはDIDの考え方をベースにした「Geo Experiments」フレームワークを提供しています。これは地理的な単位（都道府県、DMAなど）を処置群とコントロール群に分割し、広告施策の因果効果を検証するための手法です。

Geo Experimentsは、通常のDIDに加えて、Trimmed Match（マッチングによる地域ペアリング）やTime-Based Regression（時系列回帰）などの改良手法を含んでおり、より頑健な推定が可能です。

大規模な広告投資判断を行う前に、地域限定のテストで効果を確認するアプローチとして、グローバルの広告主を中心に活用が広がっています。

CausalImpact・MMMとの比較

DIDは因果推論手法の一つであり、目的と状況に応じて他の手法と使い分けます。

手法	アプローチ	強み	弱み
DID	2群の変化量の差分を比較	直感的で理解しやすい。実装がシンプル	平行トレンド仮定の検証が必要。サンプルが少ないと検出力が低い
CausalImpact	ベイズ時系列で反事実を推定	コントロール群の設定不要。信頼区間を提示	コントロール系列の質に依存。長期の推定は精度が低下
MMM	回帰モデルでチャネル別貢献度を分解	チャネル横断の予算最適化が可能	大量のデータが必要。個別施策の評価は粗い
A/Bテスト（RCT）	ランダム割り当てで因果効果を測定	因果推論の信頼性が最も高い	ホールドアウトによる機会損失。実施できない場面がある

DIDは「テスト設計時にコントロール群を用意できる場面」に向いています。事前に実験を計画できる場合はDID、事後的に効果を検証したい場合はCausalImpactが選択肢になります。

注意点と限界

DIDには以下の限界があります。

サンプルサイズが小さい場合の検出力不足。地域テストでは、対象地域数が限られるため統計的な検出力が不足しがちです。十分な差がなければ有意な結果が得られません。

平行トレンド仮定の崩れ。経済環境の変化や競合の動きなど、介入期間中に2群のトレンドが乖離する要因が発生した場合、推定結果が歪みます。

外部ショックの影響。自然災害、大規模なニュース、競合の大型キャンペーンなど、予測できない外部ショックが介入期間中に発生すると、DIDの結果は信頼しにくくなります。

こうした限界を理解したうえで、DIDの結果は「意思決定の参考情報」として位置づけ、他の分析手法や定性的な知見と合わせて総合的に判断することが重要です。