この記事でわかること
広告の増分効果を地域テストで測るための実務ガイドです。テスト形式の選び方、地域・KPI・期間の決め方、配信設定、結果の分析と判断まで解説します。
生成AIによる要約
広告を配信した地域の売上が伸びても、その伸びが広告によるものとは限りません。季節性や地域イベント、価格変更なども売上を動かすためです。
地域テストは、広告施策を実施する地域と、比較対象となる地域を分けて効果を測る方法です。ユーザー単位のホールドアウトが難しい場合や、複数媒体を横断した施策を検証したい場合に選択肢になります。
ただし、地域を二つに分ければ検証できるわけではありません。目的、対象地域、KPI、実施期間、配信設定を先に決め、テスト中も設計を保つ必要があります。この記事では、設計から結果の判断までを順に紹介します。
地域テストで何を測るのか
地域テストでは、都道府県や都市圏などの地理的なまとまりを実験単位にします。一部の地域に広告施策を実施し、残りの地域では通常運用を続けるなどして、成果の差を比較します。
個人単位の実験と異なり、広告に接触した人を一人ずつ無作為に分けるのではありません。地域というクラスターを割り当てるため、実験のサンプル数はユーザー数ではなく、独立して割り当てた地域の数が基本です。地域数が少ないと、地域ごとの偶然の差が結果に影響しやすくなります。
地域テストは、設計次第で複数の媒体をまたぐ施策も評価できます。一方、移動や全国配信などを通じて対照地域にも広告の影響が及ぶと、差を捉えにくくなります。
目的に合わせてテスト形式を選ぶ
「どの施策の、どの判断に使う結果が必要か」を先に決めます。広告を追加するのか、既存広告を止めるのか、投資を増やすのかによってテスト形式が異なります。
| 形式 | 地域で行うこと | 答えたい問い |
|---|---|---|
| Holdback（追加施策テスト） | 一部地域だけに新しい媒体、キャンペーン、クリエイティブなどを追加する | 新しい施策を加えると成果が増えるか |
| Go-dark（停止テスト） | 一部地域で対象広告を止め、残りでは通常運用を続ける | 現在の広告が成果にどれだけ貢献しているか |
| Heavy-up（増額テスト） | 一部地域の広告費や入札を増やし、残りは通常運用を続ける | 追加投資で成果がどれだけ増えるか |
Holdbackは、新施策を試すときに向いています。Go-darkは、現在の広告の寄与を確かめたい場合に使います。Heavy-upでは、現在の投資水準からさらに増額したときの限界効果を見ます。
複数形式を一度に比べる設計もあります。ただし、比較するグループが増えるほど、必要な地域数やデータ量、運用の複雑さが増します。まずは意思決定に必要な比較に絞るのが現実的です。
設計は6つのステップで進める
1. 意思決定と対象施策を決める
結果を何の判断に使うのかを明確にします。「広告の効果を知りたい」だけでは、必要なテスト形式やKPIを決められません。
「新しい動画広告を追加するか」「検索広告の投資を増やすか」「現在のキャンペーンを続けるか」など、結果を使う判断を一文で定義します。検証する施策の範囲も固定します。媒体、キャンペーン、対象商品、クリエイティブを曖昧にしたまま始めると、どの施策の効果なのか判別しにくくなります。
2. 主KPIと集計ルールを決める
主KPIは、テスト結果で判断したい事業成果に合わせます。売上、注文数、申込数などが候補です。広告管理画面に表示される媒体帰属コンバージョンだけでなく、地域別に集計できる事業データも検討します。
地域単位、日付のタイムゾーン、成果の計上日、キャンセルや返品の扱いも決めます。指標や集計ルールを結果を見てから変更すると、都合のよい解釈につながる恐れがあります。
補助指標を複数見る場合も、主KPIを一つ定めます。主KPIを複数置くと、指標ごとの結論が食い違ったときに意思決定が難しくなります。
3. 地域単位と割り当て方法を決める
地域の選び方は、実験の成立を左右します。次の条件を確認します。
- 広告媒体で同じ粒度の地域指定ができる
- 成果データを同じ粒度で集計できる
- 施策の影響が地域境界を越えにくい
- 地域内の商圏や生活圏が極端に分断されない
- 全国キャンペーンや他施策の配信状況を把握できる
移動が多い生活圏を細かく分けると、対照地域の人が処置地域で広告に接触するなど、影響が混ざる可能性があります。逆に、国全体のように単位を大きくしすぎると、独立して割り当てられる地域数が少なくなり、検出力が不足する場合があります。粒度にはトレードオフがあります。
可能であれば、地域クラスターを無作為に処置群と対照群へ割り当てます。地域数や運用条件に制約がある場合は、過去の成果、人口規模、商圏、季節変動などが似た地域を組み合わせたうえで割り当てます。
「似た地域を選ぶ」ことと「無作為に割り当てる」ことは同じではありません。マッチングは地域差を小さくする工夫ですが、無作為割り当ての代わりにはなりません。割り当て方法を記録し、事後分析でもその設計に合った方法を選びます。
4. 過去データで期間と検出力を見積もる
テスト期間を先に「4週間」と決めるのではなく、過去の地域別データから検出可能な効果の大きさを見積もります。購入までの期間、曜日差、季節性、広告の学習期間も考慮します。
見るべきなのは、単なる日数ではありません。地域ごとの日次成果の変動、テスト地域数、広告費、期待する最小効果（MDE）を合わせて評価します。MDEは「意思決定上、検出したい最小の差」です。必要な地域数や期間でその差を検出できない場合、実施前に設計を見直します。
検出力や必要予算を見積もるツールもあります。ただし、ツールの計算結果は、入力データや前提に依存します。広告費、KPI、地域区分が実際のテスト設計と合っているか確認してください。
GoogleのMeridian GeoXの資料では、地域ごとの日次データを設計に使い、実施期間に対して十分な事前データを用意する考え方が示されています。具体的な列や期間の要件はGeoX固有の仕様です。すべての地域テストにそのまま当てはまるルールではありません。事前データの要件
5. 広告配信と地域の汚染対策を準備する
設計した地域割り当てを、すべての対象媒体で同じように反映します。全国配信の設定が残ると、対照地域にも広告が出る可能性があります。除外設定に頼るだけでなく、対象地域を明示して配信する方法も検討します。
媒体によって地域指定の粒度や位置情報の扱いは異なります。設定後は対象地域、除外地域、配信実績を確認し、テスト中に地域の追加・除外や割り当て変更をしない運用ルールを決めます。
また、次の要因を記録します。
- 地域限定のセール、価格変更、在庫状況
- 店舗の開閉、イベント、テレビや交通広告
- 他媒体の配信変更や全国キャンペーン
- テスト対象外の広告による重複配信
- 広告の学習期間、成果の遅延
テスト期間中に別の大きな施策が入る場合は、両群で条件をそろえるか、結果への影響を記録します。広告以外の差を無視すると、観測した差を対象施策の効果と誤認する可能性があります。
6. 結果の分析方法を設計と合わせる
地域別・日次の成果を集計し、事前に決めた主KPIで処置群と対照群を比較します。単純なテスト後の平均値比較だけで結論を出すと、実施前からあった地域差を取り除けないことがあります。
無作為割り当てを行った場合は、その割り当てを保った分析を基本にします。事前期間の情報を使った回帰調整などを加えることもあります。地域を無作為に分けていない場合や、実施後に観察データで評価する場合には、差分の差分法（DID）などが候補になります。ただし、DIDは処置群と対照群の事前トレンドなど、手法固有の前提を確認する必要があります。
信頼区間と推定値を併記し、「統計的に有意か」だけでなく、効果の大きさが意思決定に足るかを判断します。有意差が出なかった場合も、効果がないと即断せず、推定の幅や検出力を確認します。
地域を実験単位にした場合、個人のコンバージョン数が多くても、独立した地域クラスター数が少なければ不確実性は残ります。分析方法が、地域単位の割り当てと地域間の差を適切に扱っているかが重要です。
分析手法・ツールをどう選ぶか
地域テストでは、実験の割り当て方法とデータ構造に合った分析を選びます。
| 状況 | 主な候補 | 確認すること |
|---|---|---|
| 地域を無作為に割り当てた | 地域クラスター実験としての推定、回帰調整 | 地域単位の割り当てを分析で維持できているか |
| 実施前後の差を、処置群と対照群で比較する | DID | 事前トレンドや同時期の地域差などの前提が妥当か |
| 対象地域が少なく、類似する地域の組み合わせを構成する | 合成コントロール法など | 対照となる地域群が事前の動きを再現できるか |
| 事前データからテスト地域・期間・予算を検討する | GeoLift、Meridian GeoXなどの設計ツール | ツールの仕様、入力条件、設計対象が目的に合っているか |
GeoLiftはMetaが公開しているRパッケージです。合成コントロール法を基礎に、地域実験の設計や分析を支援します。GeoLift公式リポジトリ
Meridian GeoXはGoogleのオープンソースの地域実験ソリューションです。実験設計や分析の方法を提供し、Meridian MMMとの連携にも対応しています。GeoLiftとは別のツールです。Meridian GeoX公式ドキュメント
ツールが示す推定値は、設計やデータの品質を自動で保証するものではありません。入力KPI、事前データ、地域割り当て、配信設定を確認したうえで利用します。
結果は「差があったか」だけで終わらせない
レポートでは、少なくとも次の情報をそろえます。
- 何を検証するためのテストだったか
- テスト形式と地域の割り当て方法
- 対象媒体、実施期間、主KPI
- 予定どおりの配信になったか、汚染や変更があったか
- 効果の推定値と信頼区間
- 分析の前提と制約
- 追加投資や継続判断への示唆
効果が確認できた場合も、今回の地域や期間で観測した結果として解釈します。異なる季節、地域、予算水準で同じ効果が得られるとは限りません。次にどの条件を確かめるかまで示すと、施策判断につながるレポートになります。
よくある失敗
似た地域を選んだだけで比較可能だと考える
人口や過去売上が近くても、地域ごとのトレンドやイベントが異なる場合があります。事前期間の推移を比較し、割り当ての方法を明記します。
コンバージョンが多いので検出力も高いと思う
個人単位の件数と、独立した地域クラスターの数は異なります。地域数や地域間のばらつきも含めて検出力を見積もります。
テスト中に配信地域を調整する
成果が弱い地域を外す、予算を使い切るため地域を追加するなどの変更は、比較条件を変えてしまいます。設計を変える必要が生じたら、変更内容と時点を記録し、分析上の扱いを見直します。
媒体の管理画面のリフトだけを見る
管理画面の指標は、媒体の計測範囲や帰属ルールに基づいています。事業全体の成果を評価する場合は、地域別の売上や注文など、意思決定に対応した指標を使えるか確認します。
対照地域への広告漏れを確認しない
全国キャンペーン、地域指定の精度、ユーザーの移動などで、対照地域に広告が届く可能性があります。設定と地域別の実績を点検し、漏れが見つかった場合は結果の限界として報告します。
まとめ
地域テストは、広告施策の増分効果を地域単位で評価する方法です。テスト形式、地域単位、主KPI、期間、割り当て方法を実施前に決めます。
地域を無作為に割り当てられるか、地域間の広告漏れを抑えられるか、必要な効果を検出できるかも確認します。実施後は割り当てと分析方法をそろえ、推定値と不確実性の両方を見て判断しましょう。
関連記事
参考資料
- Google Meridian GeoX
- Google Meridian GeoX：地域テストの実装
- Google Meridian GeoX：事前データの準備
- Meta GeoLift公式リポジトリ
参考資料の確認日：2026年9月27日
この記事をシェア
参照元
ryottaman
広告代理店で17年、現在は事業会社でインハウスマーケティングを担当しています。
SIGNALZの記事はAIを活用して作成し、10年以上の運用型広告の実務経験をもとに内容を確認・監修しています。制作方針の詳細はサイトについてをご覧ください。
Google検索の優先ソースにSIGNALZを追加
追加すると、Google検索のトップニュースでSIGNALZの記事が見つけやすくなります。AIモードとAIによる概要でも「優先」バッジが付きます。設定はいつでも解除できます。