Гео-эксперимент: что это и как провести

Автор

Джон Вейвер и Джим Кёлер (Google) — гео-эксперименты; Альберто Абади и Хавьер Гардеасабаль — синтетический контроль; Meta Marketing Science — GeoLift, 2003 — синтетический контроль; 2011 — гео-эксперименты; 2017 — регрессия по времени

Уровень

301 · Продвинутый

Подходит

растущая компания, корпорация

Время на внедрение

одна-две недели на дизайн и анализ мощности, затем тест не короче 15 дней при дневных данных или четырёх-шести недель при недельных

Что понадобится

дневные продажи или конверсии по городам или регионам без пропусков за период, который в четыре-пять раз длиннее планируемого теста · 20 и больше регионов, которые можно таргетировать в рекламной системе по отдельности · данные о расходах по регионам, если собираетесь отключать текущую рекламу или увеличивать её · договорённость, что цены, акции и другая реклама во всех регионах на время теста не меняются

Гео-тест (geo lift) — эксперимент, в котором рекламу меняют в части городов или регионов и сравнивают их продажи с контрфактом: оценкой того, сколько эти регионы продали бы без изменения. Её строят по регионам, где ничего не менялось. Разница и есть прирост. Метод читает продажи по регионам из ваших собственных данных, поэтому ему не нужны cookie и идентификаторы пользователей, а работает он одинаково для магазинов, колл-центров и приложений.

Современную форму метода описали исследователи Google Джон Вейвер и Джим Кёлер в статье 2011 года о гео-экспериментах. Статистика, на которой стоит большинство нынешних инструментов, пришла из экономики: Альберто Абади и Хавьер Гардеасабаль предложили синтетический контроль в исследовании 2003 года о Стране Басков. Для маркетологов оба подхода упаковали открытый GeoLift от Meta и Meridian GeoX от Google. Здесь мы разбираем сам метод, а более широкий выбор между исключением пользователей из показа, гео-тестами и тестами с отключением рекламы смотрите на странице про инкрементальное тестирование.

Какой гео-тест вам нужен?

Тип теста зависит от вопроса. В документации GeoX названы три типа; во всех расходы меняются в тестовых регионах, а в контрольных всё идёт как обычно.

Go-dark обычно выбирают, чтобы проверить рекламу по брендовым запросам. Heavy-up, по данным Google, подходит, когда текущие расходы слишком малы и отключение ничего не покажет.

Как строят контрфакт?

Основную работу делают четыре семейства оценок, а различаются они главным образом тем, сколько регионов им нужно.

Гео-регрессия Вейвера и Кёлера сравнивает продажи каждого региона в период теста с его продажами до теста по многим случайно распределённым регионам. Когда регионов мало, она теряет мощность, поэтому Йоуни Керман, Пэн Ван и Вейвер в 2017 году предложили регрессию по времени (TBR). Она проводит одну линию по предпериоду, предсказывая среднее по тестовым регионам через среднее по контрольным, а затем с её помощью прогнозирует контрфакт по дням. Оба метода вошли в R-пакет Google GeoexperimentsResearch; в 2022 году пакет заархивировали и пометили как неофициальный продукт Google.

Синтетический контроль строит контрфакт как взвешенную смесь контрольных регионов, подобранную так, чтобы до запуска она близко повторяла тестовые. GeoLift использует расширенную версию Эли Бен-Майкла, Эви Феллера и Джесси Ротштейна: она добавляет поправку на смещение при неидеальном совпадении. Trimmed match Айю Чена и Тимоти Ау делит регионы на пары, рандомизирует внутри каждой пары и оценивает отдачу усечённым средним, так что самые крайние пары выпадают. В статье в Annals of Applied Statistics его построили для тестов с небольшим числом очень разных регионов, а Google применял его в исследованиях для рекламодателей.

Синтетический контроль простыми словами

Синтетический контроль — метод, который оценивает, как повёл бы себя объект с воздействием, смешивая объекты без воздействия. В исследовании табачной программы Калифорнии Абади, Даймонд и Хайнмюллер построили синтетическую Калифорнию из других штатов и показали, что к 2000 году продажи сигарет на человека в год были примерно на 26 пачек ниже, чем были бы без программы. Сьюзен Атей и Гвидо Имбенс назвали этот подход возможно, самой важной инновацией в литературе по оценке воздействия за предыдущие пятнадцать лет.

В руководстве Абади 2021 года в Journal of Economic Literature перечислены условия, которые прямо переносятся на маркетинг. Малые эффекты трудно заметить, когда показатель сильно колеблется. Пул доноров, то есть набор контрольных регионов, не должен включать регионы со своими потрясениями, например с открытием магазина. Люди не должны реагировать до начала изменений. И нужно учесть перетекание: контрольный город рядом с тестовым может увидеть его рекламу.

Одно условие важнее всего для выбора рынков. Если объект крайний, никакое взвешенное среднее остальных его не воспроизведёт, и тогда, как сказано в полном тексте, обычный оценщик применять нельзя. Ваш самый крупный город — как раз такой объект, поэтому место ему в пуле контроля или вне теста.

Как выбрать тестовые рынки?

Доверьте выбор истории. Подбор рынков в GeoLift моделирует тесты на прошлых данных для множества наборов регионов и ранжирует их по обнаруживаемому эффекту, мощности и совпадению до запуска; в разборе также приведён бюджет, который нужен каждому варианту. Meridian GeoX кластеризует регионы по форме их рядов KPI (по умолчанию четыре кластера) и рандомизирует внутри кластеров, а затем отбраковывает дизайны, которые не проходят имитацию A/A-тестов.

Когда полная рандомизация невозможна на практике, метод подбора рынков Тима Ау ищет такое разбиение на группы, при котором соблюдаются допущения TBR и учтены ограничения рекламодателя. Более новая разработка Google, супергео, объединяет регионы в более крупные единицы, чтобы пары подходили друг к другу точнее.

Анализ мощности — до запуска

Анализ мощности говорит, какой наименьший прирост способен обнаружить заданный дизайн. GeoX записывает минимальный обнаруживаемый эффект как стандартную ошибку прироста, умноженную на сумму двух z-значений (одно для значимости, другое для мощности) и делённую на базовое число конверсий. На практике это значит: чем шумнее регионы и короче тест, тем выше планка.

Зачем делать это первым, объясняет страница GeoLift о методологии: гео-тесты часто охотятся за небольшими эффектами. Насколько небольшими, показали Рэндалл Льюис и Джастин Рао: медианный доверительный интервал для отдачи в 25 крупных рекламных экспериментах оказался шире 100 процентных пунктов. Если обнаруживаемый прирост больше всего, что канал мог бы выдать, добавьте регионы, увеличьте длительность или перейдите на heavy-up. Арифметику разбирает страница про минимальный обнаруживаемый эффект.

Сколько должны длиться тест и предпериод?

Лучшие практики GeoLift дают числа, с которых большинство команд начинает: не меньше 15 дней при дневных данных, от четырёх до шести недель при недельных и как минимум один полный цикл покупки. Предпериод должен быть в четыре-пять раз длиннее теста, с 25 и более периодами и 20 и более регионами; лучше всего полные 52 недели, чтобы уловить сезонность.

GeoX добавляет необязательный период остывания после теста, чтобы засчитать отложенные покупки. Если канал нужно отслеживать круглый год, дизайн с несколькими периодами теста Вейвера и Кёлера переключает регионы между тестом и контролем от периода к периоду и объединяет результаты. Так достигается та же точность при меньшем или более коротком изменении расходов.

Как читать результат

Читайте прирост с помощью плацебо-вывода. GeoX повторяет анализ на множестве допустимых плацебо-дизайнов, где ничего не происходило, и смотрит, насколько крайним оказывается настоящий результат среди них. Результат внутри разброса плацебо результатом не считается. Дальше число идёт в финансы как цена дополнительной конверсии или iROAS, а в модель маркетингового микса — как точка калибровки. Разумный ритм — один гео-тест или тест с исключением из показа на каждый крупный канал в квартал, причём результат меняет разбивку бюджета, как строится календарь экспериментов в Growth Lab.

Как применять: Гео-эксперимент: что это и как провести по шагам

1. Выберите тип теста и решение, которое он принесёт. Holdback берут для нового канала, go-dark — чтобы проверить рекламу, которую вы уже ведёте, heavy-up — чтобы узнать, что даст дополнительный бюджет. Заранее запишите, какое решение определит результат. Например: если дополнительный заказ обходится дороже 4 000 ₽, бюджет канала урезают на треть. Результат: тип теста, KPI и пороговое значение.
2. Подготовьте чистые региональные данные. Выгрузите дневной KPI по регионам за последний год: каждый регион должен быть в каждом дне. Уберите регионы, где за этот период открывался магазин, случился сбой или шла местная кампания. Результат: сбалансированная таблица регионов и дней и список исключённых регионов с причинами.
3. Выберите регионы и рассчитайте размер теста. Прогоните на этой истории подбор регионов и анализ мощности в GeoLift или Meridian GeoX. Сравните наборы регионов-кандидатов по обнаруживаемому эффекту, совпадению с контролем до запуска и нужному бюджету. Самый крупный рынок в тестовую группу не берите. Результат: тестовые регионы, пул контроля, длительность, бюджет и минимальный обнаруживаемый прирост.
4. Запустите и не вмешивайтесь. Меняйте расходы только в тестовых регионах и в оговорённый день, а любые другие изменения в любом регионе записывайте. Не останавливайте тест досрочно, даже если кривая выглядит хорошо. Результат: тест, который отработал весь запланированный срок, и журнал изменений.
5. Прочитайте прирост вместе с неопределённостью. Оцените контрфакт по контрольным регионам и возьмите разницу как дополнительные конверсии. Разделите расходы на неё — получите цену дополнительной конверсии; разделите дополнительную выручку на расходы — получите iROAS. Укажите доверительный интервал и p-значение, найденные плацебо-проверкой или перестановками. Результат: прирост, iROAS или инкрементальный CPA, каждый с интервалом.
6. Примените результат и запланируйте следующий тест. Измените бюджет так, как договаривались, а результат передайте в модель маркетингового микса как точку калибровки. В следующем тесте поменяйте, какие регионы получают рекламу. Результат: изменённый бюджет и план следующего теста с датой.

Примеры

Разбор GeoLift от Meta

В документации GeoLift разобран тест на смоделированных дневных данных по 40 городам США за 90 дней до теста. Подбор рынков ранжирует наборы городов и выбирает Чикаго и Портленд для 15-дневного теста: расходы на тест с достаточной мощностью оцениваются в $64 563,75 при цене дополнительной конверсии 7,50. Вариант на 10 дней обошёлся бы дешевле, в $43 646,25, но выбран не был. Итог теста: прирост 5,4%, 4 667 дополнительных единиц и p-значение 0,01.

Табачная программа Калифорнии — самый известный случай метода

Альберто Абади, Алексис Даймонд и Йенс Хайнмюллер с помощью синтетического контроля оценили Proposition 99 — программу борьбы с курением, которую Калифорния начала в 1988 году. Они собрали синтетическую Калифорнию из взвешенной смеси других штатов, исключив те, где в этот период шли крупные табачные программы или росли налоги на табак. К 2000 году продажи сигарет на душу населения в год в Калифорнии были примерно на 26 пачек ниже, чем предсказывал синтетический вариант.

Платёжное приложение проверяет таргетированную рекламу в соцсетях по регионам

Иллюстративный пример, реальная компания не подразумевается. Платёжное приложение работает в 48 регионах и хочет знать, сколько пополненных счетов добавляет реклама в соцсетях. История показывает, что число счетов в день стабильно, а анализ мощности — что прирост в 10% можно заметить на 6 тестовых регионах за 21 день. Приложение увеличивает расходы на таргетированную рекламу в соцсетях в этих регионах на 3 000 000 ₽. Пополненных счетов там выходит на 900 больше, чем в контрфакте, так что каждый дополнительный счёт обошёлся примерно в 3 300 ₽, ниже порога в 4 000 ₽, который задали до запуска.

Когда применять

Применяйте метод, когда нельзя или не получается исключить из показа отдельных пользователей, когда продажи идут офлайн или в приложениях, которые трекинг не видит, когда нужен один тест на несколько каналов сразу или когда нужна точка калибровки для модели маркетингового микса. Подходит бизнесу, который продаёт во многих регионах и получает ровный поток продаж каждый день.

Когда не применять

Не берите метод, если вы продаёте всего в нескольких регионах или в одном доминирующем городе, если дневные продажи так скачут, что анализ мощности не находит ни одного реалистичного прироста, если регионы сильно пересекаются из-за ежедневных поездок или доставки или если другие команды не могут удержать цены и акции одинаковыми во всех регионах на время теста.

Частые ошибки

• Запускают тест без анализа мощности, а потом читают плоский результат как доказательство, что канал ничего не даёт, хотя тест просто не мог заметить эффект.
• Включают самый большой рынок в тестовую группу. Никакая взвешенная смесь мелких регионов его не воспроизведёт, поэтому контрфакт получается плохим.
• Берут предпериод короче самого теста или такой, где есть структурный сдвиг: смена цен, новый магазин.
• Запускают в части регионов местную акцию, рекламу на ТВ или меняют цены, пока идёт тест.
• Не учитывают перетекание: жители контрольного города видят рекламу, рассчитанную на соседний тестовый, или едут туда за покупкой.

Вопросы и ответы

Что такое гео-тест (geo lift)?

Это эксперимент, в котором рекламу меняют в части регионов и сравнивают их продажи с тем, что эти регионы показали бы без изменения; оценку строят по регионам, где всё осталось прежним. Разница — дополнительный прирост. Отслеживание на уровне пользователей не нужно, поэтому метод работает для офлайн-продаж и категорий с ограничениями по приватности.

Сколько регионов нужно для гео-теста?

В рекомендациях GeoLift от Meta указано 20 и больше географических единиц и не меньше 25 периодов до воздействия. При меньшем числе регионов регрессия по времени от Google и дизайны с подбором пар рынков всё равно работают, но обнаруживаемый эффект растёт. Берите самый мелкий уровень, на котором можно таргетировать: города или почтовые зоны.

Как долго должен идти гео-тест?

По рекомендациям GeoLift, минимум 15 дней при дневных данных или четыре-шесть недель при недельных, и тест должен охватить хотя бы один цикл покупки. Предпериод берут в четыре-пять раз длиннее теста. Анализ мощности затем покажет, заметит ли такая длительность ожидаемый вами прирост.

Чем GeoLift отличается от Conversion Lift?

Conversion Lift случайно разбивает на группы отдельных людей внутри рекламной системы, поэтому статистической мощности у него больше. GeoLift делит на группы регионы и читает продажи из ваших собственных данных, так что работает там, где тест на уровне пользователей невозможен. В документации Meta рекомендуют тесты на людях, где это выполнимо, а в остальных случаях — гео-тесты.

Синтетический контроль или разность разностей: что выбрать для гео-тестов?

Разность разностей предполагает, что тестовые и контрольные регионы двигались бы параллельно. Синтетический контроль подбирает веса контрольных регионов так, чтобы их комбинация до запуска повторяла тестовые, и это ослабляет предположение. Синтетическая разность разностей, опубликованная в 2021 году, объединяет обе идеи, и по словам авторов, в их тестах она работает лучше каждой из них.

Источники

1. Jon Vaver, Jim Koehler, Measuring Ad Effectiveness Using Geo Experiments, Google, 2011
2. Jon Vaver, Jim Koehler, Measuring Ad Effectiveness Using Geo Experiments, full text, Google Research
3. Jon Vaver, Jim Koehler, Periodic Measurement of Advertising Effectiveness Using Multiple-Test-Period Geo Experiments, Google, 2012
4. Jouni Kerman, Peng Wang, Jon Vaver, Estimating Ad Effectiveness Using Geo Experiments in a Time-Based Regression Framework, Google, 2017
5. Tim Au, A Time-Based Regression Matched Markets Approach for Designing Geo Experiments, Google, 2018
6. Google, GeoexperimentsResearch R package (archived)
7. Aiyou Chen, Timothy C. Au, Robust Causal Inference for Incremental Return on Ad Spend with Randomized Paired Geo Experiments, Annals of Applied Statistics 16(1), 2022
8. Aiyou Chen, Timothy C. Au, Robust Causal Inference for iROAS, arXiv preprint
9. Google, trimmed_match: analysis and design of randomized paired geo experiments
10. Aiyou Chen, Nick Doudchenko, Shunhua Jiang, Cliff Stein, Bicheng Ying, Supergeo Design: Generalized Matching for Geographic Experiments, arXiv, 2023
11. Google for Developers, Meridian GeoX introduction
12. Google for Developers, Meridian GeoX, Types of experiments
13. Google for Developers, Meridian GeoX, Design methodology
14. Google for Developers, Meridian GeoX, Time-based regression
15. Google for Developers, Meridian GeoX, Robust inference
16. Meta Open Source, GeoLift documentation, Introduction
17. Meta Open Source, GeoLift documentation, Methodology
18. Meta Open Source, GeoLift documentation, Best practices
19. Meta Open Source, GeoLift documentation, Walkthrough
20. Meta Open Source, GeoLift repository on GitHub
21. Alberto Abadie, Javier Gardeazabal, The Economic Costs of Conflict: A Case Study of the Basque Country, American Economic Review 93(1), 2003
22. Alberto Abadie, Alexis Diamond, Jens Hainmueller, Synthetic Control Methods for Comparative Case Studies: Estimating the Effect of California's Tobacco Control Program, Journal of the American Statistical Association 105(490), 2010
23. National Bureau of Economic Research, Working Paper 12831, Synthetic Control Methods for Comparative Case Studies
24. Alberto Abadie, Alexis Diamond, Jens Hainmueller, Comparative Politics and the Synthetic Control Method, American Journal of Political Science 59(2), 2015
25. Alberto Abadie, Using Synthetic Controls: Feasibility, Data Requirements, and Methodological Aspects, Journal of Economic Literature 59(2), 2021
26. Alberto Abadie, Using Synthetic Controls, full text, NBER Summer Institute copy
27. Susan Athey, Guido Imbens, The State of Applied Econometrics: Causality and Policy Evaluation, arXiv, 2016
28. Susan Athey, Guido Imbens, The State of Applied Econometrics, Journal of Economic Perspectives 31(2), 2017
29. Eli Ben-Michael, Avi Feller, Jesse Rothstein, The Augmented Synthetic Control Method, Journal of the American Statistical Association 116(536), 2021
30. Dmitry Arkhangelsky, Susan Athey, David Hirshberg, Guido Imbens, Stefan Wager, Synthetic Difference-in-Differences, American Economic Review 111(12), 2021
31. Kay H. Brodersen et al., Inferring causal impact using Bayesian structural time-series models, Annals of Applied Statistics 9(1), 2015
32. Randall A. Lewis, Justin M. Rao, The Unfavorable Economics of Measuring the Returns to Advertising, Quarterly Journal of Economics 130(4), 2015

Обновлено 15 октября 2026

Илья ПушинОснователь PUSHERS & COO Fintech ServiceИлья строит операционные системы для растущих компаний в медицине и финтехе. С 2021 года руководит трансграничными платежами в ARBI Exchange, лицензированном обменнике в Таиланде, включая KYC, AML и выход в новые юрисдикции.Об автореLinkedIn