Инкрементальность в маркетинге: что это и как измерить

Автор

Практика полевых экспериментов; гео-эксперименты описали Джон Вавер и Джим Кёлер (Google), ghost ads — Гарретт Джонсон, Рэндалл Льюис и Элмар Нуббемейер, 2011 (гео-эксперименты); 2017 (ghost ads)

Уровень

301 · Продвинутый

Подходит

растущая компания, корпорация

Время на внедрение

две-четыре недели подготовки, затем тест на четыре-восемь недель по каждому каналу

Что понадобится

минимум год конверсий по дням или неделям, а для гео-теста ещё и по регионам · канал с достаточным бюджетом, чтобы отключение части трафика заметно отразилось на продажах · один аналитик, который до запуска считает мощность теста, а после запуска разбирает результат · согласие владельца бюджета не трогать контрольную группу весь срок теста

Тест инкрементальности — контролируемый эксперимент, который измеряет, сколько конверсий вызвал рекламный канал. Случайной группе людей или регионов рекламу не показывают, сравнивают её результаты с группой, которая рекламу видела, и считают разницу настоящим вкладом канала. Всё, что контрольная группа купила и так, — спрос, которого реклама не создавала.

Идея старше цифровой рекламы. В 1995 году Леонард Лодиш (Leonard Lodish) с коллегами опубликовал метаанализ 389 экспериментов с разделённым кабельным ТВ: домохозяйства одной кабельной сети видели разные рекламные планы. В интернете исследователи Google Джон Вавер (Jon Vaver) и Джим Кёлер (Jim Koehler) в 2011 году описали гео-эксперименты, а Гарретт Джонсон (Garrett Johnson), Рэндалл Льюис (Randall Lewis) и Элмар Нуббемейер (Elmar Nubbemeyer) в 2017 году опубликовали метод ghost ads. Такие тесты проводят перформанс-команды, руководители роста и финансисты, которым нужно защищать рекламный бюджет.

Атрибутированные и инкрементальные продажи

Атрибутированные продажи — это конверсии, которые платформа или инструмент аналитики приписывает рекламе. Инкрементальные — те, которых без рекламы не было бы. Между ними бывает огромный разрыв, потому что рекламу показывают людям, которые и так склонны купить.

Самый наглядный публичный случай — eBay. В полевом эксперименте, опубликованном в Econometrica, Томас Блейк (Thomas Blake), Крис Носко (Chris Nosko) и Стивен Таделис (Steven Tadelis) отключили у eBay рекламу по брендовым ключам в Yahoo и MSN. В авторской версии статьи сказано, что 99,5% кликов осталось: люди нажимали на органическую ссылку eBay, которая стояла сразу под рекламой. По небрендовым ключам рекламу отключили примерно в 30% регионов США на 60 дней. Регрессия по расходам и продажам без экспериментальной вариации дала окупаемость выше 4100%, а с контролем по регионам и дням — выше 1400%. Эксперимент дал минус 63% с 95-процентным доверительным интервалом от минус 124% до минус 3%. Реклама действительно приводила новых и редких покупателей, но большая часть расходов досталась частым покупателям, которые купили бы и так.

Три способа собрать контрольную группу

Дизайн зависит от того, можно ли не показывать рекламу отдельным людям или только целым регионам. Берите самый сильный дизайн из тех, что допускает канал.

Холдауты на уровне пользователей и ghost ads

В холдауте на уровне пользователей людей случайно делят на тестовую группу, которая может видеть рекламу, и контрольную, которая не может. Сложность в том, чтобы понять, до каких людей из контрольной группы реклама дошла бы, потому что большинство назначенных на кампанию её так и не видит.

Раньше это решали двумя способами. В тестах с социальной рекламой (public service announcement, PSA) контрольной группе в том же месте показывали благотворительное объявление. В тестах intent-to-treat сравнивали всех назначенных, дошла до них реклама или нет. Почему оба способа не годятся, объясняет статья о ghost ads. PSA стоит денег, а на платформах, которые оптимизируют показ, алгоритм показывает PSA другим людям, чем настоящую рекламу, и группы перестают быть сопоставимыми. Intent-to-treat остаётся несмещённым, но становится шумным, когда большинство назначенных пользователей реклама не достигает.

Ghost ads фиксируют момент, когда для пользователя из контрольной группы ваше объявление выиграло бы аукцион, и вместо него показывают следующее. Тогда сравнивают тех, кто увидел вашу рекламу, с их точными двойниками, которые увидели бы её. Авторы сообщают о той же точности, что и у PSA или intent-to-treat, при расходах как минимум на порядок меньше. Что этот метод показал для ретаргетинга, рассказано на странице о ретаргетинге.

Гео-эксперименты

В гео-эксперименте целые регионы случайно делят на те, где рекламу оставляют, и те, где её отключают. В дизайне Вавера и Кёлера сначала идёт предтестовый период, когда во всех регионах крутятся одни и те же кампании, затем тестовый период, когда в регионах воздействия расходы меняются. Линейная модель сравнивает два периода и выдаёт инкрементальную окупаемость рекламных расходов. Если сгруппировать регионы по размеру до случайного распределения, замечают авторы, доверительный интервал может сузиться на 10% и больше.

Если регионов мало, такая регрессия не работает. Регрессия по времени от Google предсказывает продажи тестовых регионов по контрольным день за днём. Открытый инструмент Meta GeoLift строит синтетический контроль, взвешенную смесь нетронутых регионов, которая до запуска близко повторяет тестовые, и использует расширенный метод Бен-Майкла, Феллера и Ротстайна (Ben-Michael, Feller, Rothstein). Документация рекомендует по возможности тесты на уровне людей, потому что у них больше мощность, а гео-тесты советует там, где первые неосуществимы, и называет среди таких рекламодателей сферу здравоохранения.

Каким должен быть размер теста

Больше, чем ожидает большинство команд. Рэндалл Льюис и Джастин Рао (Justin Rao) изучили 25 крупных экспериментов с расходами 2,8 млн долларов и обнаружили, что медианный доверительный интервал окупаемости шире 100 процентных пунктов. Отдельные продажи так сильно колеблются, что информативному тесту может понадобиться больше 10 миллионов человеко-недель.

Руководство Гарретта Джонсона по экспериментам с медийной рекламой говорит прямо: эффекты крошечные, поэтому тесты должны быть большими. Отсюда и требование документации GeoLift: расчёт мощности до запуска. Тест, который не способен заметить ожидаемый прирост, вернёт плоский результат, и его прочтут как доказательство того, что канал ничего не даёт.

Почему не смоделировать всё по трекингу

Потому что модели на наблюдательных данных ошибаются сильнее самого эффекта. Бретт Гордон (Brett Gordon), Роберт Моаклер (Robert Moakler) и Флориан Цеттельмайер (Florian Zettelmeyer) сравнили неэкспериментальные оценки с 663 экспериментами в Facebook. Для результатов нижней части воронки, например покупок, медианный экспериментальный прирост составил 6%, а медианное расхождение модели с экспериментом — 62 процентных пункта. Более раннее исследование на Facebook Гордона с коллегами уже показало, что наблюдательные методы часто не воспроизводят экспериментальные эффекты.

Эксперименты дороги, поэтому большинство команд использует их, чтобы поправить модель, а не заменить её. Robyn от Meta принимает результаты тестов прироста за эталон при подгонке, а документация Google Meridian называет эксперименты по инкрементальности едва ли не самой сильной основой для приоров и предупреждает, что единой формулы перевода нет. Как модель маркетингового микса использует такие данные, описано на её странице. Рабочий ритм — по одному слоту для теста на крупный канал в квартальном календаре, а результат идёт в распределение бюджета. Так устроен календарь экспериментов в Growth Lab.

Как применять: Инкрементальность в маркетинге: что это и как измерить по шагам

1. Сформулируйте вопрос и решение. Назовите один канал и одно решение, которое зависит от результата, например: если реклама по брендовому поиску даёт меньше 20% дополнительных регистраций, сократить её вдвое. Выберите итог, важный бизнесу (оплаченные заказы, записи на приём, открытые счета), а не клики. Результат: вопрос в одну строку и порог, при котором меняется бюджет.
2. Выберите дизайн. Если платформа даёт холдаут на уровне пользователей, берите его. Если не даёт или продажи идут офлайн, берите гео-эксперимент. Отключение канала с моделью временных рядов оставьте на случай, когда другое невозможно. Результат: выбранный дизайн, единица рандомизации и инструмент.
3. Оцените размер теста до запуска. Проведите расчёт мощности по своей истории: какой прирост тест сможет обнаружить, на скольких людях или регионах и за сколько недель. Если обнаруживаемый прирост больше любого прироста, который вы вообще могли бы получить, увеличьте тест или удлините его, а если нельзя — не запускайте. Результат: срок теста, доля холдаута и минимальный обнаруживаемый прирост, записанные заранее.
4. Заморозьте всё, кроме воздействия. На весь срок оставьте в обеих группах те же креативы, ставки, цены и другие каналы, и не останавливайте тест досрочно только потому, что цифры вам понравились. Результат: журнал теста со всеми изменениями за период, в идеале пустой.
5. Прочитайте прирост, инкрементальный CPA и iROAS. Посчитайте инкрементальные конверсии (тест минус масштабированный контроль), поделите на них расходы, чтобы получить инкрементальную стоимость привлечения, а инкрементальную выручку поделите на расходы, чтобы получить iROAS. Приводите доверительный интервал, а не только точечную оценку. Результат: три числа с интервалами, которые сравниваются с порогом из первого шага.
6. Действуйте и передайте результат модели. Измените бюджет, как договорились, а результат используйте, чтобы поправить веса атрибуции или откалибровать модель маркетингового микса. Назначьте повторный тест для каждого крупного канала раз или два в год. Результат: изменение бюджета и календарь следующих тестов.

Примеры

eBay и реклама по брендовому поиску

Томас Блейк, Крис Носко и Стивен Таделис отключили у eBay рекламу по брендовым ключевым словам в Yahoo и MSN, а в Google оставили для сравнения. Как пишут авторы статьи, 99,5% кликов сохранилось: пользователи нажимали бесплатную органическую ссылку. По небрендовым ключам рекламу выключили примерно в 30% регионов США на 60 дней. Простая регрессия даже с контрольными переменными давала окупаемость больше 1400%, а эксперимент — минус 63%: большая часть бюджета ушла на частых покупателей eBay, которые купили бы и так.

Ghost ads в ретаргетинговой кампании ритейлера

Джонсон, Льюис и Нуббемейер проверили медийный ретаргетинг интернет-магазина методом ghost ads: для людей из контрольной группы рекламная система записывала момент, когда объявление магазина выиграло бы аукцион, и показывала следующее по очереди. Кампания подняла число визитов на сайт на 17,2%, а покупок — на 10,5%. Авторы сообщают, что метод измеряет прирост так же точно, как тесты с социальной рекламой (PSA), а стоит как минимум на порядок дешевле.

Сеть клиник проверяет платную рекламу в соцсетях по городам

Иллюстративный пример, реальная клиника не подразумевается. Сеть клиник в 12 городах тратит деньги на платную рекламу в соцсетях везде и не может исключить отдельных пользователей, потому что платформа ограничивает таргетинг по теме здоровья. Города ранжируют по размеру, объединяют в пары и в одном городе из каждой пары на шесть недель останавливают рекламу. Число записей на первый приём в остановленных городах оказывается на 120 ниже прогноза, тогда как платформа приписала этим городам 300 записей за сопоставимый период. Сэкономленные в остановленных городах расходы составили 360 000 рублей, поэтому инкрементальная стоимость записи на приём — 3000 рублей, а не 1200, которые показывал дашборд.

Когда применять

Применяйте, когда один канал занимает большую долю бюджета, а его отчётная окупаемость выглядит слишком хорошей, когда платформа и ваша аналитика расходятся в оценке его вклада, перед наращиванием расходов на брендовый поиск, ретаргетинг или партнёрскую рекламу и для калибровки модели маркетингового микса. Тест особенно полезен там, где много покупателей пришли бы и так.

Когда не применять

Откажитесь, если бюджет так мал, что никакой реалистичный прирост не заметить, — расчёт мощности покажет это за час, — или если вы не сможете оставить контрольную группу нетронутой весь срок теста. Недельный тест во время распродажи или праздника почти ничего не говорит. Стартапам на раннем этапе обычно больше даёт разговор с клиентами о том, как они нашли продукт.

Частые ошибки

• Принимают конверсии из отчёта платформы за результат, хотя в них входят покупатели, которые конвертировались бы и без рекламы.
• Запускают без расчёта мощности, а потом читают плоский результат как доказательство, что канал ничего не даёт, хотя тест был слишком мал, чтобы увидеть прирост.
• Берут рекламу PSA как контроль на платформе, которая оптимизирует показ, и в итоге рекламу в двух группах видят разные по составу люди.
• Позволяют другим командам менять цены, креативы или бюджеты только в одной группе во время теста.
• Проверяют канал один раз и считают число постоянным, хотя прирост меняется с уровнем расходов, сезоном и креативом.

Вопросы и ответы

Что такое инкрементальность в маркетинге простыми словами?

Инкрементальность — та часть продаж, которая случилась благодаря рекламе и не случилась бы без неё. Если после рекламы купили 1000 человек, а 800 похожих людей купили без неё, то инкрементальных продаж только 200. Тест инкрементальности и нужен, чтобы измерить эти 200, а не гадать.

Чем тест инкрементальности отличается от A/B-теста?

A/B-тест сравнивает две версии объявления или страницы: обе группы что-то видят. Тест инкрементальности сравнивает показ рекламы с её отсутствием, и одной группе объявления этой кампании не показывают. Оба — рандомизированные эксперименты. Тест инкрементальности отвечает, работают ли вообще расходы, A/B-тест — какая версия работает лучше.

Чем инкрементальность отличается от атрибуции?

Атрибуция делит заслугу за состоявшиеся конверсии между рекламными касаниями человека по трекингу. Купил бы он без рекламы или нет, она не видит. Тест инкрементальности измеряет именно это с помощью контрольной группы. Многие команды используют атрибуцию для ежедневной оптимизации, а тесты инкрементальности запускают, чтобы её поправлять.

Сколько должен идти тест инкрементальности?

Достаточно долго, чтобы расчёт мощности показал, что ожидаемый прирост можно обнаружить, и достаточно долго, чтобы охватить ваш цикл продаж. На практике это обычно четыре-восемь недель. В гео-дизайне Вавера и Кёлера есть ещё предтестовый период по истории: регионы сравнивают до изменения.

Какой тест инкрементальности подходит для маленького бюджета?

Гео-эксперимент на парах регионов или тест прироста конверсий от платформы, если вы под него подходите. Льюис и Рао показали, что отдельные продажи так сильно колеблются, что информативному тесту на уровне пользователей может понадобиться больше 10 миллионов человеко-недель, поэтому небольшие рекламодатели чаще получают ясный ответ, выключив канал в части регионов и сравнив результаты.

Источники

1. Jon Vaver, Jim Koehler, Measuring Ad Effectiveness Using Geo Experiments, Google, 2011
2. Jon Vaver, Jim Koehler, Measuring Ad Effectiveness Using Geo Experiments, full text, Google Research
3. Jouni Kerman, Peng Wang, Jon Vaver, Estimating Ad Effectiveness Using Geo Experiments in a Time-Based Regression Framework, Google, 2017
4. Thomas Blake, Chris Nosko, Steven Tadelis, Consumer Heterogeneity and Paid Search Effectiveness: A Large-Scale Field Experiment, Econometrica 83(1), 2015
5. Thomas Blake, Chris Nosko, Steven Tadelis, Consumer Heterogeneity and Paid Search Effectiveness, author version, UC Berkeley Haas
6. National Bureau of Economic Research, Working Paper 20171, Consumer Heterogeneity and Paid Search Effectiveness, 2014
7. Garrett A. Johnson, Randall A. Lewis, Elmar I. Nubbemeyer, Ghost Ads: Improving the Economics of Measuring Online Ad Effectiveness, Journal of Marketing Research 54(6), 2017
8. Garrett A. Johnson, Randall A. Lewis, Elmar I. Nubbemeyer, Ghost Ads, NBER conference version, 2016
9. Garrett A. Johnson, Inferno: A guide to field experiments in online display advertising, Journal of Economics and Management Strategy 32(3), 2023
10. Randall A. Lewis, Justin M. Rao, The Unfavorable Economics of Measuring the Returns to Advertising, Quarterly Journal of Economics 130(4), 2015
11. Brett R. Gordon, Florian Zettelmeyer, Neha Bhargava, Dan Chapsky, A Comparison of Approaches to Advertising Measurement: Evidence from Big Field Experiments at Facebook, Marketing Science 38(2), 2019
12. Brett R. Gordon, Robert Moakler, Florian Zettelmeyer, Close Enough? A Large-Scale Exploration of Non-Experimental Approaches to Advertising Measurement, Marketing Science 42(4), 2023
13. Kellogg School of Management, Close Enough? research abstract, 2023
14. Leonard M. Lodish et al., How T.V. Advertising Works: A Meta-Analysis of 389 Real World Split Cable T.V. Advertising Experiments, Journal of Marketing Research 32(2), 1995
15. Meta Open Source, GeoLift
16. Meta Open Source, GeoLift documentation, Introduction
17. Meta Open Source, GeoLift documentation, Methodology
18. Alberto Abadie, Alexis Diamond, Jens Hainmueller, Synthetic Control Methods for Comparative Case Studies, Journal of the American Statistical Association 105(490), 2010
19. Eli Ben-Michael, Avi Feller, Jesse Rothstein, The Augmented Synthetic Control Method, Journal of the American Statistical Association 116(536), 2021
20. Kay H. Brodersen et al., Inferring causal impact using Bayesian structural time-series models, Annals of Applied Statistics 9(1), 2015
21. Google, trimmed_match: analysis and design of randomized paired geo experiments
22. Google Ads Help, About Conversion Lift
23. Meta for Developers, Lift studies
24. Meta Marketing Science, Robyn features: calibration with experiments
25. Google Meridian, ROI priors and calibration
26. Ron Kohavi, Diane Tang, Ya Xu, Trustworthy Online Controlled Experiments, Cambridge University Press, 2020

Обновлено 15 октября 2026

Илья ПушинОснователь PUSHERS & COO Fintech ServiceИлья строит операционные системы для растущих компаний в медицине и финтехе. С 2021 года руководит трансграничными платежами в ARBI Exchange, лицензированном обменнике в Таиланде, включая KYC, AML и выход в новые юрисдикции.Об автореLinkedIn