Тестирование рекламных каналов: почему тест затухает на третьем месяце
Большинство тестов нового рекламного канала заканчиваются не решением. Они заканчиваются, когда кончился бюджет, поменялась атрибуция или все тихо перестали открывать дашборд.
Большинство тестов нового рекламного канала заканчиваются не решением. Они заканчиваются, когда кончился бюджет, поменялась атрибуция или все тихо перестали открывать дашборд.

Тестирование рекламных каналов чаще всего затухает по четырём повторяющимся причинам. Тест запускают без правила решения, поэтому никто не знает, какой результат его завершит. Бюджет слишком мал, чтобы отличить результат от случайного шума, и команда принимает колебания за тренд. Посреди теста меняется определение конверсии или атрибуция, и первая неделя перестаёт быть сопоставимой с десятой. Когда канал проигрывает, нет человека, который обязан доложить об этом, поэтому результат не обсуждают, а канал не закрывают. Тест, который доживает до решения, имеет записанную гипотезу, правило решения до запуска, минимальный бюджет, достаточный для понятного результата, и фиксированное окно измерения. Если канал проиграл, тот же человек, который его предложил, в заранее назначенный день докладывает, почему так вышло и куда переходит бюджет.
Тест канала редко закрывают на совещании, где кто-то решает его остановить. Он умирает постепенно: дашборд открывают всё реже, бюджет тихо возвращается в канал, которому все и так доверяют, а через три месяца никто не может сказать, сработал ли тест. Причина в том, что заранее никто не договорился, что значит «сработал».
Тест рекламного канала — это ограниченная по бюджету и сроку проверка нового канала привлечения по заявленной гипотезе, которая к назначенной дате должна дать решение: оставить канал или закрыть.
Четыре причины раз за разом повторяются у growth-команд, которые проводят такие тесты, — и в SaaS, и в финтехе. Они усиливают друг друга: у теста без правила решения обычно нет и минимального бюджета, потому что никто не считал расходы под цель, которую это правило задало бы.
Обычно у теста есть подобие гипотезы: «попробуем новый канал и посмотрим, как пойдёт». Это направление, а не правило решения. Правило решения до первого потраченного рубля говорит, какой результат завершает тест и какое действие следует за каждым исходом. Без него результат на границе допустимого обсуждают ещё месяц, а плохой результат объявляют «пока рано судить».
Записывать правило до запуска неприятно, потому что оно обязывает: «закрываем тест, если после набора заданной выборки стоимость целевой заявки выше заданной суммы». Такое утверждение можно опровергнуть. «Посмотрим, как пойдёт» опровергнуть нельзя, а спор, который никто не оформил как ставку, невозможно проиграть.
Маленький бюджет в канале с дорогой целевой заявкой даёт маленькую выборку, а по маленькой выборке хороший канал не отличить от посредственного. Средняя стоимость заявки на небольшой выборке легко гуляет на 30–40% в обе стороны. Команда, которая читает эти колебания как тренд, со временем ошибается в обе стороны.
Правило действует в любой отрасли, но финтех-командам стоит помнить: креативы и формулировки, которые проверяют на маленьком быстром бюджете, проходят ту же проверку на соответствие требованиям, что и полноценная кампания. Маленький тест не освобождается от согласования.
Общая информация, не юридическая консультация по конкретному случаю.Известное эссе Эвана Миллера «How Not To Run an A/B Test» формулирует суть прямо: расчёт значимости предполагает, что объём выборки зафиксирован заранее. Если вместо этого вести тест, пока не появится разница, заявленная значимость теряет смысл. Та же логика работает для тестов каналов, которые оценивают по стоимости заявки или конверсии. Задайте минимальный бюджет от объёма выборки, который нужен правилу решения, и считайте его нижней границей обязательств, а не потолком, который можно урезать, когда квартал становится тесным.
Тест, который начался при одной модели атрибуции, а закончился при другой, — это два теста, склеенные в один. Чаще так происходит из-за мелких изменений, а не крупных: маркетинг меняет, что считать целевой заявкой, новый параметр отслеживания меняет, как конверсии приписываются каналу, или после обновления CRM заявка в другой момент получает статус квалифицированной для продаж.
Тест кредитного продукта десять недель сравнивал таргетированную рекламу в соцсетях с поисковой рекламой. На шестой неделе отдел продаж ужесточил определение целевой заявки: теперь она засчитывалась только после заполненной анкеты на кредит, а не после отправки формы. Стоимость целевой заявки выросла в обоих каналах, и команда решила, что оба канала проседают, хотя поменялась только линейка. Такая ситуация встречается достаточно часто, чтобы описать её в общем виде. Это не конкретный клиентский кейс.
Лечится это процедурой. На время теста заморозьте определение конверсии, окно атрибуции и настройку отслеживания. Если изменение неизбежно, начните окно измерения заново, а не сшивайте «до» и «после».
Длинный цикл сделки делает проблему острее. В финтех-продукте с андеррайтингом или многоступенчатым одобрением от первого клика до открытого и пополненного счёта могут пройти недели. Тест, который смотрит только на регистрации в начале воронки, покажет результат раньше, чем проявится настоящая конверсия канала. Заранее решите, по какой метрике читаете тест: по опережающей, например квалифицированным анкетам, или по запаздывающей, например пополненным счетам. Держите этот выбор всё окно, а не переключайтесь посреди теста на ту метрику, которая выглядит лучше.
Проигравший канал сам о себе не доложит. Если никто не назначен ответственным за отчёт о проигрыше, тест просто перестают обсуждать, бюджет утекает обратно в привычный канал, а через полгода та же непроверенная идея всплывает снова, и никто не помнит, что она уже проваливалась.
Исправление ничего не стоит, кроме дисциплины. Тот, кто предлагает тест канала, отвечает и за отчёт о его исходе в дату, указанную в правиле решения, перед тем, кто утвердил бюджет. Отчёт занимает два абзаца: что говорило правило решения, какой вышел фактический результат и что теперь будет с бюджетом. Рон Кохави, Алекс Денг, Роджер Лонгботэм и Я Сюй в работе «Seven Rules of Thumb for Web Site Experimenters», представленной на конференции KDD в 2014 году, говорят о близком: ценность программы экспериментов зависит не только от корректного проведения тестов, но и от того, насколько последовательно команда действует по их результатам, включая отрицательные.
| Элемент | Что в нём записано | Задаётся до запуска |
|---|---|---|
| Гипотеза | Конкретное утверждение, которое может оказаться неверным | Да |
| Правило решения | Метрика, порог и объём выборки, при которых тест завершается, и действие для каждого исхода | Да |
| Минимальный бюджет | Расходы, достаточные для выборки, которая нужна правилу решения; нижняя граница, а не потолок | Да |
| Окно измерения | Фиксированные даты начала и конца или фиксированный объём выборки, в зависимости от правила решения | Да |
| Владелец результата | Человек, который в назначенную дату докладывает итог, выигрыш или проигрыш | Да |
Эта таблица и есть весь дизайн. Новые сервисы не нужны. Нужно записать пять вещей до того, как первый рубль уйдёт в канал, и выполнить последнюю строку, даже когда ответ неприятный.
Закрыть канал — конкретное действие, а не размытое «отложим». В дату из правила решения бюджет перераспределяется. Канал записывается в журнал как протестированный, с фактическим результатом, чтобы через полгода его не тестировали вслепую. Причина проигрыша — стоимость, таргетинг, креатив или несовпадение с аудиторией — тоже записывается, чтобы следующий тест в похожем канале начинался умнее.
Эта дисциплина — часть подхода, который мы описываем в разделе о системах роста и в практике Growth Lab: гипотеза, действие, данные и вывод, который ведёт к следующему решению, по расписанию, хорошие новости или нет. Если ваши тесты каналов теряют темп на втором-третьем месяце, дальше стоит прочитать наш чек-лист аудита маркетинга и вопросы об ответственности из статьи о роли RevOps-менеджера. Если хотите, чтобы кто-то со стороны посмотрел на конкретный тест, напишите нам.
Длительность считают от объёма выборки, который нужен правилу решения, а не по привычке «прогоним квартал». Если для читаемого результата нужно несколько сотен целевых заявок на канал, тест идёт до этого числа или до жёсткого потолка бюджета, смотря что наступит раньше.
Это заранее записанное условие: какой результат завершает тест и что происходит дальше. Например, если стоимость целевой заявки после набора нужной выборки выше заданной суммы, канал закрываем, если ниже или равна, масштабируем. Без такого правила любой результат можно трактовать в обе стороны.
Если многократно проверять значимость и останавливать тест, как только результат выглядит хорошо, доля ложноположительных выводов становится намного выше заявленного уровня значимости. Это описано в известном разборе Эвана Миллера и в исследованиях Рона Кохави и соавторов. Решение простое: объём выборки задаётся заранее, смотрим один раз.
Человек, предложивший канал, пишет короткий отчёт: что тестировали, какой получился результат относительно правила решения и куда переходит бюджет. Отчёт уходит тому, кто утверждал тест, в дату, назначенную при запуске, а не по запросу.