Большинство тестов нового рекламного канала заканчиваются не решением. Они заканчиваются, когда кончился бюджет, поменялась атрибуция или все тихо перестали открывать дашборд.
Тестирование рекламных каналов чаще всего затухает по четырём повторяющимся причинам. Тест запускают без правила решения, поэтому никто не знает, какой результат его завершит. Бюджет слишком мал, чтобы отличить результат от случайного шума, и команда принимает колебания за тренд. Посреди теста меняется определение конверсии или атрибуция, и первая неделя перестаёт быть сопоставимой с десятой. Когда канал проигрывает, нет человека, который обязан доложить об этом, поэтому результат не обсуждают, а канал не закрывают. Тест, который доживает до решения, имеет записанную гипотезу, правило решения до запуска, минимальный бюджет, достаточный для понятного результата, и фиксированное окно измерения. Если канал проиграл, тот же человек, который его предложил, в заранее назначенный день докладывает, почему так вышло и куда переходит бюджет. Это касается любого канала: Яндекс Директа, VK Рекламы, посевов в Telegram или карт, и клиники здесь не исключение, а частый случай.
Тест канала редко закрывают на совещании, где кто-то решает его остановить. Он умирает постепенно: дашборд открывают всё реже, бюджет тихо возвращается в канал, которому все и так доверяют, а через три месяца никто не может сказать, сработал ли тест. Причина в том, что заранее никто не договорился, что значит «сработал».
Тест рекламного канала — это ограниченная по бюджету и сроку проверка нового канала привлечения по заявленной гипотезе, которая к назначенной дате должна дать решение: оставить канал или закрыть.
Четыре причины повторяются у самых разных команд, от онлайн-сервисов до клиник, которые пробуют новый канал записи пациентов. Они усиливают друг друга: у теста без правила решения обычно нет и минимального бюджета, потому что никто не считал расходы под цель, которую это правило задало бы.
Обычно у теста есть подобие гипотезы: «попробуем VK Рекламу и посмотрим, как пойдёт». Это направление, а не правило решения. Правило решения до первого потраченного рубля говорит, какой результат завершает тест и какое действие следует за каждым исходом. Без него результат на границе допустимого обсуждают ещё месяц, а плохой результат объявляют «пока рано судить».
Записывать правило до запуска неприятно, потому что оно обязывает: «закрываем тест, если стоимость целевой заявки выше 2 500 ₽ после 300 заявок». Такое утверждение можно опровергнуть. «Посмотрим, как пойдёт» опровергнуть нельзя, а спор, который никто не оформил как ставку, невозможно проиграть. Сумма и порог здесь условные, для иллюстрации.
Маленький бюджет в канале с дорогой целевой заявкой даёт маленькую выборку, а по маленькой выборке хороший канал не отличить от посредственного. Средняя стоимость заявки на небольшой выборке легко гуляет на 30–40% в обе стороны. Команда, которая читает эти колебания как тренд, со временем ошибается в обе стороны.
Правило действует в любой отрасли, но клиникам стоит помнить: креативы и формулировки в маленьком быстром тесте проходят ту же проверку, что и в полноценной кампании. Часть 7 статьи 24 закона № 38-ФЗ «О рекламе» требует, чтобы реклама медицинских услуг сопровождалась предупреждением о наличии противопоказаний и необходимости получить консультацию специалиста. Маленький бюджет не освобождает тест от согласования.
Общая информация, не юридическая консультация по конкретному случаю.Известное эссе Эвана Миллера «How Not To Run an A/B Test» формулирует суть прямо: расчёт значимости предполагает, что объём выборки зафиксирован заранее. Если вместо этого вести тест, пока не появится разница, заявленная значимость теряет смысл. Та же логика работает для тестов каналов, которые оценивают по стоимости заявки или конверсии. Задайте минимальный бюджет от объёма выборки, который нужен правилу решения, и считайте его нижней границей обязательств, а не потолком, который можно урезать, когда квартал становится тесным.
Тест, который начался при одной модели атрибуции, а закончился при другой, — это два теста, склеенные в один. Чаще так происходит из-за мелких изменений, а не крупных: маркетинг меняет, что считать целевой заявкой, новая UTM-метка меняет, как Яндекс Метрика приписывает конверсии каналу, или после обновления CRM заявка иначе переходит в статус «записан».
Стоматологическая клиника десять недель сравнивала VK Рекламу и Яндекс Директ. На шестой неделе колл-центр ужесточил определение целевой заявки: теперь она засчитывалась только после записи на приём, а не после того, как человек оставил телефон. Стоимость целевой заявки выросла в обоих каналах, и команда решила, что оба канала проседают, хотя поменялась только линейка. Такая ситуация встречается достаточно часто, чтобы описать её в общем виде. Это не конкретный клиентский кейс.
Лечится это процедурой. На время теста заморозьте определение конверсии, окно атрибуции и настройку отслеживания. Если изменение неизбежно, начните окно измерения заново, а не сшивайте «до» и «после».
Длинный цикл сделки делает проблему острее. В клинике от первого клика до первичного приёма и тем более до оплаченного плана лечения, например имплантации, могут пройти недели. Тест, который смотрит только на ранние заявки, покажет результат раньше, чем проявится настоящая конверсия канала. Заранее решите, по какой метрике читаете тест: по опережающей, например записям на приём, или по запаздывающей, например оплаченным планам лечения. Держите этот выбор всё окно, а не переключайтесь посреди теста на ту метрику, которая выглядит лучше.
Проигравший канал сам о себе не доложит. Если никто не назначен ответственным за отчёт о проигрыше, тест просто перестают обсуждать, бюджет утекает обратно в привычный канал, а через полгода та же непроверенная идея всплывает снова, и никто не помнит, что она уже проваливалась.
Исправление ничего не стоит, кроме дисциплины. Тот, кто предлагает тест канала, отвечает и за отчёт о его исходе в дату, указанную в правиле решения, перед тем, кто утвердил бюджет. Отчёт занимает два абзаца: что говорило правило решения, какой вышел фактический результат и что теперь будет с бюджетом. Рон Кохави, Алекс Денг, Роджер Лонгботэм и Я Сюй в работе «Seven Rules of Thumb for Web Site Experimenters», представленной на конференции KDD в 2014 году, говорят о близком: ценность программы экспериментов зависит не только от корректного проведения тестов, но и от того, насколько последовательно команда действует по их результатам, включая отрицательные.
| Элемент | Что в нём записано | Задаётся до запуска |
|---|---|---|
| Гипотеза | Конкретное утверждение, которое может оказаться неверным | Да |
| Правило решения | Метрика, порог и объём выборки, при которых тест завершается, и действие для каждого исхода | Да |
| Минимальный бюджет | Расходы, достаточные для выборки, которая нужна правилу решения; нижняя граница, а не потолок | Да |
| Окно измерения | Фиксированные даты начала и конца или фиксированный объём выборки, в зависимости от правила решения | Да |
| Владелец результата | Человек, который в назначенную дату докладывает итог, выигрыш или проигрыш | Да |
Эта таблица и есть весь дизайн. Новые сервисы не нужны. Нужно записать пять вещей до того, как первый рубль уйдёт в канал, и выполнить последнюю строку, даже когда ответ неприятный.
Закрыть канал — конкретное действие, а не размытое «отложим». В дату из правила решения бюджет перераспределяется. Канал записывается в журнал как протестированный, с фактическим результатом, чтобы через полгода его не тестировали вслепую. Причина проигрыша — стоимость, таргетинг, креатив или несовпадение с аудиторией — тоже записывается, чтобы следующий тест в похожем канале начинался умнее.
Эта дисциплина — часть подхода, который мы описываем в разделе о системах роста и в практике Growth Lab: гипотеза, действие, данные и вывод, который ведёт к следующему решению, по расписанию, хорошие новости или нет. На русском этот цикл подробнее разобран в статье про HADI-цикл. Если ваши тесты каналов теряют темп на втором-третьем месяце, полезно пройти наш чек-лист аудита маркетинга и посчитать, за сколько окупается реклама в каждом канале. Если хотите, чтобы кто-то со стороны посмотрел на конкретный тест, напишите нам.
Длительность считают от объёма выборки, который нужен правилу решения, а не по привычке «прогоним квартал». Если для читаемого результата нужно несколько сотен целевых заявок на канал, тест идёт до этого числа или до жёсткого потолка бюджета, смотря что наступит раньше.
Это заранее записанное условие: какой результат завершает тест и что происходит дальше. Например, если стоимость целевой заявки после набора нужной выборки выше заданной суммы, канал закрываем, если ниже или равна, масштабируем. Без такого правила любой результат можно трактовать в обе стороны.
Если многократно проверять значимость и останавливать тест, как только результат выглядит хорошо, доля ложноположительных выводов становится намного выше заявленного уровня значимости. Это описано в известном разборе Эвана Миллера и в исследованиях Рона Кохави и соавторов. Решение простое: объём выборки задаётся заранее, смотрим один раз.
Человек, предложивший канал, пишет короткий отчёт: что тестировали, какой получился результат относительно правила решения и куда переходит бюджет. Отчёт уходит тому, кто утверждал тест, в дату, назначенную при запуске, а не по запросу. Канал записывается в журнал тестов вместе с причиной проигрыша.
Большинство агентств отвечают за клик, а за регистратуру не отвечает никто. Как мы строим маркетинг клиники в трёх горизонтах, на каких исследованиях это основано и что дал один год работы.
Пять блоков, у каждого пункта — чёткое условие «зачёт». По этому чек-листу собственник или руководитель маркетинга оценит свою систему до того, как звать подрядчика или покупать новый сервис.
Приходящий директор по маркетингу приносит стратегию и опыт. Без отчётности, порядка в CRM и владельца у каждой цифры результатом его работы станет презентация, а не система.
