Тестирование креативов: как построить систему

Автор

У термина нет автора; практика performance-маркетинга, выросшая из копи-тестов и экспериментов на разделённом кабельном ТВ, копи-тесты на разделённом кабельном ТВ изучают с 1980-х; A/B-инструменты платформ — с конца 2010-х

Уровень

201 · Инструмент

Подходит

стартап, малый и средний бизнес, растущая компания

Время на внедрение

день на запуск первого теста концепций; от двух до четырёх недель на каждый тест, чтобы прочитать результат

Что понадобится

событие-конверсия, под которое платформа может оптимизировать показ и которое срабатывает стабильно (покупка, заявка, запись) · бюджет примерно на 50 конверсий на каждую группу теста за период теста · три–пять разных креативных концепций, каждая на одном отдельном сообщении · журнал тестов: гипотеза, переменная, даты, расход, результат, решение

Система тестирования креативов — постоянный порядок работы, по которому решают, какие объявления запускать. Команда сначала сравнивает разные идеи, затем версии победившей, каждый раз в случайной разбивке и с одной переменной, и меняет объявления до того, как они надоедят аудитории. У термина нет автора. Он вырос из копи-тестов на телевидении и экспериментов на разделённом кабельном ТВ 1980-х, а сегодня это обычная практика для всех, кто покупает рекламу в Meta (принадлежит компании Meta, признанной экстремистской организацией и запрещённой в России), TikTok, YouTube и Google.

Сейчас такой порядок важнее, чем раньше: рекламные платформы забрали на себя почти весь таргетинг и управление ставками. Креатив остался одним из немногих рычагов, которыми рекламодатель управляет напрямую.

Какая доля результата рекламы приходится на креатив

На креатив приходится большая доля эффекта рекламы, хотя точная цифра зависит от исследования. Чаще всего цитируют 47%. Цифра настоящая, но говорит о меньшем, чем думают те, кто её повторяет.

Она взята с диаграммы в статье Nielsen за октябрь 2017 года под заголовком «доля вклада в продажи по элементам рекламы». В сноске указаны Nielsen Catalina Solutions и почти 500 кампаний с 2016 года по первый квартал 2017-го. Из текста статьи следует, что это кампании товаров повседневного спроса (FMCG) на ТВ, в цифровом видео, мобильной рекламе, журналах и на радио.

Здесь три оговорки. 47% — доля прироста продаж, который дала реклама, а не доля всех продаж. Выборка — бренды упакованных товаров, а не установки приложений и не лидогенерация. А та же статья Nielsen говорит, что в более раннем исследовании, Project Apollo 2006 года, доля креатива составляла 65%, а доля медиа за 11 лет выросла с 15% до 36%. Google приводит число другого рода: объявления, которые следуют принципам ABCD, показывают «рост вероятности краткосрочных продаж на 30%», как сказано на Think with Google. Кейс Kantar показывает, что это прогноз модели по оценке более чем 11 000 объявлений, а не измеренные продажи. Честный итог: креатив обычно самый крупный из факторов, но ни одно число нельзя переносить на ваш аккаунт.

Тесты концепций и тесты исполнения

Тест концепции сравнивает разные сообщения. Тест исполнения сравнивает версии одного сообщения. Различие важно, потому что у них разные вопросы и разные бюджеты.

Google проводит ту же границу с другой стороны. В его руководстве по ABCD сказано, что принципы — «не формула генерации креативных идей», а только способ исполнить уже выбранную идею. Леонард Лодиш (Leonard Lodish) с коллегами проанализировал 389 тестов на разделённом кабельном ТВ и выяснил, что изменение бренда, текста и медиастратегии повышало вероятность эффекта на продажи в некоторых категориях, а обычные показатели запоминания и убеждения с продажами связаны слабо. Оценивайте креатив по продажам или конверсиям, а не по тому, насколько он понравился.

Почему сравнение объявлений в одной группе — не тест

Платформы показывают ваши объявления не случайным людям. На странице Meta о показе рекламы сказано, что при нескольких объявлениях в группе система показывает каждому человеку то, которое с наибольшей вероятностью даст самую низкую стоимость результата, так что показы распределяются неравномерно. Объявление, победившее внутри группы, могло просто достаться более лёгким покупателям.

Дин Эклс, Бретт Гордон и Гаррет Джонсон (Dean Eckles, Brett Gordon, Garrett Johnson) писали об этом в PNAS в 2018 году: при сравнении рекламных кампаний на обычной платформе пользователи не распределяются случайно, а оптимизация делает показанные группы разными. Майкл Браун и Эрик Шварц (Michael Braun, Eric Schwartz) пошли дальше в Journal of Marketing: они назвали это расходящимся показом и показали, что он может исказить размер и даже знак результата теста.

На практике помогает собственный инструмент разбивки платформы. A/B-тест Meta гарантирует, что «никто не видит обе» версии. Пользовательские эксперименты Google Ads рекомендуют разбивку 50% по cookie, чтобы каждый пользователь видел одну версию, а тесты ассетов в Demand Gen позволяют выбрать достоверность 70%, 80% или 95%. Сплит-тест TikTok делит аудиторию на две равные группы и называет победителя при достоверности 90%. Браун и Шварц отмечают предел и здесь: каждая группа всё равно оптимизируется, поэтому результат говорит, какое объявление выигрывает при таргетинге этой платформы, но не почему.

Какого размера должен быть тест

Рекламные тесты шумные, поэтому большинству аккаунтов нужно больше конверсий, чем они ждут. Рэндалл Льюис и Джастин Рао изучили 25 крупных полевых экспериментов и нашли, что медианный доверительный интервал для окупаемости инвестиций шире 100 процентных пунктов. Сравнить два креатива проще, чем измерить общую отдачу, но шум тот же.

Правила платформ задают рабочий минимум. Meta рекомендует не менее семи дней на тест и ограничивает тесты 30 днями. Фаза обучения обычно заканчивается примерно после 50 результатов за неделю, а тестам Demand Gen в Google нужно 50 конверсий на группу, прежде чем появятся результаты. Возьмём аккаунт, где заявка стоит 2 000 ₽: две группы по 50 заявок обойдутся примерно в 200 000 ₽. Если это больше месячного бюджета, тестируйте меньше, но смелее, вместо множества мелких правок.

Выгорание креатива: когда обновлять

Выгорание креатива — падение результатов, когда одни и те же люди слишком часто видят одно и то же объявление. Бобби Колдер и Брайан Стернтал (Bobby Calder, Brian Sternthal) описали износ рекламных роликов в 1980 году: повторы снижали мнение зрителей и о рекламе, и о продуктах. Маргарет Блэр, изучив около 100 случаев ARS, не нашла реальных свидетельств эффекта «притирки» (wear-in), но износ (wearout) происходит.

Meta теперь подкрепляет это цифрами. На странице о выгорании креатива сказано, что объявление получает статус Creative limited, когда стоимость результата выше, чем у ваших прошлых объявлений, но меньше чем вдвое, и Creative fatigue — когда вдвое выше или больше. Meta считает недавние показы по всем кампаниям вашей Страницы и рекомендует новое объявление, «существенно отличающееся» от прежнего, при этом старое продолжает работать.

Что меняет автоматизация

Автоматизированные инструменты теперь сами делают многие тесты исполнения. Advantage+ creative от Meta подстраивает изображения, текст и видео под каждого зрителя, а инженерная команда Meta строила систему отбора объявлений Andromeda в расчёте на резкий рост числа объявлений из-за генеративного ИИ. Meta также сообщает о росте окупаемости рекламных расходов (ROAS) на 22% у рекламодателей, включивших Advantage+ creative, — это цифра компании, а не независимого теста.

Работа человека смещается к концепциям. Машина может менять заголовок, но не может решить, продавать через цену или через доверие. Продолжайте подавать разные сообщения и считайте каждый тест частью более широкой программы экспериментов, размер которой считайте по минимальному обнаруживаемому эффекту. В работе Pushers по Growth Lab тесты концепций попадают в тот же еженедельный журнал тестов, что и тесты каналов и офферов.

Как применять: Тестирование креативов: как построить систему по шагам

1. Запишите гипотезы как сообщения. Выпишите причины, по которым клиент может купить, по одной в строке: цена, скорость, безопасность, статус, конкретная боль. Превратите каждую в концепцию с одной главной идеей заголовка. Результат: три–пять концепций, которые различаются тем, что говорят, а не цветом или вёрсткой.
2. Запустите тест концепций со случайной разбивкой. Используйте A/B-инструмент или эксперимент платформы, чтобы каждый человек видел только одну группу: A/B-тест в Meta, эксперимент Google Ads с разбивкой по cookie, A/B-тесты ассетов в Demand Gen или сплит-тест в TikTok. Аудитория, бюджет и плейсменты должны быть одинаковыми. Результат: тест концепций с одной переменной и фиксированной датой окончания не раньше чем через семь дней.
3. Судите по стоимости конверсии, а не по кликам. Смотрите на стоимость результата или прирост конверсий с той достоверностью, которую показывает инструмент. CTR решающим показателем не считайте. Результат: одна победившая концепция либо письменная заметка, что ни одна не обогнала остальные и тесту нужен бюджет побольше или концепции посмелее.
4. Протестируйте исполнение победителя. Оставьте победившее сообщение и меняйте по одному элементу: первые три секунды видео, визуал, заголовок, формат. Результат: две–три сильные версии одной идеи, готовые к масштабированию.
5. Масштабируйте и следите за выгоранием. Переведите победителей в основную кампанию и сравнивайте стоимость результата с прошлыми объявлениями. В Meta следите за статусами Creative limited и Creative fatigue. Результат: дата обновления для каждого живого объявления, назначенная до того, как результаты обвалятся.
6. Подкармливайте конвейер каждый месяц. Добавляйте новые концепции по графику и записывайте каждый результат, включая проигрыши. Результат: библиотека проверенных сообщений, которая подсказывает команде, на что реагирует эта аудитория.

Примеры

Bing и заголовок объявления

Рон Кохави и Стефан Томке (Ron Kohavi, Stefan Thomke) рассказывают об идее 2012 года в Microsoft: поменять способ показа заголовков рекламы в Bing. Менеджеры сочли её малоприоритетной, и она пролежала больше полугода. Когда инженер наконец провёл A/B-тест, выручка выросла на 12%, что в США стоило больше 100 млн долларов в год, как пишут авторы в статье Harvard Business Review 2017 года. Вывод для команд креатива: мнения о том, какая версия победит, часто ошибочны, а дешёвый тест решает спор.

Розничный банк и адаптивное распределение

Эрик Шварц, Эрик Брэдлоу и Питер Фейдер (Eric Schwartz, Eric Bradlow, Peter Fader) провели двухмесячную медийную кампанию для крупного розничного банка и набрали больше 750 млн показов. Их адаптивная политика в ходе теста смещала показы к лучше работающим версиям объявлений и подняла долю привлечённых клиентов на 8% по сравнению с контрольной политикой, как написано в их статье 2017 года в Marketing Science. Они же оценили, что привлечение упало бы примерно на 10%, если бы банк оптимизировал показы на клики, а не на регистрации.

Стоматологическая клиника тестирует две концепции

Иллюстративный пример, реальная клиника не подразумевается. Клиника тратит 150 000 ₽ в месяц на рекламу в Meta по примерно 2 000 ₽ за записанную консультацию, то есть около 75 записей. Она тестирует две концепции в A/B-тесте Meta: открытая цена (фиксированная цена имплантации) против уверенности (хирург объясняет процедуру). Если разделить бюджет месяца, в каждой группе выйдет по 37 записей, меньше 50 результатов, которые обычно нужны фазе обучения Meta. Meta ограничивает A/B-тесты 30 днями, поэтому клиника либо поднимает тестовый бюджет до 200 000 ₽ на месяц, либо считает результат ориентировочным. Генеративные ИИ-инструменты для креатива могут быть недоступны рекламодателям из сферы здоровья, поэтому обе концепции снимают вручную.

Когда применять

Применяйте, когда платные соцсети или видео — крупный канал привлечения, когда стоимость привлечения растёт и никто не знает, виноваты объявления, аудитория или оффер, или когда команда делает креативы на вкус и хочет опираться на доказательства. Подходит любому аккаунту, который может купить примерно 50 конверсий на группу за месяц.

Когда не применять

Не запускайте формальные тесты, когда объёма слишком мало и ни одна разбивка не даст результат за 30 дней: выберите смелые концепции, запускайте их одну за другой и судите по бизнес-цифрам. Не используйте метод, чтобы ответить, работает ли реклама вообще. Для этого нужны контрольная группа или исследование прироста, а не сравнение двух объявлений.

Частые ошибки

• Сравнивают объявления внутри одной группы объявлений и называют это тестом. Система показа Meta отдаёт больше показов объявлению, которое, по её прогнозу, победит, поэтому сравнение не случайное.
• Тестируют цвета кнопок и шрифты, пока все объявления говорят одно и то же. Правки исполнения редко спасают слабое сообщение, поэтому начинайте с концепций.
• Выбирают победителей по CTR. Дешёвые клики и покупатели — разные люди, и в исследовании банка выше оптимизация на клики, по оценке, стоила 10% привлечения.
• Останавливают тест через два–три дня, потому что одна группа вырвалась вперёд. Meta рекомендует минимум семь дней, а дольше — если клиенты конвертируются дольше недели.
• Цитируют одну статистику, например «креатив даёт 47% продаж», как закон. Эта цифра взята из кампаний упакованных потребительских товаров, измеренных по приросту продаж, а не из вашего аккаунта.

Вопросы и ответы

Что такое A/B-тестирование рекламных креативов?

Это тест, в котором рекламная платформа случайно делит аудиторию на группы, показывает каждой одну версию объявления и сравнивает стоимость результата. У Meta, Google Ads и TikTok есть инструменты, которые не дают одному человеку увидеть обе версии. Меняйте между версиями что-то одно, иначе не поймёте, что вызвало разницу.

Как долго должен идти тест креативов?

В Meta не меньше семи дней: платформа ограничивает A/B-тесты 30 днями и советует идти дольше, если клиенты конвертируются дольше недели. Закладывайте бюджет примерно на 50 конверсий на группу: фаза обучения Meta обычно заканчивается примерно после 50 результатов, а эксперименты Demand Gen в Google показывают результаты только при 50 конверсиях на группу.

Чем тест концепции отличается от теста исполнения?

Тест концепции сравнивает разные идеи или сообщения, например цену и скорость. Тест исполнения сравнивает версии одной идеи, например два начала одного видео. Концепции обычно двигают результат сильнее, поэтому запускайте их первыми, а победителя шлифуйте тестами исполнения.

Правда ли, что креатив определяет большую часть результата рекламы?

В одном крупном исследовании да. Диаграмма Nielsen 2017 года, построенная на почти 500 кампаниях упакованных потребительских товаров, которые измеряла Nielsen Catalina Solutions, отдала креативу 47% прироста продаж от рекламы, охвату — 22%. Разные выборки дают разные доли, поэтому считайте это свидетельством, что креатив очень важен, а не фиксированным числом.

Как понять, что рекламный креатив выгорел?

Meta отмечает это в колонке «Показ». Creative limited означает, что стоимость результата выше, чем у ваших прошлых объявлений, но меньше чем вдвое; Creative fatigue — вдвое или больше. На других платформах смотрите частоту и стоимость конверсии по неделям: стабильный рост при неизменном таргетинге обычно значит, что аудитория устала от объявления.

Источники

1. Nielsen, When it comes to advertising effectiveness, what is key?, October 2017
2. Meta Business Help Centre, About A/B testing
3. Meta Business Help Centre, Best practices for A/B testing
4. Meta Business Help Centre, About Advantage+ creative
5. Meta Business Help Centre, About creative fatigue recommendations in Meta Ads Manager
6. Meta Business Help Centre, About ad delivery
7. Meta Business Help Centre, About the learning phase
8. Engineering at Meta, Meta Andromeda: Supercharging Advantage+ automation with the next-gen personalized ads retrieval engine, December 2024
9. Google Ads Help, Set up a custom experiment
10. Google Ads Help, About ad variations
11. Google Ads Help, Create A/B experiments for Demand Gen campaigns
12. Think with Google, The ABCDs of effective video ads, April 2022
13. Kantar, Validating Google's ABCD framework with the power of artificial intelligence
14. TikTok Ads Help Center, About split testing
15. Michael Braun, Eric M. Schwartz, Where A/B Testing Goes Wrong: How Divergent Delivery Affects What Online Experiments Cannot (and Can) Tell You About How Customers Respond to Advertising, Journal of Marketing 89(2), 2025
16. Dean Eckles, Brett R. Gordon, Garrett A. Johnson, Field studies of psychologically targeted ads face threats to internal validity, PNAS 115(23), 2018
17. Leonard M. Lodish et al., How T.V. Advertising Works: A Meta-Analysis of 389 Real World Split Cable T.V. Advertising Experiments, Journal of Marketing Research 32(2), 1995
18. Bobby J. Calder, Brian Sternthal, Television Commercial Wearout: An Information Processing View, Journal of Marketing Research 17(2), 1980
19. Margaret Henderson Blair, An Empirical Investigation of Advertising Wearin and Wearout, Journal of Advertising Research (1987; classic reprint 2000)
20. Cornelia Pechmann, David W. Stewart, Advertising Repetition: A Critical Review of Wearin and Wearout, Current Issues and Research in Advertising 11, 1988
21. Randall A. Lewis, Justin M. Rao, The Unfavorable Economics of Measuring the Returns to Advertising, Quarterly Journal of Economics 130(4), 2015
22. Brett R. Gordon, Florian Zettelmeyer, Neha Bhargava, Dan Chapsky, A Comparison of Approaches to Advertising Measurement: Evidence from Big Field Experiments at Facebook, Marketing Science 38(2), 2019
23. Brett R. Gordon et al., A Comparison of Approaches to Advertising Measurement, Kellogg white paper, 2016
24. Eric M. Schwartz, Eric T. Bradlow, Peter S. Fader, Customer Acquisition via Display Advertising Using Multi-Armed Bandit Experiments, Marketing Science 36(4), 2017
25. Ron Kohavi, Stefan Thomke, The Surprising Power of Online Experiments, Harvard Business Review, September-October 2017

Обновлено 15 октября 2026

Илья ПушинОснователь PUSHERS & COO Fintech ServiceИлья строит операционные системы для растущих компаний в медицине и финтехе. С 2021 года руководит трансграничными платежами в ARBI Exchange, лицензированном обменнике в Таиланде, включая KYC, AML и выход в новые юрисдикции.Об автореLinkedIn