Представьте, что вы поменяли креатив и запустили его на новую аудиторию. Заявок стало больше. Что повлияло на результат — объявление, аудитория или их сочетание? От ответа зависит, что делать дальше с рекламой и бюджетом.

A/B-тестирование — это сравнение двух вариантов в сопоставимых условиях. Если хотите понять, как на результат повлиял конкретный параметр, меняйте его отдельно.

1. Выберите, что хотите проверить

🎨 Креативы на одной аудитории. Например, сравните фото и видео для рекламы одной услуги. У обоих объявлений одинаковые настройки аудитории, предложение, посадочная страница и цель кампании. Меняется только креатив. Если в рекламном кабинете есть режим A/B-теста, используйте его. При обычном запуске алгоритм может отдавать одному объявлению больше показов, и сравнивать результаты будет сложнее.

👥 Аудитории с одним креативом. Например, проверьте, где целевые заявки обходятся дешевле — на широкой аудитории или аудитории по интересам. Используйте одно объявление, предложение и посадочную страницу. Меняются настройки таргетинга.

💰 Предложения. Сравните скидку 10% и бесплатную доставку на одной аудитории. Сохраните формат объявления и измените условия для клиента. При оценке учитывайте, сколько бизнес зарабатывает с заказа по каждому предложению.

🌐 Посадочные страницы. Направьте посетителей с одного объявления на две версии страницы: в одной форме пять полей, в другой — три. Сравните долю посетителей, которые оставили целевую заявку.

Если хотите проверить и креативы, и аудитории, проведите два отдельных теста. Сначала сравните креативы на одной аудитории. Затем возьмите один креатив и сравните аудитории. Креатив, который хорошо сработал в первой аудитории, может показать другой результат в следующей.

2. Заранее выберите главный показатель

Начните с решения, которое хотите принять. Если нужно понять, на какое объявление перевести бюджет, чтобы получать больше целевых обращений, главным показателем может быть стоимость целевой заявки.

Допустим, на каждое объявление потратили по 1 млн сумов:

  • Вариант A: 200 кликов и 10 целевых заявок. Стоимость целевой заявки — 100 000 сумов.
  • Вариант B: 150 кликов и 20 целевых заявок. Стоимость целевой заявки — 50 000 сумов.

По кликам впереди A, по стоимости целевой заявки — B. Если вы заранее выбрали стоимость заявки главным показателем, именно по ней оценивайте результат. Прежде чем переводить бюджет, проверьте, достаточно ли данных и как заявки каждого варианта переходят в продажи.

До запуска договоритесь с отделом продаж, что считать целевой заявкой, где брать данные и сколько времени давать на проверку обращения. Эти правила должны быть одинаковыми для обоих вариантов.

3. Определите, сколько данных нужно

Допустим, сейчас заявку оставляют 3 из 100 посетителей сайта. Вы хотите проверить, поднимет ли короткая форма конверсию с 3% до 4%. При равном трафике для такого сравнения понадобится около 5 300 посетителей на каждую версию при уровне значимости 5% и мощности 80%. Это ориентир для сравнения двух долей; расчёт зависит от выбранного метода и условий эксперимента.

Для планирования нужны две цифры: текущий результат и минимальное улучшение, которое имеет смысл для бизнеса. Чем меньше разница, которую вы хотите заметить, тем больше посетителей понадобится.

Запускайте варианты одновременно. До старта зафиксируйте нужный объём данных, минимальную длительность теста и время на обработку последних заявок. Если один вариант вырвался вперёд на третий день, продолжайте тест по плану.

4. Проверьте, можно ли принять решение

Сначала убедитесь, что набрали нужный объём данных и что в обоих вариантах заявки учитывались по одним правилам. Затем ответьте на два вопроса.

Насколько уверенно видна разница? Например, конверсия выросла с 3% до 4%. Посмотрите на доверительный интервал — диапазон, который показывает, насколько точно оценена разница. Если он допускает и рост, и падение, данных пока недостаточно, чтобы уверенно выбрать победителя.

Достаточно ли велика разница для бизнеса? Даже если рост подтверждается, оцените, сколько дополнительных целевых заявок он может дать за месяц, сколько из них могут стать продажами и оправдает ли это затраты на внедрение.

📋 Карточка маркетингового эксперимента

До запуска

  • Бизнес-вопрос и решение. Что хотим выяснить и какое решение примем по итогам? ___
  • Гипотеза. Если мы изменим ___, то ожидаем, что ___, потому что ___.
  • Варианты теста. A — текущий вариант ___ / B — новый вариант ___. Какой параметр проверяем? ___
  • Условия запуска. Канал и аудитория ___ / какие настройки показа и правила учёта одинаковы для A и B ___.
  • Главный показатель. Что измеряем ___ / как считаем ___ / откуда берём данные ___ / за какой период учитываем результат ___.
  • Критерий успеха. Текущий результат ___ / минимальное улучшение, ради которого стоит внедрять изменение ___ / допустимые пороги по другим важным показателям ___.
  • Выборка и срок. Сколько данных нужно на вариант ___ / минимальная длительность теста ___ / когда учтём последние заявки или продажи ___.

После завершения

  • Проверка данных. Набрали ли запланированный объём? Одинаково ли учитывались результаты A и B? Были ли сбои или изменения во время теста? ___
  • Результат. A ___ / B ___ / разница ___ / насколько точно измерена разница и достигнут ли порог, важный для бизнеса ___.
  • Решение и следующий шаг. Внедряем B, оставляем A или планируем дополнительную проверку. Решение и причина ___ / ответственный ___ / срок ___.