Сплит-тест (A/B-тест) — это эксперимент, в котором аудиторию случайно делят на группы и показывают каждой свой вариант страницы, кнопки или текста, чтобы по данным понять, какой вариант работает лучше.
Идея проста: вместо споров «какой заголовок лучше» вы показываете половине посетителей заголовок A, другой половине — заголовок B и сравниваете конверсию. Условия у групп одинаковы, поэтому разницу в результате можно приписать изменению, а не случайности или сезону. Тот же принцип лежит в основе клинических испытаний.
Если вариантов больше двух, тест называют A/B/n. Если меняют несколько элементов одновременно и смотрят их сочетания, это Мультивариантное тестирование. Для запуска используют специальные сервисы или собственный код; в России часто применяют возможности Яндекс Метрики и сторонних платформ. Подробнее об обычном формате см. A-B-тест.
Пример
На лендинге есть кнопка «Оставить заявку». Гипотеза: «Получить расчёт за 5 минут» убедит лучше. Трафик делится поровну, 14 дней на странице работают два варианта. Если конверсия во втором выше и разница статистически значима, его оставляют. Если разницы нет, ничего не потеряно, кроме времени.
Как провести сплит-тест
- Сформулируйте гипотезу: что меняем и какой эффект ожидаем.
- Выберите одну главную метрику, например конверсию в заявку.
- Оцените, сколько посетителей нужно, чтобы заметить ожидаемую разницу.
- Разделите трафик случайно и поровну, меняйте одну вещь за раз.
- Не останавливайте тест раньше срока, даже если один вариант вырвался вперёд.
- Проверьте значимость, примите решение и запишите вывод.
Типичные ошибки
- Слишком мало трафика: результат случаен, и по нему нельзя принимать решения.
- Остановка теста при первом «победителе».
- Одновременное изменение нескольких вещей без возможности понять, что сработало.
- Тест в период акции или праздников, когда поведение необычное.
- Игнорирование разных сегментов: на мобильных и на компьютерах победитель может отличаться.
Кому и когда это нужно
Сплит-тесты имеют смысл при стабильном трафике, который даёт достаточно конверсий. Для сайта с десятком заявок в месяц тест будет идти месяцами, лучше опираться на интервью, записи сессий и здравый смысл.
Пример вывода
После теста запишите вывод одним предложением: «Заголовок с выгодой увеличил конверсию с 3,1% до 3,6%, различие значимо, оставляем». Такие записи накапливаются в журнал экспериментов и не дают через год проверять то же самое снова.
Частый вопрос
Сколько должен длиться сплит-тест? Пока не наберётся заранее рассчитанное число посетителей, и не меньше одного–двух полных недель, чтобы учесть разницу между днями недели. Останавливать тест раньше срока нельзя: ранние результаты часто оказываются случайными.