A/B-тест — это эксперимент, в котором две версии страницы, письма или функции одновременно показывают разным группам пользователей и сравнивают, какая из них лучше достигает цели. Версию A называют контрольной, версию B — вариантом с изменением.
Пользователей случайно делят на группы, чтобы различались только версии, а не аудитория. Затем измеряют одну заранее выбранную метрику, например конверсию в заявку или клик по кнопке, и проверяют, не случайна ли разница. Для этого используют статистическую значимость: она показывает, насколько вероятно, что разница получилась просто по случайности. Метод пришёл из медицины и статистики и стал стандартом в продуктовой аналитике, потому что заменяет споры «мне кажется» цифрами.
Пример
На сайте студии кнопка «Оставить заявку» синяя. Команда делает вариант B с оранжевой кнопкой и текстом «Получить расчёт». Половина посетителей видит A, половина B. Через две-три недели выясняется, что B даёт больше заявок, и разница выходит за пределы случайных колебаний. Тогда B выкатывают на всех.
Как провести A/B-тест
- Сформулируйте гипотезу: «Если заменить текст кнопки, конверсия в заявку вырастет».
- Выберите одну главную метрику и заранее решите, какой рост считаете значимым.
- Оцените нужный размер выборки: при малом трафике тест может не показать разницу никогда.
- Запустите обе версии одновременно и на случайных группах.
- Не останавливайте тест раньше срока, даже если один вариант внезапно лидирует.
- Дождитесь полных недельных циклов: в выходные поведение отличается от будней.
- Оцените результат, примите решение и запишите вывод.
Типичные ошибки
- Подсматривать в результат каждый день и останавливать тест при первой удачной разнице.
- Менять несколько элементов сразу и не знать, что именно сработало. Для такого есть Мультивариантное тестирование, но ему нужно много трафика.
- Запускать тест на сотне посетителей.
- Сравнивать версии в разное время, например A в январе, B в феврале.
- Игнорировать побочные метрики: рост кликов не нужен, если упали оплаты.
Чем отличается от мультивариантного теста
A/B проверяет одно изменение или два целых варианта. Мультивариантный тест комбинирует несколько элементов одновременно, поэтому требует кратно больше трафика.
Кому и когда это нужно
Продуктам и сайтам с достаточным потоком посетителей. Для сайта с парой сотен визитов в месяц лучше делать выводы по интервью и поведению в Яндекс Метрике, чем гонять тесты.
Частый вопрос
Сколько времени нужно держать A/B-тест? Пока не наберётся заранее рассчитанный объём выборки, и не меньше одного-двух полных недель. Срок зависит от трафика и ожидаемой разницы, поэтому его считают до запуска, а не по ощущениям.