Никита АлимпиевNikAlimp

A/B-тест

A/B Test

A/B-тест — это эксперимент, в котором две версии страницы, письма или функции одновременно показывают разным группам пользователей и сравнивают, какая из них лучше достигает цели. Версию A называют контрольной, версию B — вариантом с изменением.

Пользователей случайно делят на группы, чтобы различались только версии, а не аудитория. Затем измеряют одну заранее выбранную метрику, например конверсию в заявку или клик по кнопке, и проверяют, не случайна ли разница. Для этого используют статистическую значимость: она показывает, насколько вероятно, что разница получилась просто по случайности. Метод пришёл из медицины и статистики и стал стандартом в продуктовой аналитике, потому что заменяет споры «мне кажется» цифрами.

Пример

На сайте студии кнопка «Оставить заявку» синяя. Команда делает вариант B с оранжевой кнопкой и текстом «Получить расчёт». Половина посетителей видит A, половина B. Через две-три недели выясняется, что B даёт больше заявок, и разница выходит за пределы случайных колебаний. Тогда B выкатывают на всех.

Как провести A/B-тест

  1. Сформулируйте гипотезу: «Если заменить текст кнопки, конверсия в заявку вырастет».
  2. Выберите одну главную метрику и заранее решите, какой рост считаете значимым.
  3. Оцените нужный размер выборки: при малом трафике тест может не показать разницу никогда.
  4. Запустите обе версии одновременно и на случайных группах.
  5. Не останавливайте тест раньше срока, даже если один вариант внезапно лидирует.
  6. Дождитесь полных недельных циклов: в выходные поведение отличается от будней.
  7. Оцените результат, примите решение и запишите вывод.

Типичные ошибки

  • Подсматривать в результат каждый день и останавливать тест при первой удачной разнице.
  • Менять несколько элементов сразу и не знать, что именно сработало. Для такого есть Мультивариантное тестирование, но ему нужно много трафика.
  • Запускать тест на сотне посетителей.
  • Сравнивать версии в разное время, например A в январе, B в феврале.
  • Игнорировать побочные метрики: рост кликов не нужен, если упали оплаты.

Чем отличается от мультивариантного теста

A/B проверяет одно изменение или два целых варианта. Мультивариантный тест комбинирует несколько элементов одновременно, поэтому требует кратно больше трафика.

Кому и когда это нужно

Продуктам и сайтам с достаточным потоком посетителей. Для сайта с парой сотен визитов в месяц лучше делать выводы по интервью и поведению в Яндекс Метрике, чем гонять тесты.

Частый вопрос

Сколько времени нужно держать A/B-тест? Пока не наберётся заранее рассчитанный объём выборки, и не меньше одного-двух полных недель. Срок зависит от трафика и ожидаемой разницы, поэтому его считают до запуска, а не по ощущениям.

Веб-сервис

Личный кабинет, админка или MVP под ключ

Next.js и Supabase, спецификация до старта и фиксированная цена. MVP — от 4 недель, клиентская часть — от 300 000 ₽.

Или написать в Telegram

Удобнее голосом? Запишитесь на 30 минут в Zoom — разберём задачу и решим, с чего начать.