Статистическая значимость — это показатель того, насколько маловероятно, что наблюдаемая разница между группами в эксперименте возникла случайно. Если результат значим, ему можно доверять сильнее, чем простому совпадению.
Представьте, что вы подбросили монету 10 раз и получили 7 орлов. Это не доказывает, что монета «нечестная»: такое бывает случайно. А 700 орлов из 1000 уже подозрительно. Так и в A/B-тесте: небольшая разница на малой выборке может быть шумом, а та же разница на большой выборке — настоящим эффектом.
Количественно значимость описывают p-значением: это вероятность увидеть такую или большую разницу, если на самом деле эффекта нет. Принятый в бизнесе порог — p меньше 0,05, то есть риск ошибиться не более 5%. Часто говорят о «95%-й значимости». Это условность, а не закон природы: для дорогих решений порог можно сделать строже.
Пример
Вариант A конвертирует в заявку 4,0%, вариант B — 4,6%. Выглядит, что B лучше. Но если в каждой группе по 300 посетителей, разница — это несколько заявок, и она вполне может быть случайной. При тысячах посетителей на группу та же разница уже может оказаться значимой. Значимость зависит от размера выборки, разброса данных и величины эффекта.
Как проверить значимость
- До начала теста оцените, сколько посетителей нужно, чтобы заметить ожидаемую разницу. Для этого есть онлайн-калькуляторы размера выборки.
- Не смотрите на итоги раньше времени и не останавливайте тест при первом «зелёном» результате.
- После окончания используйте калькулятор значимости или встроенный отчёт сервиса.
- Посмотрите не только p-значение, но и размер эффекта и доверительный интервал.
- Оцените практический смысл: рост на 0,1% может быть значимым, но не стоить усилий.
Типичные ошибки
- Путать значимость с важностью: значимый эффект бывает ничтожным.
- Подглядывать в результаты каждый день и останавливаться на удачном моменте. Это сильно увеличивает риск ложного вывода.
- Проверять много метрик и сегментов, а потом радоваться единственной «значимой».
- Считать p-значение вероятностью того, что гипотеза верна. Это не так.
Чем отличается от практической значимости
Статистическая значимость говорит, что эффект, скорее всего, существует. Практическая — что он достаточно велик, чтобы окупить внедрение. Нужны оба условия.
Частый вопрос
Достаточно ли 95% значимости, чтобы принять вариант? Это необходимое, но не единственное условие. Нужно ещё, чтобы тест длился полный цикл, выборка была достаточной, а размер эффекта оправдывал изменение.