Никита АлимпиевNikAlimp

Статистическая значимость

Statistical Significance

Статистическая значимость — это показатель того, насколько маловероятно, что наблюдаемая разница между группами в эксперименте возникла случайно. Если результат значим, ему можно доверять сильнее, чем простому совпадению.

Представьте, что вы подбросили монету 10 раз и получили 7 орлов. Это не доказывает, что монета «нечестная»: такое бывает случайно. А 700 орлов из 1000 уже подозрительно. Так и в A/B-тесте: небольшая разница на малой выборке может быть шумом, а та же разница на большой выборке — настоящим эффектом.

Количественно значимость описывают p-значением: это вероятность увидеть такую или большую разницу, если на самом деле эффекта нет. Принятый в бизнесе порог — p меньше 0,05, то есть риск ошибиться не более 5%. Часто говорят о «95%-й значимости». Это условность, а не закон природы: для дорогих решений порог можно сделать строже.

Пример

Вариант A конвертирует в заявку 4,0%, вариант B — 4,6%. Выглядит, что B лучше. Но если в каждой группе по 300 посетителей, разница — это несколько заявок, и она вполне может быть случайной. При тысячах посетителей на группу та же разница уже может оказаться значимой. Значимость зависит от размера выборки, разброса данных и величины эффекта.

Как проверить значимость

  1. До начала теста оцените, сколько посетителей нужно, чтобы заметить ожидаемую разницу. Для этого есть онлайн-калькуляторы размера выборки.
  2. Не смотрите на итоги раньше времени и не останавливайте тест при первом «зелёном» результате.
  3. После окончания используйте калькулятор значимости или встроенный отчёт сервиса.
  4. Посмотрите не только p-значение, но и размер эффекта и доверительный интервал.
  5. Оцените практический смысл: рост на 0,1% может быть значимым, но не стоить усилий.

Типичные ошибки

  • Путать значимость с важностью: значимый эффект бывает ничтожным.
  • Подглядывать в результаты каждый день и останавливаться на удачном моменте. Это сильно увеличивает риск ложного вывода.
  • Проверять много метрик и сегментов, а потом радоваться единственной «значимой».
  • Считать p-значение вероятностью того, что гипотеза верна. Это не так.

Чем отличается от практической значимости

Статистическая значимость говорит, что эффект, скорее всего, существует. Практическая — что он достаточно велик, чтобы окупить внедрение. Нужны оба условия.

Частый вопрос

Достаточно ли 95% значимости, чтобы принять вариант? Это необходимое, но не единственное условие. Нужно ещё, чтобы тест длился полный цикл, выборка была достаточной, а размер эффекта оправдывал изменение.

Веб-сервис

Личный кабинет, админка или MVP под ключ

Next.js и Supabase, спецификация до старта и фиксированная цена. MVP — от 4 недель, клиентская часть — от 300 000 ₽.

Или написать в Telegram

Удобнее голосом? Запишитесь на 30 минут в Zoom — разберём задачу и решим, с чего начать.