Никита АлимпиевNikAlimp

Мультивариантное тестирование

Multivariate Testing

Мультивариантное тестирование (multivariate testing, MVT) — это метод, при котором одновременно проверяют несколько изменений на одной странице или в одном экране и смотрят, какое сочетание даёт лучший результат. В отличие от обычного A/B-теста (A-B-тест) сравнивают не две версии целиком, а комбинации элементов.

Например, на странице можно менять заголовок (2 варианта), главное изображение (2 варианта) и текст кнопки (3 варианта). Всего получится 2 × 2 × 3 = 12 комбинаций. Каждому посетителю случайно показывают одну из них, а система считает конверсию по каждой комбинации и вклад каждого элемента отдельно. Так можно понять не только какая версия лучше, но и какой элемент на самом деле влияет.

Главное ограничение — трафик. Чем больше комбинаций, тем меньше людей попадает в каждую, и тем дольше нужно ждать статистической значимости (Статистическая значимость). Для 12 комбинаций нужно в 6 раз больше посетителей, чем для двух версий. Поэтому мультивариантные тесты применяют на страницах с большой посещаемостью, например на главной или карточке товара.

Тесты запускают в сервисах для экспериментов: Varioqub в Яндекс Метрике, VWO, Optimizely, а также собственные решения на feature flags (Feature flag). Google Optimize закрыт в 2023 году.

Чем отличается от A/B-теста

  • A/B-тест сравнивает 2 версии целиком, а MVT — комбинации нескольких элементов.
  • A/B-тест нужно меньше трафика, MVT — значительно больше.
  • A/B-тест отвечает «какая версия лучше», MVT — «какой элемент и какое сочетание работают».
  • MVT показывает взаимодействие элементов: заголовок может работать только с определённой картинкой.

Как провести

  1. Сформулируйте гипотезу (Гипотеза) и выберите одну целевую метрику.
  2. Определите 2⁠–⁠3 элемента и по 2⁠–⁠3 варианта каждого, не больше.
  3. Оцените нужный трафик и убедитесь, что хватит на 2⁠–⁠4 недели.
  4. Запустите тест, не меняя условия и не подглядывая в результаты каждый день.
  5. Остановите тест, когда достигнута значимость и прошло полное число недельных циклов.
  6. Внедрите лучшую комбинацию и зафиксируйте выводы.

Типичные ошибки

  • Тестировать слишком много комбинаций на малом трафике.
  • Останавливать тест при первом «победителе».
  • Менять страницу во время теста.
  • Забывать про сезонность и дни недели.

Кому и когда это нужно

Метод подходит сайтам и сервисам с высокой посещаемостью, где нужно отполировать ключевую страницу: главную, форму заявки, карточку товара. Для небольших проектов он избыточен, поэтому им лучше начать с обычных A/B-тестов с одним изменением.

Частый вопрос

Когда выбрать мультивариантный тест вместо A/B? Когда нужно понять вклад нескольких элементов сразу и у страницы большой трафик. Если трафика мало, лучше проводить последовательные A/B-тесты, меняя по одному элементу.

Веб-сервис

Личный кабинет, админка или MVP под ключ

Next.js и Supabase, спецификация до старта и фиксированная цена. MVP — от 4 недель, клиентская часть — от 300 000 ₽.

Или написать в Telegram

Удобнее голосом? Запишитесь на 30 минут в Zoom — разберём задачу и решим, с чего начать.