Мультивариантное тестирование (multivariate testing, MVT) — это метод, при котором одновременно проверяют несколько изменений на одной странице или в одном экране и смотрят, какое сочетание даёт лучший результат. В отличие от обычного A/B-теста (A-B-тест) сравнивают не две версии целиком, а комбинации элементов.
Например, на странице можно менять заголовок (2 варианта), главное изображение (2 варианта) и текст кнопки (3 варианта). Всего получится 2 × 2 × 3 = 12 комбинаций. Каждому посетителю случайно показывают одну из них, а система считает конверсию по каждой комбинации и вклад каждого элемента отдельно. Так можно понять не только какая версия лучше, но и какой элемент на самом деле влияет.
Главное ограничение — трафик. Чем больше комбинаций, тем меньше людей попадает в каждую, и тем дольше нужно ждать статистической значимости (Статистическая значимость). Для 12 комбинаций нужно в 6 раз больше посетителей, чем для двух версий. Поэтому мультивариантные тесты применяют на страницах с большой посещаемостью, например на главной или карточке товара.
Тесты запускают в сервисах для экспериментов: Varioqub в Яндекс Метрике, VWO, Optimizely, а также собственные решения на feature flags (Feature flag). Google Optimize закрыт в 2023 году.
Чем отличается от A/B-теста
- A/B-тест сравнивает 2 версии целиком, а MVT — комбинации нескольких элементов.
- A/B-тест нужно меньше трафика, MVT — значительно больше.
- A/B-тест отвечает «какая версия лучше», MVT — «какой элемент и какое сочетание работают».
- MVT показывает взаимодействие элементов: заголовок может работать только с определённой картинкой.
Как провести
- Сформулируйте гипотезу (Гипотеза) и выберите одну целевую метрику.
- Определите 2–3 элемента и по 2–3 варианта каждого, не больше.
- Оцените нужный трафик и убедитесь, что хватит на 2–4 недели.
- Запустите тест, не меняя условия и не подглядывая в результаты каждый день.
- Остановите тест, когда достигнута значимость и прошло полное число недельных циклов.
- Внедрите лучшую комбинацию и зафиксируйте выводы.
Типичные ошибки
- Тестировать слишком много комбинаций на малом трафике.
- Останавливать тест при первом «победителе».
- Менять страницу во время теста.
- Забывать про сезонность и дни недели.
Кому и когда это нужно
Метод подходит сайтам и сервисам с высокой посещаемостью, где нужно отполировать ключевую страницу: главную, форму заявки, карточку товара. Для небольших проектов он избыточен, поэтому им лучше начать с обычных A/B-тестов с одним изменением.
Частый вопрос
Когда выбрать мультивариантный тест вместо A/B? Когда нужно понять вклад нескольких элементов сразу и у страницы большой трафик. Если трафика мало, лучше проводить последовательные A/B-тесты, меняя по одному элементу.