Калькулятор A/B-тестов: как пользоваться

Как заранее предугадать, насколько удачным будет нововведение? Можно ввести новую фишку на сайт и посмотреть, как на нее откликнутся посетители. Но если идея окажется неудачной, она принесет вам убытки. Возможно, немалые. Чтобы оценивать качество новых идей для сайта, можно использовать метод А/В-тестирования — он позволяет снизить риски, но довольно точно определить, насколько удачным окажется нововведение.

Немного об А/В-тестировании

Сегодня тесты используются не только для наружной рекламы и подобных оффлайн-кампаний, но и для оценки эффективности идей для сайта. По словам специалистов ROMI center, суть А/В-теста заключается в следующем:

1. Вы создаете копию сайта, но с введенным изменением. Например, вам пришло в голову, что синий цвет фона сможет привлечь больше продаж, чем текущий серый.

2. Небольшую часть рекламного трафика вы направляете на новый тестовый сайт. Для большинства пользователей продолжает действовать старый, с серым фоном.

3. По действиям этой тестовой группы вы сможете узнать, поможет ли новый дизайн в достижении поставленной цели.

А/В-тест можно использовать не только для идей, призванных увеличить прибыль, но и вообще любых изменений, которые преследуют определенную цель. Например, если вам важно, чтобы пользователи смотрели конкретное видео на странице, вы можете запустить А/В-тест, изменив макет сайта. Потом вы проверите, где посетители чаще кликали на видео — на тестовом сайте или на обычном.

Как пользоваться калькулятором

Чтобы А/Б-тестирование прошло успешно, нужно правильно интерпретировать его результаты. В этом вам поможет калькулятор.

Чтобы пользоваться калькулятором, надо определить статистическую значимость теста. Что это означает? Предположим, что вы запустили тестовый сайт, и он показал результаты, на 1% превышающие результаты основного сайта. Значит ли это, что идея оказалась удачной? Скорее всего, нет — результаты теста могут искажаться погрешностью. Чем меньше людей посетили тестовый сайт, тем больше должна быть разница между результатами, чтобы она оказалась статистически значимой. Для большинства ситуаций подходит значимость в 95%. Это означает, что пятипроцентная разница между результатами обоих сайтов не будет считаться успехом тестовой версии.

Калькулятор состоит из двух столбцов. В каждом из них нужно указать количество посетителей — за один и тот же промежуток времени, и конверсий. После этого надо выбрать уровень достоверности или значимости и рассчитать.

Калькуляторы позволяют без лишних хлопот оценить эффективность нововведений и решить, стоит ли внедрять интересную, но рискованную идею на свой сайт.