АБ-тест — эффективный инструмент, но есть нюансы.
Когда можно доверять результатам исследования
Многие маркетинговые инструменты были разработаны крупными компаниями и подходят для крупных компаний. Если маркетинговые инструменты работают в Макдональдс или Coca-Cola, то это совсем не значит, что они помогут небольшому магазину или школе.
Одно из назначений АБ-теста — выявление наиболее эффективных заголовков, текстов, элементов оформления с помощью контрольной группы, называемой выборкой. Ключевым моментом в АБ-тесте является размер выборки, при которой можно доверять результату.
Подбрасывая монету, мы понимаем, что выпадение орла и решки равновероятны. Если мы подбросим монету три раза, то мы гарантированно получим недостоверный результат: одна сторона выпадет два раза, другая один или, например, одна сторона может выпасть три раза. Доверять такому эксперименту нельзя.
Если мы подбросим монетку 1000 раз, то естественное искажение результата будет очень слабым, и мы не ошибёмся в своих выводах. От количества подбрасывания зависит истинность выводов.
В маркетинге обычно сравнивают близкие друг другу элементы, разница между вариантами достигает 10-20%. И в этом случае объём выборки, необходимый для принятия верного решения, становится критичным. Если у вас небольшой рекламный бюджет, то АБ-тест может затянуться.
Рассчитать необходимый размер выборки можно с помощью формулы из математической статистики или воспользоваться онлайн-калькулятором, который можно найти в интернете.
Рассмотрим пример.
Сайт имеет конверсию 5%. Сравниваем Вариант 1 и Вариант 2, которые отличаются текстом призыва к действию. Ожидается, что измененный текст призыва к действию в Варианте 2 сработает лучше и увеличит количество заявок на 20%. То есть конверсия Варианта 2 будет равна 6%.
Заносим данные в калькулятор.
Чтобы получить достоверный результат, нам необходимо показать оба варианта 14 914 пользователям ( 2 х 7 457). Или получить получить примерно 740 заявок! Для некоторых отраслей это полугодовой объём заявок.
А вот реальный пример.
Было два идентичных лендинга. Одно отличие — в Варианте 2 был добавлен всплывающий баннер, который появлялся в момент закрытия сайта пользователем. На всплывающем баннере находился призыв заказать обратный звонок и дополнительная форма связи. Это достаточно известный маркетинговый приём. Такой всплывающий баннер еще называют лидогенератором.
Так как баннер показывался только тем, кто не отправил заявку с обычной формы и в тот момент, когда они закрывали сайт, то понизить конверсию этот элемент никак не мог. Следовательно конверсия Варианта 2 должна быть немного выше или такая же как у Вариант 1.
Прошёл месяц. Получено 270 заявок. Это явно меньше размера достоверной выборки для этого эксперимента. Посмотрим на результаты.
Как видно из скриншота, «Вариант 2 — всплывающее окно» получил на 9% меньше заявок, что противоречит бытовой логике.
Подведение итогов до окончания выборки, даст недостоверный результат и вы не сможете понять какой вариант лендинга даст больше заявок.
Использовать АБ-тестирование — отличная практика, которая подходит не для всех отраслей бизнеса. Как правило она бесполезна для маленьких компаний, где нет больших объёмов продаж. Придётся опираться на опыт и профессионализм вашего интернет-маркетолога.
