АБ-тест — эффективный инструмент, но вам не поможет

Когда можно доверять результатам исследования

Многие маркетинговые инструменты были разработаны крупными компаниями и подходят для крупных компаний. Если маркетинговые инструменты работают в Макдональдс или Coca-Cola, то это совсем не значит, что они помогут небольшому магазину или школе.

Одно из назначений АБ-теста — выявление наиболее эффективных заголовков, текстов, элементов оформления с помощью контрольной группы, называемой выборкой. Ключевым моментом в АБ-тесте является размер выборки, при которой можно доверять результату.

Подбрасывая монету, мы понимаем, что выпадение орла и решки равновероятны. Если мы подбросим монету три раза, то мы гарантированно получим недостоверный результат: одна сторона выпадет два раза, другая один или, например, одна сторона может выпасть три раза. Доверять такому эксперименту нельзя.

Если мы подбросим монетку 1000 раз, то естественное искажение результата будет очень слабым, и мы не ошибёмся в своих выводах. От количества подбрасывания зависит истинность выводов.

В маркетинге обычно сравнивают близкие друг другу элементы, разница между вариантами достигает 10-20%. И в этом случае объём выборки, необходимый для принятия верного решения, становится критичным. Если у вас небольшой рекламный бюджет, то АБ-тест может затянуться на год. Или даже всей вашей целевой аудитории может не хватить для достоверного исследования.

Рассчитать необходимый размер выборки можно с помощью формулы из математической статистики или воспользоваться онлайн-калькулятором, который можно найти в интернете.

Рассмотрим пример.

Сайт имеет конверсию 5%. Сравниваем Вариант 1 и Вариант 2, которые отличаются текстом призыва к действию. Ожидается, что измененный текст призыва к действию в Варианте 2 сработает лучше и увеличит количество заявок на 20%. То есть конверсия Варианта 2 будет равна 6%.

Заносим данные в калькулятор.

Чтобы получить достоверный результат, нам необходимо получить 2 х 7 457 = 14 914 заявок с двух вариантов. Если ежемесячно компания получает 200 заявок, то тестирование займет почти 6 лет.

А вот реальный пример.

Было два идентичных лендинга. Одно отличие — в Варианте 2 был добавлен всплывающий баннер, который появлялось в момент закрытия сайта пользователем. На всплывающем баннере находился призыв заказать обратный звонок и дополнительная форма связи. Такой всплывающий баннер еще называют лидогенератором.

Так как баннер показывался только тем, кто не отправил заявку с обычной формы и в момент, когда они закрывали сайт, то негативно повлиять на статистику этот элемент не мог. Следовательно эффективность Варианта 2 должна быть немного выше.

Прошёл месяц. Получено 270 заявок. Это явно меньше размера достоверной выборки для этого эксперимента. Посмотрим на результаты.

Как видно из скриншота, «Вариант 2 всплывающее окно» получил на 9% меньше заявок, что противоречит здравому смыслу.

То есть подведение итогов до окончания выборки, даст недостоверный результат. Можно отбросить реально работающий механизм привлечения клиентов или наоборот, внедрить что-то отпугивающее клиентов. Это приведет к потери прибыли.

Если функция АБ-теста вшита в автоматическую стратегию таких систем, как Яндекс Директ, Google Ads или Facebook, то в этом случае система принимает решение на основе данных всех пользователей, поэтому тестирование происходит значительно быстрее.

Использовать АБ-тестирование — отличная практика, но это лишь дополнительный фактор для принятия решения в бизнесах с небольшим и средним потоком клиентов. Опыт и предпринимательская интуиция должна подсказать как интерпретировать полученный результат.

Как говорит один из лучших веб-аналитиков и евангелист Google Авинаш Кошик, если у вас есть $100 — $90 потратьте на специалиста, а $10 на технические моменты, потому что к успеху приводит опыт и профессионализм специалиста.

Это особенно актуально для средних и небольших компаний, где нет больших объёмов статистики на которую можно опереться при принятии решений.

Вопросы по настройке рекламы и созданию сайта можно задать по телефону, в сообщении WhatsApp или отправив заявку через форму обратной связи +7 905 521 77 55.