Как использовать A/B-тест или понять, что он вам не нужен

Чтобы превратить трафик в конверсии, нужно постоянно оптимизировать сайт и рекламные кампании, улучшать пользовательский опыт и поведенческие факторы. Но как понять, какой баннер эффективнее, какой заголовок привлекает больше внимания, где лучше поместить кнопку на лендинге? Как убедиться, что изменения, которые вы планируете реализовать, принесут ожидаемый результат? Ответы на эти вопросы поможет получить не спор или интуиция, а A/B-тест.

В статье мы расскажем, что это такое, зачем он нужен, как и когда его стоит и не стоит проводить, а также какие нюансы важно учесть.

Что такое A/B-тесты

A/B-тестирование — это маркетинговый инструмент, с помощью которого вы можете повысить эффективность рекламы, конверсию лендинга или посадочной страницы. Это эксперимент, в рамках которого сравниваются два варианта продукта, отличающиеся одним параметром. 

Например, у вас есть лендинг с кнопкой CTA внизу страницы. Вы хотите проверить, будет ли коэффициент конверсии выше, если добавить еще одну кнопку на первый экран. Для этого вы создаете копию лендинга, но с двумя кнопками, и делите трафик на две части. Половине пользователей вы показываете оригинальный лендинг, а второй — вариант с двумя кнопками. После этого сравниваете показатели эффективности и определяете более конверсионный вариант.

Зачем нужны A/B (сплит) тесты

Даже если вы обладаете большим опытом работы в рекламе и маркетинге, не всегда стоит полагаться исключительно на личное мнение. Проведение пользователей кажется прогнозируемым и понятным, но результаты A/B-теста могут удивлять. Сплит-тесты позволяют минимизировать риски, связанные с внесением изменений, проверить гипотезу экспериментальным путем и принять решение, опираясь на данные, а не предположения. 

Обязательным условием проведения A/B-теста является параллельная проверка версий продукта, а не последовательная. То есть в случае, если вы хотите узнать, какая реклама или версия лендинга будет эффективнее, вы запускаете оба варианта одновременно и делите трафик поровну. Почему это важно?

Допустим, у вас интернет-магазин автомобильных шин и запущена рекламная кампания с текстом на баннерах «У нас дешевле всего». Вы хотите узнать, будет ли текст «У нас самые низкие цены» приносить больше продаж. Для проверки этой гипотезы вы проводите сначала одну кампанию (А), а после вторую (В), сравниваете результаты и видите рост конверсий в варианте В. Однако выясняется, что в этот же период в прошлом году наблюдался такой же рост, а значит, он обусловлен не эффективной кампанией, а сезонностью.

Для того, чтобы исключить влияние внешних факторов на результаты, получить чистые данные и грамотно их интерпретировать, проводят параллельное A/B-тестирование. 

Обязательные параметры A/B-теста

Для корректного проведения сплит-теста стоит воспользоваться специальным калькулятором, который поможет определить количество необходимых пользователей и оптимальную длительность теста. Давайте разберем все его значения по пунктам. 

• Conversion Rate или изначальный уровень конверсии. Например, конверсия лендинга из предыдущего примера с одной кнопкой внизу страницы равняется 5%.
• Minimum Detectable Effect или желаемая конверсия. Предположим, вы хотите повысить конверсию на 5% и для этого проводите эксперимент.
• Statistical Significance или статистическая значимость — степень уверенности в том, что полученный результат не является случайным. Чтобы не сомневаться в достоверности полученных данных, важно не снижать этот показатель ниже 90%.
• Average Daily Visitors — среднее количество уникальных пользователей страницы. Например, это 1000 человек.
• Number of Variations — количество вариаций, в том числе и контрольная. В случае A/B-теста их две.

После того, как вы указали все необходимые параметры, система покажет нужный размер выборки (Required number of visitors) — количество пользователей, необходимое для того, чтобы результаты теста были валидными. В нашем эксперименте это 23 865 человек на каждую версию лендинга. Продолжительность теста — 47 дней. В целом, чем больше уникальных пользователей посещает страницу, тем быстрее закончится эксперимент. 

Почему именно такие цифры? Все благодаря теории больших чисел и вероятности наступления определенных событий. В нашем случае это вероятность того, что вторая версия лендинга эффективнее первой. 

Подготовка к запуску А/В-теста

Чтобы тест прошел успешно, а результаты оказались достоверными, важно подготовиться к запуску. 

1. Сформулировать гипотезу. Сравнивать варианты без формулировки четкой проблемы и варианта ее решения бессмысленно. Например: «Количество конверсий можно увеличить, если добавить CTA-кнопку на первый экран лендинга, чтобы пользователь сразу ее видел». Правильность этого предположения поможет определить тест.
2. Определить цель. Важно заранее понимать, что будет целевым показателем. Это могут быть и покупки, заявки, регистрации, увеличение среднего чека, клики и т. д.
3. Выбрать элемент для теста. Здесь действует простое правило: переменная должна быть одна. Это может быть текст заголовка, или цвет кнопки, или картинка баннера и т. д., но никогда не все сразу. В нашем примере — это добавление кнопки на страницу.
4. Определить выборку и продолжительность теста, как было описано выше.
5. Проверить стоимость. Прежде чем начать тест, убедитесь, что обладаете нужным временем, средствами и другими ресурсами, которые необходимы для его успешного проведения.
6. Проверить системы А/В-тестов и аналитики. Перед запуском любого теста нужно проверить корректность настроек и работы системы аналитики, а также специальных инструментов для проведения такого рода тестов. Например, Visual Website Optimizer, Google Optimize, Unbounce, Change Again и т. д. В противном случае вы можете обнаружить, что у вас неверно работает балансировщик или распределяются доли, не проставляются метки пользователям, замедляется работа сайта и т. д.

Один из способов проверки: так называемые АА-тесты. Тестирование запускается на две одинаковые версии продукта, после чего вы смотрите, что показывает вам система аналитики. Это позволит выявить потенциальные проблемы еще на подготовительном этапе. 

7. Проверить возможность замерять результаты теста на финальном этапе воронки. Например, вы изменили заголовок баннера и увидели рост количества переходов по рекламе. Создается впечатление, что гипотеза оправдала себя, но посмотрите на количество конверсий: оно выросло или упало? Заголовок может быть кликабельный, но если показатель отказов вырос, а количество покупок не увеличилось — вариант B не является эффективным.

Важно: независимо от результатов, которые вы получаете в процессе проведения теста, нужно дождаться его окончания и только после этого делать выводы. Нам всегда хочется найти подтверждение своих догадок, а при первых удачных результатах выключить тест и реализовать задуманные изменения. Но это лишь случайные величины. Не поддавайтесь искушению, ждите окончания теста и смотрите данные по всей «длине».

Тест завершен, что дальше?

Нужно проверить все показатели по сайту, а не только выбранные для эксперимента, и убедиться, что вариант, который выиграл, не скажется негативным образом на других бенчмарках. Например, один из ваших товаров стали покупать больше, но при этом упали продажи другого, который приносит компании больше денег. Прежде чем внедрять изменения, важно оценить их эффект по целому ряду параметров и контролировать все взаимосвязанные показатели. 

А что делать, если вам не удалось получить нужный Detectable Effect?Допустим, вы хотели 5,5%, а получили 5,2%. Вы можете продлить тест, чтобы проверить, действительно ли этот вариант продукта лучше, но обратите внимание на сроки. Если тестирование затянется еще на месяц или более, стоит объективно оценить его необходимость. Возможно, лучше остановить тест и запустить другой с переменной, в которой вы уверены больше. 

Когда не стоит делать А/В-тесты

Исходя из описанного ранее, становится понятно, что А/В-тесты не стоит проводить для всех проектов без исключения. Чтобы тест прошел успешно, а результаты были валидными, нужно время, ресурсы и большие объемы трафика. Таким образом, А/В-тест не стоит запускать: 

• когда это обойдется вам слишком дорого в сравнении с теми изменениями, ради которых вы хотите его запустить;
• когда вы не сможете интерпретировать результаты;
• когда вы не можете выполнить требования, необходимые для его правильного проведения.

A/B-тест — ценный инструмент в руках маркетолога, который позволяет проверить гипотезы опытным путем и принять объективное решения, основываясь на реальных показателях. Однако этот метод — не панацея. В большинстве случаев он больше помогает не ошибиться, а не найти новую точку для развития. Для тестирования микрокопи и незначительных изменений на сайте он не подойдет, но будет полезен при проверке гипотез, которые могут дать существенный прирост.

Материал подготовлен на базе лекции Игоря Соколова для Admixer Academy.