Як використовувати A/B-тест чи зрозуміти, що він вам не треба

Щоб перетворити трафік у конверсії, потрібно постійно оптимізувати сайт та рекламні кампанії, покращувати користувацький досвід та поведінкові фактори. Але як зрозуміти, який банер ефективніше, який заголовок привертає більше уваги чи де краще розмістити кнопку на лендингу? Як переконатися, що зміни, які ви плануєте реалізувати, призведуть до очікуваного результату? Відповіді на ці питання допоможе отримати не суперечка чи інтуїція, а A/B-тест.

У статті ми розповімо, що це таке, навіщо він потрібний, як і коли його варто чи не варто проводити, а також, які нюанси варто врахувати. 

Що таке A/B-тести?

A/B-тестування – це маркетинговий інструмент, за допомогою якого ви можете підвищити ефективність реклами, конверсію лендингу чи посадкової сторінки. Це експеримент, в межах якого порівнюються два варіанти продукту, що різняться одним параметром. 

Наприклад, у вас є лендінг з кнопкою СТА внизу сторінки. Ви хочете перевірити, чи буде коефіцієнт конверсії вище, якщо додати ще одну кнопку на перший екран. Для цього ви створюєте копію лендінгу, але з двома кнопками, і ділите трафік на дві частини. Одній половині користувачів ви показуєте оригінальний лендінг, а іншій – варіант з двома кнопками. Після цього порівнюєте показники ефективності та обираєте найбільш конверсійний варіант. 

Навіщо потрібні A/B (спліт) тести

Навіть, якщо ви маєте великий досвід роботи у рекламі та маркетингу, не завжди варто покладатися винятково на особисту думку. Поведінка користувачів здається прогнозованою та зрозумілою, але результати A/B-тесту можуть вас здивувати. Спліт-тести дозволяють мінімізувати ризики, пов’язані з внесенням змін, перевірити гіпотезу експериментальним шляхом та ухвалити рішення, спираючись на дані, а не припущення. 

Обов’язковою умовою проведення A/B-тесту є паралельна перевірка версій продукту, а не послідовна. Тобто щоб дізнатися, яка реклама чи версія лендінгу ефективніше, потрібно запустити одночасно обидва варіанти, поділивши трафік порівну. Чому це важливо? 

Припустимо, у вас інтернет-магазин автомобільних шин та запущена рекламна кампанія з текстом на банерах «У нас найдешевше». Ви хочете дізнатися, чи буде текст «У нас найнижчі ціни» приносити більше продажів. Для перевірки цієї гіпотези ви проводите спочатку одну кампанію (А), а потім другу (В), порівнюєте результати та бачите, що у варіанті В видно зростання конверсій. Проте виявляється, що на другу кампанію припав той самий період, що торік мав такий же зріст, а значить його причина не в її ефективності, а сезонності.

Для того, щоб виключити вплив зовнішніх факторів на результати, отримати чисті дані та грамотно їх інтерпретувати, проводять паралельне A/B-тестування.  

Обов’язкові параметри A/B-тесту

Для коректного проведення спліт-тесту варто використовувати спеціальний калькулятор, який допоможе визначити кількість необхідних користувачів та оптимальну тривалість тесту. Розберемо усі його значення.

• Conversion Rate, або початковий рівень конверсії. Наприклад, конверсія лендінгу з попереднього прикладу з однією кнопкою внизу сторінки дорівнює 5%.
• Minimum Detectable Effect, або бажана конверсія. Припустимо, що ви хочете підвищити конверсію на 5% і для цього проводите експеримент.
• Statistical Significance, або статистична значущість – ступінь впевненості у тому, що отриманий результат не є випадковим. Щоб не сумніватися у правдивості отриманих даних, важливо не знижувати цей показник нижче 90%.
• Average Daily Visitors, або середня кількість унікальних користувачів сторінки. Наприклад, це тисяча людей.
• Number of Variations, або кількість варіацій. Зокрема, і контрольна. У випадку з A/B-тестом їх дві.

Після того, як ви вказали усі необхідні параметри, система покаже потрібний розбір вибірки (Required number of visitors) – кількість користувачів, необхідних для того, щоб результати тесту були валідними. У нашому експерименті це 23 865 особи на кожну версію лендінгу. Тривалість тесту – 47 днів. Загалом, чим більше унікальних користувачів відвідує сторінку, тим швидше закінчиться експеримент. 

Чому саме такі цифри? Усе завдяки теорії великих чисел та ймовірності настання певних подій. У нашому випадку це ймовірність того, що друга версія лендінгу ефективніша за першу.  

Підготовка до запуску A/B-тесту

Щоб тест відбувся успішно, а результати виявились правдивими, важливо підготуватися до запуску. 

1. Сформувати гіпотезу. Не має змісту порівнювати варіанти без формулювання чіткої проблеми та її можливого рішення. Наприклад: «Кількість конверсій можна збільшити, якщо додати СТА-кнопку на перший екран лендінгу, щоб користувач одразу її бачив». Правильність цього припущення допоможе визначити тест.
2. Визначити ціль. Важливо заздалегідь розуміти, що буде цільовим показником. Це можуть бути покупки, заявки, реєстрації, збільшення середнього чека, кліки тощо.
3. Вибрати елемент для тесту. Тут діє просте правило: змінна має бути одна. Це може бути текст заголовку, колір кнопки чи картинка банеру тощо, але не все одразу. У нашому прикладі – це додаткова кнопка на сторінці.
4. Визначити вибірку та тривалість тесту.
5. Перевірити вартість. Перед тим, як почати тест, впевніться, що маєте достатньо часу, коштів та інших ресурсів, які необхідні для успішного проведення.
6. Перевірити системи A/B-тестів та аналітики. Перед запуском будь-якого тесту потрібно перевірити коректність налаштувань та роботи системи аналітики, а також спеціальних інструментів для проведення такого роду тестів. Наприклад, Visual Website Optimizer, Google Optimize, Unbounce, Change Again тощо. В іншому випадку ви можете виявити, що у вас неправильно працює балансувальник або порушено розподіл долі, не проставляються мітки користувачам, сповільнюється робота сайту і так далі.

Один зі способів перевірки – це так званий АА-тест. Тестування запускається на дві однакові версії продукту, після чого ви дивитеся, що показує вам система аналітики. Це дозволить виявити потенційні проблеми ще на підготовчому етапі. 

7. Перевірити можливість заміру результатів тесту на фінальному етапі воронки. Наприклад, ви змінили заголовок банеру та побачили зростання кількості переходів по рекламі. Складається враження, що гіпотеза виправдалась, але подивіться на кількість конверсій – вона виросла чи знизилася? Заголовок може бути клікабельним, але якщо показник відмов виріс, а кількість покупок ні, то варіант В не є ефективним.

Важливо: незалежно від результатів, які ви отримуєте у процесі проведення тесту, потрібно дочекатися його завершення і лише після цього робити висновки. Нам завжди хочеться знайти підтвердження своїх здогадів, а при перших вдалих результатах – вимкнути тест та реалізувати задумане. Але це лише випадкові величини. Не спокушайтеся, дочекайтеся кінця тесту та дивіться дані по всій «довжині». 

Тест завершено, що далі?

Потрібно перевірити усі показники сайту, а не лише обрані для експерименту, та впевнитися, що варіант, який виграв, не вплине негативно на інші бенчмарки. Наприклад, один з ваших товарів почали купувати більше, але при цьому впали продажі в іншого, який приносить компанії більше грошей. Перед тим, як змінювати щось, важливо оцінити ефект на цілий ряд параметрів та контролювати усі взаємопов’язані показники. 

А що робити, якщо вам не вдалося отримати потрібний Detectable Effect? Припустимо, ви хотіли 5,5%, а отримали 5,2%. Ви можете продовжити тест, щоб перевірити, чи дійсно цей варіант продукту краще, але зверніть уваги на терміни. Якщо тестування затягнеться ще на місяць чи більше, оцініть об’єктивно його доцільність. Можливо, краще зупинити тест та запустити інший зі змінною, в якій ви впевнені більше. 

Коли не варто робити А/В-тести?

Зрозуміло, що А/В-тести не варто проводити для всіх без винятку проєктів. Щоб тест був успішним, а результати валідними, потрібний час, ресурси та великі об’єми трафіку. Таким чином, А/В-тест не варто запускати, якщо: 

• це обійдеться вам надто дорого у порівнянні з тими змінами, заради яких ви плануєте його запускати;
• ви не зможете інтерпретувати результати;
• ви не можете виконати вимоги його правильного проведення.

А/В-тест – цінний інструмент у руках маркетологів, який дозволяє перевірити гіпотези очевидним шляхом та ухвалити об’єктивне рішення, засноване на реальних показниках. Позаяк цей метод – не панацея. У більшості випадків він більше допомагає не помилитися, але не знайти нову точку розвитку. Для тестування мікрокопі та незначних змін на сайті він не підійде, але буде корисним при перевірці гіпотез, що можуть дати значний приріст.  

Матеріал підготовлено на базі лекції Ігоря Соколова для Admixer Academy.