A/B-тестирование — это способ проверить, какой вариант страницы приносит больше конверсий, прежде чем менять сайт. Для первого теста не нужен программист: в конструкторах есть встроенные эксперименты, а для сторонних сервисов достаточно один раз вставить код. В статье разберём, как выбрать гипотезу, запустить тест и проверить результат в Google Таблицах, чтобы не принять случайность за победу.
С чего начать A/B-тест?
Любой тест начинается с гипотезы. Не «давайте попробуем изменить кнопку», а конкретное предположение: «Если сделать кнопку «Заказать» зелёной и добавить стрелку, то на неё нажмёт больше посетителей, потому что она станет заметнее». Из гипотезы следует метрика — обычно конверсия в заявку или покупку. Если на сайте не настроена веб-аналитика, сначала стоит разобраться с ней. Без целей в Яндекс.Метрике вы просто не увидите разницы между вариантами. Как настроить веб-аналитику для небольшого сайта, рассказано в материале Яндекс.Метрика для сайта малого бизнеса.
Для первого теста выбирайте одну гипотезу и одну метрику. Менять заголовок и одновременно добавлять новый блок — плохая идея: если конверсия вырастет, вы не поймёте, что сработало.
Как запустить тест без участия разработчика
Есть два пути. Первый — встроенный модуль экспериментов в конструкторе сайтов. Там обычно можно создать второй вариант страницы и задать распределение трафика 50/50. Это работает, если сайт собран без кода.
Второй путь — сторонний сервис A/B-тестирования. Один раз нужно вставить его скрипт в код сайта — это может сделать фрилансер за час. Дальше вы работаете в визуальном редакторе: меняете текст, картинки, кнопки без программиста. Разница между подходами видна в таблице.
| Параметр | Встроенный модуль | Сторонний сервис |
|---|---|---|
| Сложность подключения | Не нужен доступ к коду | Нужно один раз добавить скрипт |
| Что можно менять | Только готовые блоки | Любые элементы страницы |
| Стоимость | Часто входит в тариф | Есть бесплатные тарифы |
Для первого теста можно обойтись встроенным модулем. Сторонний сервис пригодится, когда понадобится менять цены, заголовки или расположение блоков на больших сайтах.
Сколько длится тест и когда можно верить результатам
Здесь главное — не поддаться соблазну остановить тест рано. Если вариант А обошёл Б на второй день, это может быть случайностью. Чтобы получить статистически значимый результат, нужно накопить достаточно данных. Чем меньше изменение, тем больше трафика потребуется. Например, для обнаружения разницы в 5% понадобится больше визитов, чем для разницы в 50%.
Простой способ проверки — посчитать значение в Google Таблицах. Запишите данные по каждому варианту: количество посетителей и конверсии. Затем используйте функцию TTEST. Если P-значение меньше 0,05, разницу можно считать неслучайной. Обязательно дождитесь, когда наберётся хотя бы несколько десятков конверсий на каждый вариант. Иначе данные будут недостоверными.
Сколько именно времени нужно — зависит от трафика. На малом сайте с 50 посетителями в день тест может идти несколько недель. Не продлевайте его насильно: если через месяц разницы нет, возможно, гипотеза не сработала.
Типичные ошибки
- Останавливают тест, как только один вариант вышел вперёд, не дождавшись статистической значимости.
- Меняют несколько элементов одновременно и не могут понять, что повлияло на результат.
- Сравнивают конверсии без учёта сегментов: например, мобильный и десктопный трафик может вести себя по-разному.
- Забывают о сезонности. Если тест идёт в предпраздничные дни, данные будут искажены.
- Не проверяют, как второй вариант выглядит на телефоне. Часто эксперимент на десктопе не адаптирован для мобильных.
Более подробный разбор ошибок и реальный пример для сайта услуг — в отдельном гайде A/B-тестирование для сайта услуг.
3 шага, чтобы провести первый тест
Действуйте по порядку:
- Сформулируйте одну гипотезу и определите метрику. Запишите, что хотите улучшить: клики по кнопке, отправку форм, звонки.
- Настройте цель в Яндекс.Метрике, чтобы видеть конверсии. Если цель уже создана, проверьте, что она считает обращения, а не просто просмотры.
- Создайте второй вариант страницы и запустите распределение трафика. Зафиксируйте дату начала, чтобы потом отделить данные теста от обычного периода.
Результат первого теста даст вам точное знание, что именно сработало. Дальше можно переходить к более сложным гипотезам.