A/B-тест на сайте с небольшим числом посетителей часто не даёт ясного ответа не из-за самой идеи эксперимента, а из-за ошибок в постановке и анализе. В этой статье разберём пять типичных проблем: слишком короткий тест, слабую цель, смешение разных аудиторий, ранний вывод и изменение нескольких элементов сразу. После чтения вы сможете проверить настройки эксперимента и понять, когда данных уже достаточно для решения.
Что мешает A/B-тесту на сайте с малым трафиком?
В A/B-тесте посетителей случайно делят на группы. Одни видят исходную страницу, другие — изменённую. Затем сравнивают заранее выбранный показатель: отправку формы, нажатие на кнопку, переход к оформлению заказа или другой шаг воронки.
При малом трафике каждая заявка заметно влияет на итоговый процент. Если за период теста одна группа получила несколько целевых действий, а другая чуть меньше, разница ещё не доказывает, что один вариант страницы лучше. На результат могли повлиять случайный визит, день недели, тип устройства или источник перехода.
Поэтому тест нужно рассматривать как измерительный процесс. Сначала формулируют гипотезу, затем выбирают одну основную метрику, задают срок и только после этого сравнивают варианты. Практический подход к такому эксперименту разобран в материале про микроконверсии, которые показывают эффективность сайта.
Какие пять ошибок чаще всего искажают результат?
1. Тест заканчивают после первых заметных изменений
Владелец сайта видит, что у нового варианта сегодня выше конверсия, и отключает исходный. На следующий день соотношение меняется. Короткий отрезок отражает текущую случайную выборку, а не устойчивое поведение посетителей.
Заранее определите минимальный срок эксперимента. В него должны попасть обычные рабочие дни и выходные, если сайт получает трафик в течение всей недели. Не останавливайте тест только потому, что одна версия временно лидирует. Зафиксируйте дату завершения до запуска.
2. В качестве цели выбирают клики вместо результата
Кнопка «Получить цену» может собирать много нажатий, но посетители будут закрывать форму, если она просит лишние сведения. Тогда рост кликов не означает рост заявок. Метрика должна быть связана с задачей страницы и находиться ближе к реальному действию клиента.
Для страницы услуги основной целью обычно становится отправка формы или звонок, если звонки корректно фиксируются в аналитике. Клик по кнопке можно оставить вспомогательным показателем, чтобы понять, где пользователь останавливается. Список событий полезно составить до начала теста, иначе после запуска появится соблазн выбрать удобную метрику.
3. Одновременно меняют заголовок, форму и дизайн
Если новый вариант отличается сразу по нескольким признакам, итог нельзя уверенно связать с одной причиной. Допустим, изменились текст предложения, цвет кнопки и количество полей. Даже при росте конверсии непонятно, что именно сработало.
Для первого теста оставьте одну проверяемую гипотезу. Например: «Если сократить форму с пяти полей до трёх, больше посетителей завершат отправку». Все остальные элементы страницы сохраняются. Так результат проще объяснить и применить на других посадочных страницах.
4. В одну выборку попадают разные типы посетителей
Пользователь с мобильного телефона, постоянный клиент и человек из поисковой выдачи приходят с разными намерениями. Если объединить их без разбора, одна группа может случайно получить больше посетителей, готовых к покупке. Средний показатель скроет различия.
Перед запуском проверьте распределение по устройствам, источникам переходов и новым или возвращающимся посетителям. Не делите трафик на множество мелких сегментов при небольшом объёме данных: в каждой подгруппе останется слишком мало наблюдений. Сначала анализируйте общий результат, затем отдельно смотрите сегменты, которые заранее считали важными.
5. Изменение страницы совпало с другой переменой
На итог могут повлиять акция, изменение цены, перебои с доставкой, запуск рекламы или сезонный спрос. Если в день старта теста поменяли ещё и рекламное объявление, сравнение вариантов страницы станет менее чистым.
Запишите рядом с датами эксперимента все изменения, которые могут повлиять на поведение посетителей. UTM-метки помогают разделить рекламные источники, кампании и объявления в аналитике, поэтому их стоит использовать для платного трафика. Без разметки связь между источником визита и действием пользователя восстанавливается хуже (об этом подробно говорится в материале про выбор модели атрибуции в Яндекс Метрике в 2026 году).
Как проверить данные перед выводом?
Начните с технической проверки. Обе версии должны открываться с одинаковой скоростью, корректно работать на телефоне и отправлять события в одну систему аналитики. Если форма в одном варианте не передаёт событие или страница показывает ошибку только части пользователей, сравнение нельзя считать достоверным.
Затем проверьте, сколько посетителей увидело каждую версию и сколько из них выполнило целевое действие. Сравнивайте группы за один и тот же период. Не смешивайте данные за будни в одной версии с данными за выходные в другой, если поведение аудитории заметно отличается.
Полезно вести простой журнал эксперимента:
- дата и время запуска;
- адрес страницы и описание гипотезы;
- какая версия считается исходной;
- основная цель и дополнительные события;
- изменения на сайте, в рекламе и предложении;
- дата остановки и причина принятого решения.
Смотрите не только на итоговый процент. Проверьте абсолютное число заявок, распределение трафика между вариантами и качество действий после формы. Если после нового варианта люди чаще отправляют форму, но реже доходят до следующего шага, ранний положительный вывод окажется неполным.
Когда тест лучше не запускать?
Эксперимент не поможет, если на странице почти нет целевых действий, аналитика работает нестабильно или гипотеза звучит слишком расплывчато. Формулировка «сделаем дизайн современнее» не задаёт проверяемого изменения. Её нужно превратить в конкретное предположение о поведении: например, короткий заголовок должен быстрее объяснить услугу посетителю.
При малом трафике иногда разумнее сначала исправить очевидную проблему: неработающую форму, запутанную навигацию, нечитаемый текст на мобильном экране или медленную загрузку. A/B-тест нужен для выбора между рабочими вариантами, а не для проверки исправности базовых функций сайта.
Если разработчика нет, подготовьте изменения в визуальном редакторе или подключите специалиста только на этап настройки эксперимента. Но даже при использовании готового инструмента гипотезу, цель и правила остановки лучше определить самостоятельно. В противном случае технически запущенный тест не даст управленческого ответа.
Типичные ошибки при малом трафике
- Останавливать эксперимент в день, когда один вариант временно обошёл другой.
- Считать главным показателем любой клик, хотя бизнесу нужна завершённая заявка.
- Менять несколько элементов и приписывать результат одному из них.
- Игнорировать различия между мобильными и настольными посетителями.
- Запускать тест одновременно с акцией или сменой рекламной кампании и не фиксировать это.
На практике A/B-тест на небольшом сайте требует аккуратности: одна гипотеза, одна основная цель, заранее заданный срок и журнал изменений. Если данные остаются неоднозначными, сохраните обе версии в отчёте и повторите проверку после накопления наблюдений. На этой неделе можно сделать три шага:
- Выбрать одну страницу и сформулировать проверяемое изменение.
- Настроить основную цель и проверить, что событие фиксируется в аналитике.
- Назначить дату завершения, не меняя параллельно цену, рекламу и структуру страницы.
