А/А тестирование – это тест двух одинаковых страниц, с целью обнаружения отсутствия различий. Своего рода, это генеральная репетиция перед A/B тестом. При показе одного и того же варианта лендинга 2 контрольным группам пользователей в течение определенного периода времени вы должны получить примерно одинаковые значения конверсии от каждой группы. Благодаря чему можно определить соотношение полезных и бесполезных данных в общем массиве получаемой информации.
Представим, что вы тестируете заголовок на своей странице. Когда достоверность теста достигает 99%, вы делаете выводы и применяете победивший вариант на практике. Но позже, наблюдаете, что новый заголовок не приносит ожидаемого эффекта. Что на самом деле странно, потому что тест показал его в качестве победителя. И на практике, такое встречается чаще чем вы думаете и происходит обычно по следующим причинам:
- Неверные показатели. Всего одна ошибка может исказить данные A/B тестирования. Интегрируйте сервисы аналитики для сверки данных.
- Неверное отображение посадочной страницы. Убедитесь, что лендинги выглядят корректно на всех устройствах и браузерах, а также не тормозят при загрузке.
- Преждевременное завершение теста. Иногда софт объявляет «победителя» слишком рано – при недостаточном размере или репрезентативности выборки. Помните: если вы достигли статистической значимости, это не значит, что пора прекращать тест. Чем он дольше, тем точнее результаты.
Только 20% экспериментов дают достоверные результаты. Поэтому маркетологи нередко прибегают к А/А тесту как к некой «визитной карточке» хорошего специалиста по оптимизации и запускают его перед A/B тестом, в качестве подготовительного этапа.
Исходя из вышесказанного можно предположить, что А/А и А/В тесты дополняют друг друга.
Основные проблемы А/А тестирования
Одной из таких проблем считается затрата реальных ресурсов и времени на проведение А/А тестов, которые напрямую никак не способствуют ни оптимизации конверсии, ни росту доходов.
Другая проблема заключается в том, что процентов 70-80% тестов в какой-то момент времени достигнут порога статистической значимости и тестовая система констатирует, что с высокой степенью достоверности исходный вариант лендинга лучше, чем исходный вариант лендинга, потому как используется определенная величина тестовой выборки и тест подойдет к логическому завершению.
А если вы используете маленькую выборку, вы можете прийти к ложному умозаключению, что у вас что-то не в порядке — не хватает трафика или плохие инструменты аналитики, хотя дело может быть совсем не в этом.
Поэтому некоторые маркетологи, вместо А/А тестирования, считают более разумным предпринять следующие шаги:
- кроссбраузерное тестирование лендинга
- тестирование на различных типах устройств
- показ посадочной страницы своим знакомым
- интеграция инструментов аналитики в процесс теста
- подробное пошаговое рассмотрение гипотезы и плана тестирования
A/B/A тестирование, как альтернативный вариант
A/A = сравнивают 2 одинаковые страницы.
A/A/B = A/A тест + одна дополнительная вариация.
Этот метод позволяет выявить проблемы маркетингового инструментария (как обычный A/A тест) при меньших затратах времени. После такого теста вы точно поймете, стоит ли доверять инструменту тестирования.
Да, нужно больше времени, чтобы достичь статистической значимости. Зато вы оцениваете софт, а если он подтвердит свою надежность, то и поведение посетителей.
Триангуляция данных
Конкретнее мы говорим про использование нескольких исследовательских методов, как способ получения более достоверных данных, чем при использовании одного инструмента.
Проще говоря, маркетолог в ходе сплит-теста должен располагать по меньшей мере 2 пакетами инструментов метрики и анализа.
Это позволит иметь 2 выборки данных для сверки результатов, полученных от разных источников, между собой. Если вы заметите резкую диспропорцию, то сможете устранить ее источник перед началом собственно сплит-теста. К тому же наличие 2 пакетов инструментов метрики упрощает оперативную проверку данных, получаемых в ходе сплит-теста.
Так делать А/А или нет?
Имейте в виду, что проведение А/А теста требует немалых затрат времени и бюджета. Это действие занимает время, которое, как правило, используется для полноценного сплит-теста. Если у вас большой трафик, вы можете применить А/А тесты, но при малых объемах можно отказаться от данного тестирования. Также, когда вы проводите A/A-тестирование, то сравниваете конверсионную производительность двух идентичных целевых страниц. Размер выборки и количество данных, которые потребуются для того, чтобы убедиться в отсутствии значимого искажения результатов, будут огромными по сравнению с A/B-тестом.
Поэтому проводить сплит-тесты с очень похожими целевыми страницами, для обнаружения предельно мелких преимуществ одного варианта над другим, можеть быть не совсем целесообразно. Вы можете проводить A/A тест на несколько недель дольше, чем непосредственно сам A/B тест, и не получить никакой ценной информации. Но если нужно проверить сам софт для тестирования и бюджет позволяет, то перед запуском сплит-теста разумнее будет начать с А/А.
Такие дела, котаны. Теперь вы знаете о тестировании немного больше. Всем конверта!