Blog

Наличие достаточно большого размера выборки важно для обеспечения статистически значимых результатов. Другое применение — тестирование различных рекламных объявлений. Вы можете проверить, насколько различается эффективность разных заголовков, дизайнов, картинок, видео. В некоторых рекламных сетях уже по–умолчанию заложена возможность проведения сплит–тестов, потому что все знают, насколько это важно. Это эксперимент — вы показываете разные версии веб страницы разным пользователям.

Главное, не забыть их сразу протестировать, чтобы не было ошибки. Сначала создайте экспериментальные варианты и добавьте правила таргетинга. Оно позволяет визуально отредактировать изменения на страницах. Optimizely — наиболее популярный в «буржунете» платный сервис A/B-тестирования. https://deveducation.com/ Стоимость его использования не публикуется – для уточнения нужно связаться с отделом продаж. К преимуществам относится возможность создания экспериментов в визуальном интерфейсе, что избавляет маркетолога от необходимости работать с HTML-кодом тестируемых страниц.

А/В-тестирование чего можно проводить

Только в этом случае мы можем доверять результатам теста и принимать эффективные решения на их основании. Однако я не рекомендую вносить слишком много изменений в вариацию. Если вы внесете только самые важные и значимые изменения, по результатам эксперимента вам будет проще понять возможные причинно-следственные связи. А если вы хотите протестировать сразу ряд изменений, проведите лучше мультивариативный тест.

В таком случае проверка статистической гипотезы может помочь принять решение не наобум, а на основе данных. Возможно, у вас будет несколько гипотез о том, как вы можете позиционировать продукт — тогда вы можете провести А/Б тест и увидеть статистические различия. Но сами гипотезы о развитии продукта не содержатся в этом инструменте — он только помогает увидеть, какие из них реально работают на статистически значимом уровне. Прежде чем проверять гипотезу, нужно посмотреть, не повлияют ли внешние факторы на результаты эксперимента. Например, если вы продаете товары для туризма летом, то из-за популярности вашего сезонного товара оба проверяемых элемента на сайте могут показать высокую эффективность. Но это не будет значить, что они оба действительно полезны.

То есть и на странице А, и на странице Б могут быть ролики, но они будут отличаться друг от друга по длине, описанию, превью-картинке и прочим вводным. A/B-тестирование помогает выяснить, какое из принятых решений приносит больше денег. Причем позволяет делать это не вслепую, а ориентируясь на конкретные результаты. В итоге удается по крупицам выжать из первоначального дизайна максимальный доход (естественно, по ходу дела всячески меняя его и дополняя). В общем, A/B-тестирование – это эффективный способ проверить полезность вносимых на сайте или в приложении изменений до их окончательного внедрения в финальный продукт. По названию можно предположить, что идет тестирование каких-то двух объектов.

В противном случае одно изменение может повлиять на восприятие второго. Если у вас больше двух вариантов, можно провести мультивариантное тестирование. Считается, что продолжительность набора статистики по каждому варианту должна составлять не менее 7-10 дней. Только тогда можно с уверенностью говорить, что полученные данные — не результат случайности или влияния каких-то внешних факторов. Если вариантов страниц больше, процесс называют A/B/N-тестированием.

В каких случаях проводить сплит тестирование

Также можно выбрать и разделить какой-то процент аудитории. Например, провести тест только на 20% от общего числа, где 10% получат вариант А, а другие 10% — Б. Но это будет работать, если у вас большая аудитория и там есть что делить. Интернет-магазин Fab решил проверить, какой из вариантов кнопки «Добавить в корзину» будет эффективнее. Версия с соответствующим текстом помогла увеличить конверсии на 49%.

Общие впечатления от вариаций сайта (те же аспекты, что и на пункт выше). Единственное, что у них есть общего — они относятся к какой-то офисной работе. С научной точки зрения, опрос такой небольшой выборки людей даже близко не подойдет к достижению статистической достоверности. Однако он точно заставит вас переосмыслить свое изначальное решение.

• Получайте максимум от рекламы, объединяя десятки маркетинговых показателей в удобном и понятном отчете.
• A/B-тесты дают возможность командам быстро тестировать множество гипотез и постоянно развивать онлайн-продукт.
• Вы запустили лендинг, привлекающий хороший трафик, но только 5% посетителей доходят до покупки.
• То есть с вероятность 95% мы можем утверждать, что разница между конверсиями есть.

Теперь можно проанализировать собранную информацию. Следует ли внести правки на страницу сайта или в объявление и распространить их на всю аудиторию? При этом нужно учесть измеряемый метричный вес при A/Б-тесте, гипотезы и многие другие моменты.

Настал самый сложный для продакта этап –не торопится.После запуска эксперимента важно проверить, все ли работает (особенно если изменения метрик уж слишком неожиданные). Еще раз проверить корректность настроек, после чего следует дать тесту “доработать”. Например, текущая конверсия сайта составляет 4%. Следовательно, минимальное количество пользователей, при котором можно будет определить 25-процентную разницу в конверсии — 6238. Ответы на эти и другие сакральные вопросы сайтостроения помогает найти A/B-тестирование — мощный инструмент для проверки гипотез и повышения конверсии. A/B тестирование — это мощный маркетинговый инструмент для повышения эффективности работы вашего интернет-ресурса.

Этапы A/B тестирования

Никаких интуитивных предположений и умозрительных заключений, только статистические данные, основанные на действиях посетителей. Они говорят сами за себя и направляют вас на путь истинный. Так вы уже можете делать выводы и решать, стоит ли что-то менять или нет. В статье приведены базовые знания, необходимые для проведения A/B тестов и анализа результатов. В завершении хочу поделиться ссылкой на отличную презентацию по продуктовой аналитике с примерами A/B тестирования от Курышева Евгения.

Для проверки таких гипотез мы и проводим A/B тесты. Мне часто приходится сталкиваться с задачами организации A/B тестирования в различных интернет-проектах. В этой статье хочу поделиться необходимыми базовыми знаниями для проведения тестов и анализа результатов.

Частые ошибки при проведении сплит-тестов

Но это — время и деньги, которые не хочется тратить впустую. “Эксперты” сказали, что призыв не понятен и надо менять картинку, а именно просто догонять логотипом компании. И еще одно замечание, которое Вам нужно учесть. Не доверяйте экспертам, которые говорят, что это надо поменять, потому, что это не работает (по ощущениям).

Конверсионные элементы

Повышается уровень доверия, а вместе с тем и шанс на конверсию. Сыграть важную роль в повышении конверсии за счет описания может не только контент, ав тестирование но и его оформление. Возьмем в качестве примера стандартное описание товара на Aliexpress. Зачастую оно исковеркано и идет полотном текста.

Наиболее простой и безошибочный способ повысить конверсию – протестировать изменения и посмотреть на реакцию пользователей. Для этой цели и существует методика A/B-тестирования. Затем нам стоит определить, сколько пользователей мы должны протестировать. Проще всего это сделать с помощью специальных сервисов-калькуляторов, напримерOptimizely. По окончании теста проверьте статистическую значимость результатов. Если вкратце, то сплит-тесты позволяют оценить эффективность разных вариантов страницы.

Можно тестировать разные формы и замерять, какая собрала больше симпатий. В А/В-тестировании измеряют отношение числа посетителей сайта, выполнивших определённые целевые действия, к общему числу посетителей сайта. В копию (Б) исходной версии (А) вносятся изменения в соответствии с гипотезой. Версия А остается за контрольную, и показатели сравниваются с ней, так как это уже основная и рабочая версия. Для тестирования сразу нескольких вариантов удобно завести таблицу, в которой будут расписаны все детали и переменные, которые можно сочетать между собой. Это один из популярных платных сервисов, который помогает тестировать интерфейсы, описания, улучшение производительности и многое другое.

Это выльется в высокие расходы, а результаты останутся неточными. Оптимизация страниц будет напоминать строительство самолета с помощью бросания деталей. В статье CXL собрали бюджетные, но работающие методы, которые помогут оптимизировать сайт. Простой и удобный сервис для A/B-тестирования. Бесплатно можно проводить тесты, если у вас один сайт.