Мобилизаторы

A/B тестирование уже давно не новшество. Но все еще миллионы маркетологов по всему миру используют этот метод, чтобы получить сведения о поведении посетителей, и использовать их для повышения уровня конверсии ecommerce сайтов. Как ни крути, но метод A/B тестирования уступает своей популярностью и частотой использования нашумевшим технологиям SEO. Может быть, это потому, что мало кто знает, как правильно его использовать и какую реальную пользу он может принести. Эта статья познакомит Вас с методом A/B тестирования и расскажет, как им правильно пользоваться, чтобы получить грандиозные результаты.

 

Так что такое A/B тестирование?

По своей сути A/B тестирования выглядит так: у вас есть два показатели или варианты, и масса данных, опираясь на которые четко определяется выигрышный элемент для сайта. Чтобы узнать, какой вариант лучше, нужно подвергнуть обе версии исследованию одновременно. Путем изменений показателей и отслеживания их влияния, можно определить какой вариант оказался более успешным и его можно смело выполнять для реального пользования. Это похоже на то, как хозяйки поливают свои цветы разными удобрениями, чтобы установить экспериментальным путем, какое удобрение больше нравится растению. Через определенный интервал времени растения сравнивают, и сразу стает понятно, с помощью какого удобрения цветок растет больше, цветет дольше и т.д.

 

A/B тестирование в интернете выглядит примерно также. У Вас есть два вида дизайна сайта: тип А и тип Б. Чаще всего тип А — это реальный дизайн ecommerce сайта (контрольная версия), который используется в текущее время, тип Б — это альтернативная версия внешнего интерфейса сайта (тестовая версия). Чтобы провести тестирование, трафик между этими сайтами разделяется, и через определенный период времени их производительность оценивается путем сравнения интересующих показателей (продажи, коэффициент конверсии, количество отказов, возвратов и т.д.). После обработки полученных данных, для сайта выбирается более полезная версия дизайна.

 

Что нужно тестировать?

Чтобы знать, что тестировать, необходимо определится с целями. Если поставить за цель увеличение количества регистраций на сайте, для тестирования можно выбрать дизайн страницы регистрации, длину формы, типы заполняемых полей, опции отображения политики конфиденциальности, социальные гарантии, и т.д. В этом случае тестировать можно все, что связанно с регистрацией пользователя, чтобы понять, какие показатели «мешают» посетителям зарегистрироваться. Не отпугивает ли их, случайно, длина формы? А как на посетителя влияет конфиденциальность? Может сайту чего-то не хватает, или есть что-то лишнее, что отталкивает пользователя? На все эти вопросы можно получить ответы, один за другим, путем тестирования важнейших элементов.

Несмотря на то, что каждое A/B тестирование сугубо индивидуальное, чаще всего исследованиям подвергают такие элементы, как:

• Кнопки призыва к действию (размер, цвет, содержание, расположение);

• Название и описание товара;

• Длина формы и виды полей;

• Стилистика веб-сайта;

• Ценовая политика и акционные предложения;

• Картинки на страницах товара;

• Текстовое содержание страниц (количество текста);

• Создание первого A/B теста

Как только Вы выбрали объект тестирования, следующим делом следует определиться с инструментом тестирования. Если Вы хотите использовать бесплатную базовую комплектацию инструментария и не возражаете поработать с HTML и JavaScript, советуем Google Website Optimizer. Если Вас интересует самая простая, с дополнительными возможностями альтернатива, выбирайте Visual Website Optimizer. Есть много других вариантов, но о них мы поговорим позже, а сейчас — настройки.

Ключевые настройки теста практически одинаковые для любого инструмента.

Настроить A/B тест можно двумя способами:

• Замена тестируемого элемента перед загрузкой страницы сайта. Если вы исследуете какой-то один элемент страницы, скажем, кнопку «регистрация», нужно создать вариации этой кнопки (на HTML) в своем инструменте для тестирования. Когда A/B тестирование активно, программа автоматически начнет заменять в случайном порядке оригинальную кнопку одной из ее доступных вариаций.

• Перенаправление на другую страницу. Если необходимо протестировать всю страницу целиком, например, красную тему против зеленой темы, — нужно создать и загрузить новую страницу на Ваш сайт. Например, если Ваша домашняя страница http://www.example.com/index.html, нужно создать альтернативную страницу с адресом http://www.example.com/index1.html. Когда будет идти тестирование, половина Ваших посетителей будет посещать альтернативную домашнюю страницу.

После того, как были установлены вариации, одним из способов, указанным выше, следующим шагом будет настройка целевых показателей для повышения конверсии. Программа для A/B тестирования сгенерирует Вам отрывок кода JavaScript, который можно копировать и вставлять на ту страницу, которую необходимо достичь в конечном итоге. Например, если у Вас есть интернет-магазин и Вы тестируете цвет кнопки «Оформить заказ», то Вашей целью будет страница «Спасибо», которая отображается клиентам после удачного завершения покупки.

Как только завершается желаемое событие, влияющее на коэффициент конверсии, инструмент A/B тестирования фиксирует использование той вариации, которую видел клиент, совершивший покупку. После достаточного для статистики количества посетителей и переходов, программа выдаст результаты, с помощью которых определяется, какой вариант делает больше продаж. Вот и все! Настройка и запуск A/B тестирования абсолютно несложная!

 

Что можно и чего делать нельзя?

Несмотря на то, что концепция A/B тестирования супер-простая, все же следует придерживаться некоторых практичных советов. Эти советы — результаты многократного использования технологии A/B тестирования специалистами команды Мобилизаторы.

Что нельзя

• Никогда не разрывайте во времени тестирование объектов. Обе вариации должны тестироваться одновременно. Нельзя первую версию исследовать одну неделю, а вторую версию тестировать на следующей неделе. Это может исказить результаты, и тестирование потеряет смысл. Всегда разделяйте трафик между вариациями.

• Не спешите с выводами. Существует концепция «статистической достоверности», которая определяет значимость сути тестирования (т.е. серьезность полученных данных). Вспомните об этой концепции перед тем, как погрузится в длительное чтение результатов исследования, особенно, когда у Вас есть всего несколько случаев активности клиентов для каждой вариации. Большинство инструментов A/B тестирования предоставляют услуги расчета статистической достоверности, но если Вы проводите ручное тестирование, можно самостоятельно подсчитать достоверность результатов, с помощью он-лайн калькулятора.

• Никаких сюрпризов для постоянных клиентов! Если Вы тестируете основную часть своего ecommerce сайта, нужно убедится в том, что в тестировании участвуют только новые посетители. Не нужно шокировать постоянных клиентов, особенно понимая тот факт, что не все вариации будут реализованы.

• Не позволяйте своей интуиции перечеркнуть все результаты работы A/B-технологий. Часто-густо победителем A/B схватки на удивление оказывается не тот вариант, который нравится Вам и всей Вашей команде. На странице с зелеными цветом основной темы может оказаться ярко-алый огонек кнопки, который неожиданно стал победителем A/B тестирования. Даже такая нелогичная, и очень непростая для зрения комбинация не должна отвергаться, как «заведомо» непродуктивная. Ваша цель — повысить уровень конверсии на сайте, а не эстетика, и не логика сайта, поэтому не беритесь судить сами, пусть это сделает техника. 

Что можно

• Перед запуском процесса тестирования, нужно определить временные границы. Завершать исследование слишком рано может дорого Вам обойтись, — из-за риска недополучить значимые данные, и в итоге сделать неправильный выбор. Слишком длительное тестирование может сказаться на продажах, так как чем дольше неэффективные версии попадают к пользователям, тем хуже их влияние на конверсию и продажи. Для расчета оптимального временного периода тестирования существует множество расширений и инструментов, как этот он-лайн калькулятор.

• Используйте отображение повторных кликов посетителей на одну и ту же вариацию. Ваш инструмент должен запоминать и показывать какую вариацию видел посетитель. Это позволит избежать неприятностей, как например, отображение разных цен и акций одному посетителю.

• Убедитесь, что A/B тестирование не нарушает логическую структуру связанных страниц сайта. Если Вы решили протестировать кнопку «регистрация», а именно определяете оптимальную для нее локацию, посетитель должен видеть логику и структуру только одной вариации на всем сайте. Отображение одной вариации на странице 1, и другой вариации на странице 2, не только введет посетителя в неприятное замешательство, но и существенно исказит результаты тестирования.

• Всегда делайте много A/B тестов. Скажем по правде, после первого A/B теста Вы, скорее всего, будете себя чувствовать как выжатый лимон, но не отчаивайтесь. A/B тестирование имеет всего три исхода: отсутствие результата, отрицательный результат и положительный результат. Секрет успеха — в проведении тонн A/B тестов, позитивные результаты которых могут дать огромнейший толчок для повышения уровня конверсии и развития Вашего ecommerce сайта.

 

Если у Вас есть он-лайн магазин, Вам неоднократно приходилось сталкиваться с пользовательскими отказами от товара прямо во время оплаты. В ходе этого A/B тестирования маркетологи обнаружили, что при наличии единой страницы оплаты количество завершенных продаж намного выше, по сравнению с многошаговым процессом.

Анкета в форме «рассказа» повышает конверсию на 25-40%.

 

Тестирование формы регистрации привело к неожиданным результатам: было установлено, что линейная форма заполнения нравится пользователям гораздо больше, чем традиционные вертикальные столбцы. Стоит отметить, что специалисты все же, считают, что такие результаты тестирования вызваны спецификой самого сайта, так как на другом сайте тестирование этих самых вариаций показало, что стиль вертикальных столбцов приносит результата больше.

Полная реконструкция дизайна страницы товара повысила продажи на 20%.

 

Компания, которая занимается предоставлением услуг и продуктов для программного обеспечения сделала полный редизайн страницы товаров на своем сайте. Обновленный сайт обладал более современным интерфейсом и новыми гарантиями (такими как печати, лицензии и т.д. ), что повысило уровень доверия пользователей, и конверсию на 20%. Этот случай свидетельствует о том, как велико влияние дизайна сайта на количество продаж.

Маркетинговые эксперименты утроили показатели конверсии

 

В ходе серии A/B экспериментов удалось достичь повышение продаж на 258%! Тема тестирования: выявление отвлекающих, отпугивающих элементов и других факторов и требований мешающих пользователям завершить покупку. Исследовав результаты, на сайте оставили лишь поле для заполнения адреса электронной почты посетителя. После завершения регистрации, каждый пользователь попадал на посадочную страницу, где его ждала мотивирующая подарочная карточка на площадке Amazon (выбор был сделан согласно результатам отдельного A/B теста)

 

Инструменты для A/B тестирования

Как мы уже говорили выше, существует множество инструментов для A/B тестирования, с различными фокусами, ценовой политикой и набором функций. Вот некоторые из них:

Google Website Optimizer

Бесплатный инструмент для проведения A/B исследования. Среди плюсов — всеобщая доступность, но полезных функций заметно не хватает.

A/Bingo и Vanity

Это серверные фреймворки для разработчиков Ruby on Rails. Требует навыков программирования и интеграции в код.

Visual Website Optimizer

Простой в использовании инструмент для A/B тестирования с расширенными возможностями, такими как WYSIWYG редактор, сегментация посетителей и др.

Unbounce и Performable

Инструменты-создатели целевых (посадочных) страниц с интегрированными технологиями для проведения A/B тестирования.

Vertster, Omniture’s Test&Target, Webtrends Optimize and SiteSpect

Платные инструменты для расширенного тестирования.

Ресурсы для более глубокого изучения метода А/В тестирования

Если Вы сейчас читаете эти строки, значит A/B тестирование пробудило Ваш интерес. Ниже для Вас список перлов связанных с A/B тестированием, в веб-формате:

Идеи и советы: что тестировать следующим

Which Test Won?

Игра, в которой Вы пытаетесь предугадать исходы тестирования.

101 A/B Testing Tips

Собрание советов, статей, приемов и идей.

ABtests.com

Место, где можно выложить и прочитать результаты A/B тестирования.

A/B Ideafox

Поисковая система для A/B технологий и проведения многовариантных тестов.

Введения, презентации, статьи

Effective A/B Testing

От Бена Тилли

Practical Guide to Controlled Experiments on the Web (PDF)

От Microsoft

Introduction to A/B Testing

На блоге 20bits

Арифметика A/B тестирования

Statistics for A/B Testing (на блоге 20bits)

How Not to Do A/B Testing

Easy Statistics for AdWords A/B Testing, and Hamsters

Statistical Significance and Other A/B Test Pitfalls

What You Should Know About the Mathematics of A/B Testing

 Итак, готово. Главное, что нужно знать об A/B тестировании — это то, что оно существует, его использование не несет огромных затрат и оно способно реально повысить уровень конверсии на сайте без увеличения количества посетителей. С основной задачей A/B тестирования разобрались, а в остальном, команда TagesJump всегда готова помочь.

Проблемы, которые возникают при A/B тестировании сайта:

1. Кратковременность тестирования при небольшой посещаемости сайта. Лучше отталкиваться от 4значных цифр посещаемости каждой тестируемой страницы.

2. Анализ тестирования по разным источникам трафика. К примеру, результаты теста будут Вас устраивать, но не забывайте, что причиной роста конверсии может быть Ваша публикация на тематическом сайте или трафик с контекстной рекламы, который Вы настроили недавно.

3. Поспешные выводы. Конверсии увеличились в плюсовую сторону, и Вы сразу меняете тестируемую страницу на новую. Возможно стоит продлить сплит тестирование по времени и окончательно обдумать причины и правильность Ваших подсчетов.

4. Неточные подсчеты результатов сплит-тестирования.

Подсчитать эффективность A/B тестирования можно по такой формуле:

E(А, В)=G/T*100%, где

Е — эффективность страницы;
G — количество достигнутых целей страницы А или B;
T — трафик, который получила страница A или B во время сплит-тестирования.

Как незначительные изменения на странице могут оптимизировать конверсию сайта и увеличить Вашу прибыль в наглядных примерах:

Наглядный пример №1 A/B тестирования:
Цель сплит-тестирования: увеличить количество кликов по кнопке RSS подписки (увеличить количество подписчиков).
Разница в страницах была не значительная, всего лишь изменили расположение картинки. Для страница А — выровняли картинку справа, для B — слева.
Результат: Страница B эффективнее за страницу А на 0,5%!

Наглядный пример №2 A/B тестирования:
Цель сплит-тестирования: разные.
Изменили положение графических элементов. Для страница А — графические елементы отображались в самом конце, для B — часть в начале, а остальная в конце.
Результат: Страница B эффективнее за страницу А на 1,2%!

Наглядный пример №3 A/B тестирования:
Цель сплит-тестирования: E-mail подписка или регистрация на сайте.
Изменили положение графических элементов и текстовых блоков на страницах А и В.
Результат: Страница B эффективнее за страницу А на 0,7%!

Оптимизируйте конверсии сайта при помощи А/В тестирования прямо сейчас!

 

Наши рекомендации по использованию АБ тестирования

 

• Начните тестировать. Если вы еще ни разу не использовали это инструмент, самое время начать. Вы будете приятно удивлены, тем как можно повысить эффективность вашей целевой страницы.

• Тестируйте все что можно. Не ограничивайте себя только тестами расположения кнопок и их текстами. Тестируйте любой контент. Фото, видео, отзывы ваших клиентов (с фото — без, с подписью — без) Вы удивитесь но есть огромное количество деталей которые в сумме не плохо влияют на конверсию.

• Будьте последовательны. Не тестируйте большое количество элементов за раз. Мы советуем начать с заголовка страницы, затем тестировать расположение и формат призывов к действию, а уж затем переходить к остальному контенту и структуре.

• Тестируйте всегда. Не останавливайтесь, даже если вам кажется что уже нет предела совершенству, поверьте всегда можно еще чуть-чуть да сделать лучше.

• Анализируйте каждый шаг. Не забывайте фиксировать и отслеживать все ваши действия, это поможет вам в случае неудачи вернуться к рабочему варианту.