Что представляет собой A/B тестирование плюс почему этот метод нужно
А/Б эксперимент являет собой способ проверки двух либо дополнительных решений веб-страницы, дизайна, копирайта, элемента действия, анкеты, рассылки, промо объявления или прочего веб элемента. Главная функция состоит в том задаче, для того чтобы определить, какая версия результативнее функционирует при фактической аудитории. Взамен предположений и личных мнений используется проверка среди реальной аудитории, когда первая группа просматривает формат A, а вторая — формат B.
Этот принцип помогает формировать действия на основе данных, но не на индивидуальных мнений либо нерегулярных наблюдений. Внутри экспертных публикациях, в том числе 1win, часто отмечается, будто A/B тестирование особо полезно в тех случаях, когда точечные корректировки способны воздействовать в отношении поведение пользователей: нажатия, создания аккаунтов, отправку заявок, длину изучения, возвращаемость, транзакции, подключения или другие заданные результаты. Подход позволяет проверить, действительно ли конкретно изменение повышает 1win результат.
Как функционирует А/Б проверка
Механизм А/Б тестирования относительно понятен. Сначала определяется блок, какой необходимо оценить. Это может стать заголовок, цвет кнопки, расположение блоков, сообщение уведомления, структура формы, изображение, цена, тип оффера а также место целевого элемента. Далее готовятся минимум двух решения: первоначальный и обновленный. После этим поток пользователей распределяется между версиями на основе заранее установленным условиям.
Первая группа посетителей остается получать исходную версию, а другая открывает измененную. Платформа фиксирует показатели касательно реакциях отдельной части затем сравнивает метрики. Если решение B дает более высокий эффект при нужном массиве данных, эту версию получается внедрять. Когда прироста не видно или обновленная страница показывает себя менее эффективно, изменение убирается. Как раз в данной логике как раз проявляется прикладная польза проверки: он помогает проверять гипотезы перед полного 1вин запуска.
Для чего нужно А/Б эксперимент
А/Б тестирование необходимо ради уменьшения неясности. На уровне онлайн платформах включая небольшая деталь может сказываться в отношении оценку дизайна. Конкретный headline способен оказаться понятнее другого, сжатая форма может заполняться регулярнее длинной, а заметно более заметная кнопка может повысить количество кликов. Без тестирования эти решения нередко выглядят догадками.
Подход помогает развивать платформу шаг за шагом. Взамен крупной реконструкции всего ресурса а также приложения допустимо оценивать отдельные элементы а также записывать фактический результат. Такой подход снижает вероятность неудачных решений, сберегает затраты и помогает накапливать знания про реакциях посетителей. Через накоплением тестов команда 1 win формирует не комплект мнений, но модель валидированных подходов.
Какого типа объекты получается тестировать
Сравнивать можно почти разный элемент, какой влияет по части действия пользователя. Чаще всего проверяют названия, подзаголовки, призывы на действию, надписи кнопок, поля регистрации, место элементов, визуалы, карточки продуктов, последовательность этапов, сортировки, навигацию, визуальные блоки, уведомления, письма и маркетинговые материалы. Существенно, дабы отобранный объект оказывался объединен с определенной заданной метрикой.
Если ориентир проявляется в росте переданных обращений, разумно проверять заявку, формулировку возле нее, количество полей и выразительность кнопки. Когда важно усилить глубину просмотра, следует тестировать переходы, модули рекомендаций, внутрисайтовые переходы и построение раздела. Если прямее зависимость 1win в паре правкой и метрикой, тем информативнее результат проверки.
Гипотеза в роли основа эксперимента
Любой хороший A/B эксперимент начинается от предположения. Проверяемая идея объясняет, какого типа правка рассматривается, из-за чего оно может повлиять по части результат и какой именно результат обязан измениться. В частности, можно сформулировать, будто уменьшение формы оформления аккаунта уменьшит количество незавершенных действий, потому что именно пользователю будет необходимо меньший объем минут с целью завершения шага.
Качественная формулировка не обязана должна оставаться чрезмерно общей. Формулировка типа «улучшить интерфейс качественнее» не помогает помогает зафиксировать показатель. Гораздо более ценный вариант: «когда поменять объемный формулировку кнопки на сжатый и конкретный, объем кликов вырастет, поскольку ведь шаг станет очевиднее». Подобная формулировка сразу 1вин определяет предмет теста, основание плюс метрику.
Исходная а также экспериментальная группы
Внутри А/Б проверке базовая группа просматривает первоначальный формат, тогда как тестовая — обновленный. Такое разделение необходимо с целью честного сопоставления. Когда только обновить раздел а также сравнить метрики до и после, эффект имеет шанс исказиться из-за сезонных факторов, промо кампании, изменения каналов посещений, событий, системных проблем а также других окружающих причин.
Синхронный вывод отличающихся версий уменьшает воздействие непредвиденных условий. Две выборки находятся внутри близкой обстановке: единый плюс самый одинаковый период, одинаковые идентичные потоки пользователей, похожие девайсы и единый контекст. Следовательно расхождение в результатах с 1 win большей степенью вероятности объясняется в первую очередь с данным правкой, и не не с внешними сторонними обстоятельствами.
Какие метрики задействуются внутри A/B проверках
Критерий — представляет собой показатель, согласно которому оценивается эффект теста. Подбор метрики строится от назначения эксперимента. Ради страницы с анкетой существенны передачи обращений, ради торговой площадки — переносы в заказ и транзакции, в случае контентного проекта — длина изучения плюс время сессии, для сервиса — оформления профилей, первые действия, retention и дальнейшие 1win активности.
Необходимо отделять главную и вторичные метрики. Основная демонстрирует, ради чего запускается проверка. Вспомогательные помогают оценить вторичные эффекты. Например, изменение CTA способно увеличить переходы, но уменьшить ценность дальнейших шагов. Поэтому полезно оценивать не исключительно в сторону первый клик, но и на последующее развитие: выполнение анкеты, возвращения, отказы, ошибки плюс итоговую ценность действия.
Математическая существенность
Математическая существенность отражает, в какой степени вероятно, что полученная разница среди вариантами не оказывается случайной. В случае если первый формат незначительно превосходит другой после ряда десятков единиц посещений, такой результат еще не означает показывает победу. При малом объеме данных итог может оперативно сдвинуться, когда 1вин аудитория станет шире.
Ради корректного заключения требуется нужное количество данных. Чем меньше предполагаемая разница среди вариантами, настолько значительнее данных необходимо накопить. В случае если правка должна улучшить показатель лишь на малое число %, проверке нужно будет больше длительности плюс посещений. Математическая значимость позволяет не выносить преждевременные решения на основе нестабильных изменений.
Размер выборки а также длительность теста
Размер группы сказывается в отношении точность вывода. В случае если тест охватывает чрезмерно мало людей, заключения имеют шанс стать неточными. В частности, малое число новых нажатий у первой группе имеют шанс показываться в виде увеличение, при этом при большем объеме будут обычной погрешностью. Поэтому до запуском разумно рассчитывать, какое количество людей 1 win или действий потребуется с целью проверки предположения.
Срок теста дополнительно получает роль. Очень сжатый тест способен не учитывать отражать расхождения в паре рабочими и нерабочими днями, рабочей а также вечерней посещаемостью, несколькими потоками трафика. Чаще всего тест нужен чтобы захватывать целый период действий пользователей. Но при этом условии чрезмерно затянутый эксперимент равно нежелателен, если внешние условия успевают заметно измениться.
Зачем нельзя изменять эксперимент во период запуска
Распространенная из распространенных просчетов — добавлять изменения в тест вслед за начала. Когда по ходу процессе эксперимента поменять текст, аудиторию, оформление, правила демонстрации а также задачу, наблюдения перемешаются. После этого окажется трудно понять, какое изменение точно повлияло в отношении результат. Тест утратит прозрачность, а выводы окажутся ненадежными 1win.
Перед запуском нужно зафиксировать проверяемую идею, версии, метрики, деление пользователей плюс критерии завершения. После начала лучше не нужно корректировать тест без наличия важной причины. Когда найдена ошибка внутри запуске либо технический проблема, разумнее прервать тест, исправить сбой затем создать повторный проверку, нежели пробовать объяснять смешанные показатели.
Одновременное тестирование многих правок
Порой возникает желание протестировать сразу ряд изменений: обновленный headline, иную CTA, упрощенную заявку а также измененный последовательность блоков. Подобный подход способен показать суммарный эффект, при этом не покажет покажет, какой именно конкретно элемент воздействовал в отношении показатель. В случае если новая версия оказалась лучше, будет непонятно, что повлияло лучше прочего.
Для чистой оценки чаще всего корректируют единственный важный объект на 1вин раз. Если необходимо сравнить несколько вариаций, используется многофакторное сравнение. Такой метод сложнее, нуждается большего объема посещений плюс корректной оценки. Ради основной части задач сплит тест на основе конкретной точной проверкой показывает более понятный и ценный эффект.
Примеры А/Б тестирования в UI
На уровне интерфейсах А/Б проверка нередко применяется с целью улучшения доступности сценариев. Например, допустимо проверить пару версии анкеты: объемную с большим набором строк и краткую с небольшим малым комплектом данных. Когда короткая заявка усиливает количество успешных регистраций без потери ценности обращений, этот вариант получается считать более эффективной.
Еще один сценарий — сравнение надписи кнопки. Общая формулировка может стать менее очевидной, относительно точное объяснение шага. Также проверяют место CTA-элементов, последовательность информационных разделов, дизайн 1 win подсказок, использование прогресс-бара, метод показа сбоев и число этапов внутри пути. Отдельный этот элемент сказывается на то, в какой степени удобно выполнить целевое событие.
А/Б эксперимент в контенте
В материалах тестирование дает возможность понять, какие именно headline-блоки, описания, построения и форматы эффективнее удерживают вовлечение. Допустимо сопоставлять отличающиеся первые абзацы, объем материала, последовательность аргументов, добавление перечней, подачу элементов, подачу преимуществ а также формат раскрытия непростой информации. При этом сценарии существенно оценивать не только лишь нажатия, а также и последующее взаимодействие.
Заголовок способен увеличить число переходов, однако в случае если содержание не отвечает интересам, повысится доля отказов. Поэтому редакционные проверки нужны чтобы учитывать качество контакта: время просмотра, прокрутку, переходы в пределах платформы, возвращения плюс совершение целевых событий. Сильный результат — представляет собой не лишь привлечение интереса, но совпадение запроса и материала.
A/B эксперимент на уровне почтовых рассылках
На уровне email-рассылках нередко проверяют subject-строки сообщений, название адресанта, начальные строки, момент отправки, размер сообщения, расположение элементов действия и описания условий. Один сегмент аудитории видит контрольную формат сообщения, второй сегмент — вторую. После рассылкой сопоставляются открытия, клики, отписки, жалобы и следующие действия в пределах ресурсе.
Необходимо не нужно ограничиваться показателем open rate. Subject-строка письма имеет шанс оказаться заметной плюс захватывать внимание, однако если тема не соответствует наполнению, клики а также лояльность способны ослабнуть. Из-за этого качественный тест рассылки измеряет цельную цепочку: открытие, нажатие, поведение сразу после клика плюс реакцию подписчиков по отношению к сообщение.
