Элементы оптимизации Можно тестировать изменения иконок, скриншотов и видеотрейлеров. В Google Play также доступны короткое и полное описания — их основная цель — улучшение индексации, но на эффективность витрины они тоже могут влиять, в редких случаях. С помощью тестов мы выявляем наиболее успешную страницу приложения, благодаря которой можем влиять не только на объем аудитории, количество установок и конверсию, которые видим в админке стора, но и на бизнес-показатели, которые там не отображаются.
Поэтому, чтобы получить более глубокие результаты — анализируем поведение органических пользователей и их конверсию в первую покупку или другое целевое для бизнеса действие в рамках MMP (партнер по мобильным измерениям — Прим.ред). Без учета этих метрик, оптимизация может привести к увеличению установок, но при этом к плохому результату по целевым действиям.Оптимизироваться возможно на установки и на retention (возвращаемость пользователей — Прим.ред) первого дня в Google Play.
Первый вариант не так эффективен, поскольку учитывает только факт скачивания приложения, без учета открытия или удаления его пользователем в первый день:
помогает максимизировать видимость приложения в сторе, но не дает реальной картины.
Оптимизация на retention нужна, чтобы пользователи установили и не удалили приложение в течение первого дня:
ориентирована на удержание пользователей, увеличение LTV (Lifetime Value — пожизненная ценность клиента — Прим.ред), количества покупок и других бизнес-показателей, у вас есть стабильная база пользователей и вы хотите понять, какие изменения помогут повысить вовлеченность.
Представьте, что у вас минимум две разные витрины. Если во время теста по установкам одна из них проигрывает, но пользователей, которые остаются, больше — предположите, что будет с этой страницей, но в прогрессии на аудиторию в десять тысяч или на полгода вперед. Вы получите больше полезных для вашего бизнеса пользователей, несмотря на меньшее количество установок. Механизм тестирования A/B-тестирование начинается с определения его цели и формулирования гипотез на ее основе. После того, как мы поняли, что и как хотим улучшить — готовим креатив и запускаем тест. Рассказываем на что обратить внимание на каждом этапе. Гипотеза Список гипотез — база, необходимая для проведения A/B-тестов. Чем больше список — тем лучше. Варианты в списке должны быть расставлены с учетом приоритета — в какую верим больше, а в какую меньше, и по обоснованию влияния на бизнес-показатели. Они должны быть нацелены на улучшение показателей и отвечать на вопрос «Чего мы хотим этим добиться».
Евгений Кузнецов, ASO Director Go Mobile: «Любая гипотеза должна быть обоснована. Даже если мы просто хотим поменять цвет — нам нужно понимать к чему нас должно это привести. Таким образом, мы составляем список из проработанных гипотез и приоритезируем их. Принципы приоритизации у всех разные — делаем на опыте и вере. Вера должна основываться на нашем понимании аудитории бизнеса, предыдущем опыте, аналитике рынка и аналитике внутреннего поведения в приложении. Также нельзя быть уверенным в гипотезе на 100%, что она правильно составлена и приоритизирована. Мы не способны предугадать реакцию аудитории поэтому не нужно бояться ее переделывать и пробовать другое».
Если вы проводите тест впервые, одна из идей для гипотезы — другие приложения: можете посмотреть на топ стора и топ в вашей нише и проанализировать, как менялась их витрина и как часто. Если обновления витрины редкие — не стоит брать в рассмотрение. Важный нюанс — если вы хотите адаптировать какую-то гипотезу под свое приложение, делайте это максимально полно. Если вы реализуете ее на половину — проверки не получится и время будет потрачено зря. Полная и продуманная реализация критически важна для успешного тестирования.
Не соблюден яркий фон на первом скриншоте, соответственно гипотеза реализована не полностью и осталась не проверена. Тест В тестировании используются только новые пользователи. Тесты витрин проводятся при равных объемах аудитории, при этом пользователи никак не сегментируются. Тест важно держать от семи дней, чтобы охватить максимальное количество когорт пользователей. Например, у нас есть приложение доставки продуктов. Есть пользователь, который работает на удаленке и пользуется доставкой ежедневно. А есть пользователь, который заказывает продукты в выходные — в будни он в офисе. В таком случае, если проводить тест в течение пяти дней — его результат будет невалидным. Если период проверки затрагивает праздничные дни, то их можно не учитывать или продлить тестирование. В праздники пользователи, например, могут тратить больше времени на покупки и специальные предложения. В непраздничные дни паттерн поведения пользователей может меняться, поэтому такие результаты могут быть некорректными. После запуска наблюдаем каждый день, смотрим динамику.
Продолжительность теста может варьироваться в зависимости от объема трафика или целей тестирования. Чем больше трафика — тем быстрее можно получить реальные выводы.
Не стоит бояться проводить радикальные тесты — чем больше изменений в одной гипотезе тестируем, тем больше вероятность, что разница в результатах будет весомая как в минус, так и в плюс. Их уместно проводить на маленькую аудиторию, чтобы не рисковать потерей установок. Если мы делаем незначительные изменения, у нас будет маленький прирост или маленькое падение. Если в период запуска мы видим большой прирост показателей от маленького изменения, тут может быть несколько вариантов:
Результат — ложноположительный. В таком случае мы продлеваем тест. Гипотеза некачественно проработана, и изменение на самом деле весомое.
A/B-тесты не разовый процесс — их нужно проводить регулярно. Даже если основная витрина систематически выигрывает — проводите обратные тесты, чтобы сравнить новую витрину и старую, и отслеживайте тренды. Аудитория могла поменяться, а витрина могла приесться. Также нужно адаптироваться под сезонные изменения или появление новых фич, акций в вашем приложении. Пробуйте тестировать радикальные гипотезы и подключать на брейншторм новых специалистов со свежим взглядом.
Регулярные тесты помогут определить наиболее эффективные элементы, с помощью которых вы адаптируетесь к изменениям и поведению аудитории. Все это приводит к повышению видимости приложения и улучшению конверсии.
Форматы A/B-тестов A/B-тестирования бывают нескольких форматов. Сейчас рассмотрим для чего нужен каждый из них.
A/B-тестирование — сравниваются две витрины. Одна из витрин — основная, вторая — новая гипотеза. Проверяем какая из витрин приносит лучшие показатели.
Самый популярный формат теста, который помогает проанализировать эффект от изменений.
AA/BB-тесты — подходят для проверки стабильности данных, чтобы убедиться в отсутствии системных ошибок и понять какое количество данных необходимо, чтобы получать статистически значимые результаты. Тестируем две разные витрины с идентичными им витринами, но на разные аудитории. Так мы можем оценить одинаковые ли показатели они приносят, если результаты AA или BB тестов отличаются — это может указывать на проблемы, например, некачественную аудиторию.
Может проводиться в разных форматах: AA/B, A/BB или AA/BB. Главное условие — тестировать на разную аудиторию.
Если у вас много качественных гипотез можно прибегнуть к A/B/n-тесту, где n — множество вариантов. Из плюсов — экономит время, гибкий подход — можем тестировать элементы в разных сочетаниях. Из минусов — нужно больше трафика. Например, если у вас в среднем десять тысяч установок в неделю, для A/B/n-теста потребуется минимум сорок тысяч установок, чтобы получить статистически значимые результаты.
Наиболее сложный формат, который одновременно требует анализа множества данных. Как долго тестировать? Тестируем пока не уверены в том, что результат статистически значимый: не ложноположительный или ложноотрицательный. Также показатель того, что тест можно останавливать — если вы видите, что динамика внутри него стабильная. Завершая, приходим к выбору — оставляем старую витрину или ставим новую. Также, полученные данные служат базой для формулирования новых гипотез и будущих тестов. После теста нам нужно актуализировать список гипотез и сделать вывод по поведению пользователей. Например, мы добавили промокод на первый скриншот, но аудитории он не интересен — делаем вывод о том, что пользы в этом нет. Далее смотрим на список, если необходимо — дополняем новыми гипотезами и меняем приоритизацию. Все сформулированные выводы фиксируем, чтобы не повторяться в будущих тестах.
[Нажмите на изображение, чтобы увеличить] Регулярное и правильное тестирование гипотез позволит лучше понять, что привлекает пользователя. Потенциальные ошибки Что может помешать успешному тестированию — рассказываем про распространенные ошибки:
Построить гипотезу не точно
Неопределенные или слишком общие гипотезы могут привести к результатам, из которых мы не сможем сделать цельных выводов. Например, вместо «Улучшить пользовательский интерфейс» следует сформулировать гипотезу более конкретно: «Изменение цвета иконки на зеленый увеличит процент установок на 10%».
Не проверить гипотезу
Перед тестированием убедитесь, что визуальные материалы соответствуют и полностью проверяют гипотезу.
Сформулировать гипотезу только на интуиции
Важно опираться на данные предыдущих тестов, опыт конкурентов или другую аналитику — это повысит вероятность успешного результата.
Отобразить на витрине все фичи
Лучше протестировать УТП отдельно и понять, что лучше откликается у людей и в отражении чего есть необходимость. Понимание потенциальных ошибок, которые связаны с формулированием гипотезы в A/B-тестах и составлением креатива — ключевой шаг для успешного тестирования и применения полученных результатов в ASO. Тесты в альтернативных сторах В альтернативных сторах, например, региональном RuStore и вендорном AppGallery — нет возможности проводить A/B-тесты. Такие сторы практически не делятся подробными данными о трафике, что мешает анализу и оптимизации приложения. Если ваше приложение есть в Google Play и альтернативных сторах — перенесите результаты из Google Play, если приложение осталось только в альтернативном сторе — можно воспользоваться следующими сервисами: Storemaven, Geeklab, SplitMetrics или другими аналогами. Например, SplitMetrics проводит тесты на собственных лендингах, которые в точности повторяют витрину в приложении. В результате вы получите данные по метрикам, которые нельзя получить нативно из админки стора:
CTR (Click-Through Rate — отношение числа кликов на рекламу к числу показов — Прим.ред) кнопки Install для каждой витрины; сколько и как взаимодействовали со скриншотами (скроллинг, просмотр); открытие описания; конверсию после просмотра видео; сколько времени пользователь провел на странице; взаимосвязь между взаимодействием и установками.
Кроме A/B-тестирования на этих платформах возможно более глубоко проанализировать поведение пользователей, экспериментировать с рекламными кампаниями и автоматизировать их. Сервисы предлагают и другие инструменты: исследование стратегий конкурентов, онлайн-мониторинг поведения пользователей и работу с отзывами — все это поможет улучшить видимость приложения и масштабировать результаты. Чек-лист по A/B-тестированию в ASO 1. Определите цель тестирования
Задайте вопрос: что именно вы хотите улучшить? Определите ключевые бизнес-показатели, на которые можно влиять.
2. Сформулируйте гипотезу
Создайте список гипотез, расположив их по приоритету. Обеспечьте четкость формулировок — гипотеза должна быть проверяема. Опирайтесь на данные и исследования.
3. Разработайте креатив
Инвестируйте время и ресурсы в качественные визуальные и текстовые материалы. Убедитесь, что все креативные элементы соответствуют вашему бренду, целям и проверяют гипотезу.
4. Проведите A/B-тестирование
Минимальная рекомендуемая продолжительность теста — семь дней, чтобы охватить разные типы аудитории. Рассмотрите возможность использования форматов A/B, AA/BB и A/B/C/D в зависимости от гипотез и доступного трафика.
5. Мониторьте результаты
Отслеживайте динамику ежедневно для быстрого реагирования на изменения. Будьте готовы продлить тест, если результаты покажутся неочевидными или ложноположительными.
6. Анализируйте итоги теста
После завершения теста проверьте данные для определения наиболее эффективной витрины. Используйте результаты для создания новых гипотез и дальнейшей оптимизации.
7. Избегайте распространенных ошибок
Убедитесь, что гипотезы хорошо проработаны, и креативы выполнены качественно. Не отображайте все фичи на витрине — определите в чем есть необходимость.
Евгений Кузнецов, ASO Director Go Mobile: «К процессу A/B-тестирования нужно подходить комплексно и учитывать многие нюансы. Отдельного обсуждения заслуживают такие темы, как выборка пользователей, проверка статистической значимости и то, как различается поведение пользователей из разных гео и источников трафика».
Свежие комментарии