Baidu или не Baidu

В чем контекст  Последнее время у рынка появляются вопросы к качеству OEM-трафика, в частности трафика с «кастомных клавиатур», которые изменяют вид оригинальной клавиатуры и добавляют эмоджи. Есть гипотеза, что трафик с таких клавиатур просто каннибализирует органику. Мы в Go Mobile решили эту гипотезу проверить — в качестве паблишера использовали Baidu, а в качестве источника трафика — клавиатуру от Xiaomi, она же facemoji.

Немного теории Если пользователь использует кастомную клавиатуру, то при вводе поискового запроса ему рекомендуются приложения в зависимости от вводимого текста. Ниже пример, как это выглядит.

А вот что пользователь не видит — Когда юзер вводит текст, клавиатура по умолчанию собирает всю вводимую информацию и использует эти данные для выдачи рекламных рекомендаций.  — При вводе текста в поиск с помощью функции input v2 происходит отправка на сервера информации о запросе. В ответ на этот запрос пользователю показывается нативный рекламный баннер с индексацией по ключам.  — В рекламный баннер вшита кликабельная ссылка, если пользователь совершает клик — активируется track-link в MMP, а переход атрибуцируется нативному баннеру клавиатуры.  — Если же пользователь не кликнет на ссылку, атрибуции не произойдет(VTA в том числе, так как в Baidu ее просто нет), и переход в карточку приложения присваивается органике. Что по итогу это значит для рекламодателя: с точки зрения UA нативные баннеры в кастомных клавиатурах — не органика. Пользователь получает рекомендацию, кликает на рекламный баннер и закономерно атрибуцируется платному трафику, не будет клика — не будет и атрибуции.

Что и как мы тестировали  С теорией все понятно, давайте погружаться в детали тестирования. Мы провели 15 тестов на разных устройствах и на разных сетапах. Тестировали как на новых, так и на старых устройствах от Xiaomi, Huawei и Samsung. Baidu можно купить как напрямую, так и через селлеров: трафик там идентичный. Из проведенных тестов мы нашли рекламное размещение Baidu через Appnext. Клавиатура facemoji На установленной из стора клавиатуре за 12 тестов рекламных рекомендаций не было, и весь трафик упал в органику. Как мы это поняли — сначала вбивали название приложения в поиске, после устанавливали его и смотрели на Raw Data. Однако мы сделали интересное наблюдение — по данным наших срезов по клиентам, в среднем 13% трафика — это не Xiaomi-девайсы. Родная клавиатура Xiaomi Родной мы считаем клавиатуру facemoji, которая по умолчанию установлена на девайсы — то есть не нужно скачивать дополнительно. На предустановленной клавиатуре мы проводили три теста, и во всех трех у нас были рекламные рекомендации. Далее мы разделили сегмент с родной клавиатурой еще на две когорты: > Не кликали на рекламную рекомендацию — тут 100% трафика также ушли в органику, как мы и предполагали. > Кликнули на рекламную рекомендацию — а тут закономерно все переходы атрибуцировались платному трафику. Для удобства результаты тестов мы визуализировали в таблице. Baidu не будет откровенно угонять вашу органику. Да, это нативный формат, и пользователи не всегда понимают, что перед ними реклама, когда кликают на баннер, поэтому за корреляцией органики с Baidu все равно стоит следить. Однако мы точно можем сказать, что без клика на рекламную ссылку пользователь никак не попадет в платный трафик. Хорошо это или плохо — вопрос открытый, однако говорить о масштабной каннибализации органики — некорректно. А что там с фродом Тут будем краткими. Коробочные решения трекеров. Общие значения фрода редко превышают 2–3%, иногда бывают всплески Install Hijacking и Click Injection, но их объем все еще довольно мал. Скорее всего, это просто пользователи с супербыстрой установкой, которая выглядит аномально по CTIT. Fraud Score. Индекс фрода не превышает 20 — 2% приходится на click injection и 6% на bad events dynamic proxy и dynamic blacklist, так что, если отключить впнщиков, индекс фрода будет еще меньше. По косвенным метрикам Go Mobile. Есть небольшое отклонение по CTIT от наших бенчмарков, но не больше чем на 1–2 п. п. Например, доля CTIT <15 сек. — 1,4% при бенчмарке в 1%. По объему установок, количеству ассистов и другим метрикам мы тоже не нашли каких-то аномалий. Корреляция с органикой. Как при запуске, так и при отключении источника мы не увидели никаких статистически значимых изменений в органике и не нашли прямой корреляции между Baidu и органическим трафиком.

Отключить нельзя оставить  На банальный вопрос рынка «что делать с источником?» у нас есть такой же банальный ответ — понять, нужен он вам или нет. Зачем вообще продвигаться с помощью Baidu  > Нативная рекомендация. > Продвижение за счет брендовых ключей и гарантия того, что при поиске вашего бренда не будет рекомендоваться другое приложение. > Дополнительное медийное продвижение: ваш баннер периодически мелькает у пользователей, даже если они на него не кликают. Мы вывели четыре ключевых критерия, которые помогут оценить эффективность продвижения за счет кастомных клавиатур. Динамика органики  > Проверьте, есть ли просадка по органическому трафику на устройствах Xiaomi после подключения клавиатуры.  > Происходит ли рост органики при отключении клавиатуры.  > Насколько дельты прироста и спада критичны. В целом оценка инкремента — это уже новая порядочность в мобильном продвижении, так что корреляция между платным трафиком и органикой — это необходимый минимум. Для большей эффективности можно провести дополнительные тесты по оценке инкрементальности: > проанализировать цепочки касаний и определить эффективность каждого отдельно взятого источника. > оценить коэффициент инкрементальности. > провести причинно-следственный анализ с помощью Propensity Score Matching. Динамика платного трафика > Повлиял ли как-то запуск клавиатуры на динамику в других источниках в срезе по девайсам. > Анализ времени между ассоциированными конверсиями.

Даня Вершинин, Buying Team Lead Go Mobile: «Это достаточно скользкий параметр, так как выкупная емкость конечна, а количество разных источников на российском рынке как будто стремится к бесконечности. Проще говоря, рано или поздно вы столкнетесь с пересечениями аудитории в разных источниках, поэтому опираться только на этот параметр — не советую, так как нужно учитывать больше факторов. Такой вот своеобразный «конец интернета».

Прямое сравнение с органикой и платным трафиком другого источника  > Насколько совпадают CR% по воронке. > Насколько совпадает RR пользователей. > AOV пользователей, ARPU, ARPPU, ARPDAU, RPM/RPC/RPI/RPA, LTVd0/d7/d14, pLTV и прочие «что-то per что-то» и финансово-эффективные метрики. Оценка фрода > Коробочные решения трекеров. > Дополнительные антифрод системы вроде Fraud Score. > Косвенные метрики типа CTIT и CTDT или другие дельты по времени.  Подытожим — С точки зрения UA нативные баннеры в кастомных клавиатурах — не органика. Если пользователь кликнул на рекламу — закономерно попадает в платный трафик. — Нет клика — нет и атрибуции, в Baidu нет VTA, поэтому случайно в платный трафик пользователи тоже попасть не могут. — Baidu не будет намеренно каннибализировать органику, но, как и со всем трафиком, с размещениями стоит быть аккуратным — дополнительная оценка инкрементальности еще никому не навредила.