А/Б тест картинок в Яндекс.ДирекТ
КАК УЗНАТЬ РЕЗУЛЬТАТЫ?

Всем привет!

В 9 из 10 кампаний РСЯ, в которых мы делаем аудиты, есть А/Б тест двух и более картинок. Запуск теста сейчас - это уже стандарт.

Вот только проблема в том, что на этапе заливки объявлений работа с тестом заканчивается. Мы практически не видели, чтобы специалисты правильно интерпретировали полученные данные и отключали неэффективные объявления.


Для начала теория
Давайте разберемся как же работает А/Б тест объявлений в Яндекс Директ. Для старта вам достаточно лишь отправить в каждую группу по несколько объявлений, которые отличаются картинками.

Почему в РСЯ лучше всего тестировать сначала
картинки, а не тексты? Успех объявления, по нашим данным, на 60% зависит от картинки, на 30% от заголовка, на 10% от текста объявления и всего остального. В данный момент Яндекс часто тестирует форматы, где вовсе нет ни текстов, ни быстрых ссылок. Только картинка и заголовок. Вот пример из сервиса Яндекс.Картинки.
Итак, мы залили с вами несколько одинаковых объявлений с разными картинками и ждем результат. В самом начале Яндекс будет показывать их стараться равномерно показывать вначале, а затем, основываясь на эффективности объявления, повышать показы победителя и снижать показы проигравшего. А что для Яндекса является эффективностью? Верно. То, что принесет Яндексу больше денег :) В нашем случае, это объявление, на которые чаще других кликают. Еще раз: выигрывает то объявление, у которого выше CTR!

Ниже скриншот из справки Яндекс.Директ
Устраивает ли вас то, что яндекс сам выбирает более кликабельное объявление? В одной из наших статей мы показали на примере теста в Google Ads, чтобы более кликабельное объявление приносило почти в 2 раза более дорогие конверсии. Мы все прекрасно знаем, что если написать в объявлении "Внимание! Акция! Только 2 дня! Успейте заказать!", то кликабельность будет высокая, однако таким образом в основном будут кликать любители скидок и халявы. Чаще всего, у рекламодателя нет преимущества по цене, поэтому в объявлении указываются другие преимущества. Они же будут снижать CTR, но привлекать на сайт более целевую аудиторию.
Важно!
  1. Низкий или высокий CTR в РСЯ не влияет на цену клика на поиске.

  2. CTR в РСЯ считается для каждой площадки отдельно и не влияет на другие площадки.

  3. Никогда не стоит отключать площадки из-за низкого CTR. Когда-нибудь мы подготовим статью на эту тему и покажем, что есть популярные площадки, где с ctr 0,01 мы получаем достаточно конверсий в пределах KPI.
Итак, вернемся к нашему А/Б тесту. Самым верным и корректным способом сравнения эффективности картинок является их сравнение по коэффициенту конверсии в целевое действие. Пример сравнения эффективности А/Б-теста объявлений в КМС Google Ads мы рассмотрели в этой статье.

Есть несколько способов как это определить.
Способ №1
Самый простой. Если вы создаете новую кампанию, то добавьте в utm-метку utm_content=kartinka_s_malchikom для одного типа картинок, utm_content=kartinka_s_devochkoi для другого и так далее.

Затем, по прошествию некоторого времени, вы сможете сравнить результаты буквально в 2 клика в Яндекс.Метрике или Google Analytics.

Вот пример как это сделать в Яндекс.Метрике. Заходим Отчеты -> Стандартные отчеты -> Источники -> Метки UTM.

В группировках оставляем только UTM_content. В показатели добавляем "Конверсия по любой цели" и "Достижения любой цели", если все ваши цели транзакционные.
Здесь легко можно увидеть тот вариант, который явно превосходит по конверсии в целевое действие.

Однако, такой вариант сравнения подходит лишь в том случае, если вы создаете кампании с нуля, либо предыдущий специалист позаботился о utm_content.
Способ №2
В сети также есть мнение, что яндекс совсем неравномерно распределяет показы среди объявлений и какие-то может показывать в ночью, какие-то днем, на разных позициях и на разных устройствах. Поэтому есть предположение, что тестирование так называемой "шахматкой" может показать хороший результат. В теории, мы с этим согласны.

Что для этого нужно? Создать обязательно две новые кампании с самыми высокочастотными ключами, чтобы полученный CTR в уже работающих кампаниях не влиял на результаты. В одну кампанию добавить одну картинку, в другую кампанию - другую. И запустить обе кампании работать в течение недели поочередно с помощью управления расписанием объявления. Вот так это будет выглядеть.
В другой кампании будет зеркальная настройка по времени. Таким образом кампании будут в одинаковых условиях. Однако, этот способ подходит для разового короткого теста. Мы данный способ не практикуем.
Способ №3
Не самый простой, но действенный. Этот способ можно применить, даже если ваши кампании работают уже годами.

Заходим в Мастер Отчетов в определенную кампанию. В срезах выбираем № объявления. В столбцах Показы, Клики, Расход всего, Конверсии.

Также выбираем нужный период времени. Если кампании работают давно и добавления картинок не было, то стараемся охватить максимальный период для чистоты данных. Атрибуция - Последний значимый переход.

В итоге отчет должен выглядеть вот таким образом. Экспортируем и запускаем его в excel.
Затем нам необходимо перейти в нужную нам кампанию там же в интерфейсе Яндекс.Директ и выгрузить ее в формат excel.
Отлично! Осталось совсем немного. Открываем обе таблицы.

В таблице с выгрузкой кампании оставляем только столбцы ID объявления и Изображения. Далее удаляем строку 11 и все строки выше. Мы делаем это для того, чтобы все ячейки стали одинаковыми и мы смогли сделать сортировку по убыванию по ID объявления. Вот так:
Выделяем оба столбца и удаляем дубликаты с помощью опции Данные -> Удалить дубликаты.


Далее в excel-файле с выгрузкой отчета выделяем столбец А и удаляем "M-". Таким образом, мы приведем его в соответствии с номером ID объявления.
Удаляем все строки с первую по четвертую и сортируем данные столбца "№ Объявления" по убыванию.
Осталось совсем чуть-чуть.

Таким образом мы получили две таблицы. В одной объявления с показателями, а в другой те же объявления, только с указанием картинок.

Обычно мы копируем все на один лист и сопоставляем с помощью ВПР. Функция ВПР (VLOOKUP) в Excel переставляет данные из одной таблицы в соответствующие ячейки второй.
лева красным квадратом под номером один выделены столбцы из отчета. Справа под номер два столбцы из выгрузки кампании. А в столбце F мы используем функцию ВПР: =ВПР(A:A;K:L;2;ЛОЖЬ), где A:A - это то, что мы ищем, K:L - где мы ищем, 2 - номер столбца в нашей второй таблице, откуда необходимо взять значение и ЛОЖЬ - интервальный просмотр.

Мы на финишной прямой!

Осталось только воспользоваться сводной таблицей. Пишем в заголовке столбца F картинка. Выделяем все столбцы А:F, переходим в меню Вставка -> Сводная таблица -> OK.
Добавляем два вычисляемых показателя: CTR и Цена за достигнутую конверсию.
В настройках сводной таблицы в строки перемещаем "Картинка", остальное - в столбцы.
Необходимо нажать правой кнопкой мыши на каждом из столбцов со значениями и вывести итоги не по количеству, а по сумме.
Результат
Ну вот и всё! Теперь мы можем увидеть полезную статистику. Если раскрасить значения, то мы увидим интересные закономерности.
Как видно, объявление с лучшим CTR в итоге ожидаемо получило больше всего охвата и кликов. Однако, оно не является самым эффективным с точки зрения стоимости целевого действия. А объявление с самым плохим CTR из всех, наоборот, привлекает более целевой трафик, который лучше конвертируется в заявки!

Анализируйте данные правильно и получайте отличные результаты с помощью контекстной рекламы!
Хотите узнать насколько качественно настроена ваша реклама?
Закажите у нас аудит. Мы делаем его по 67 критериям. Это бесплатно и ни к чему не обязывает.