Алексей Филатов , 17 Февраля 2017

Агрегирование данных

Продолжаем цикл статей на тему автоматизации разработки рекламных кампаний для интернет-магазина: агрегируем данные!


После прочтения статей вы научитесь: оптимизировать кампании в Excel методами, которые используются в оптимизаторах конверсий; автоматически собирать семантику, сегментировать и создавать объявления; прогнозировать конверсию на базе истории и многое другое.

Темы статей:

  1. Выгрузка данных из Google Analytics и Яндекс Метрики по API
  2. Парсинг ключевых слов в Key Collector
  3. Кластеризация запросов
  4. Агрегирование данных
  5. Прогнозирование конверсии для ключевых слов
  6. Расчет ставок
  7. Разработка заголовков
  8. Разработка рекламных кампаний
  9. Анализ эффективности

Материал сложный и раскрывает только базовые подходы к автоматизации, чтобы задать вам вектор развития.

В прошлых статьях мы собирали, выгружали и кластеризовали данные, теперь нам нужно их свести в одной таблице.

Итак, нам нужно собрать все данные в одном месте, мы делаем это через Pandas или через Excel, рассмотрим последний вариант. Сначала нам нужно извлечь ключевые слова из общего массива после кластеризации. Суть следующая, у нас есть общий массив, который кластеризован на группы, и есть запросы с конверсиями. Нам нужно взять запросы с конверсиями и посмотреть, в какие группы они входят.

Для этого переносим запросы с конверсиями на другую вкладку в файл с группами и функцией vlookup (впр) ищем совпадения.


Фильтруем #N/A (данные не найдены) и получаем группы слов, в которые входят слова с конверсиями - копируем на другую вкладку.


Удаляем дубли


Теперь во вкладке Группы отключаем фильтры и аналогичным ранее способом используем VLOOKUP для определения фраз, которые входят в группы, в которые входят запросы с конверсиями :) Можно фильтровать с помощью диапазонов, но мы решили не усложнять.


В итоге мы получили 2 столбика с группой и фразой. Давайте с помощью VLOOKUP отметим фразы, которые ранее были с конверсиями, а которые были «притянуты» в результате кластеризации. Сделаем это по аналогии с перым шагом (это необязательно).


Хотел бы заострить ваше внимание на том, что у нас есть 2 вида ссылок: от запросов с конверсиями и подобранные релевантные страницы из Кей Коллектора. Мы проводили исследование, эти ссылки пересекаются в 70% случаев, мы используем те, которые были у запросов с конверсиями. То есть, на весь кластер ставим ссылку, котороя имеется у запроса с конверсией, который входит в этот кластер.

Но это не совсем хорошо, так как бывает, что в один кластер входят два запроса с конверсиями с разными ссылками и конверсией, или 10 высокочастотных запросов без конверсии с другими ссылками, этот вопрос мы снимаем выбором ссылки скриптом, который учитывает частоту в точном соответствии, конверсию, клики и т.д. Статью решили не усложнять этим скриптом.


Создаем файл, в котором будем разрабатывать рекламные кампании и агрегировать другие данные, назовем All.xlsx . Сразу переносим туда данные по данные из последнего шага.

Аналогичным выше методом подтягиваем ссылки из таблицы запросов с конверсиями, подтягиваем их по лемме. То есть сначала подтягиваем к запросам, потом удаляем столбик запросов, удаляем дубли групп и получаем таблицу Группа-URL, подтягиваем ее к общему массиву.


Ссылки

Обратите внимание, что при парсинге позиций обновляются релевантные ссылки на страницы.

Теперь нам нужно для каждой фразы спарсить позицию и базовую частоту - копируем все слова в КейКоллектор и собираем данные. Частоту мы собирали ранее, а вот позиции можно собрать аналогичным способом, как мы собирали поисковую выдачу - через xmlproxy. Снова пополняем бюджет на 14 000 * 0,005 = 70 рублей и запускаем сбор позиций.


Ждем..

Тем временем переносим данные, которые мы выгружали из Google Analytics, а именно средние чеки и конверсия по URL.


Для удобства переименовываем столбики во вкладке All и создаем новые под средние чеки и конверсии по URL, подставляем их с помощью функции VLOOKUP


Если для каких-то строк данных нет #N/A , то не стоит переживать, это нормально - оставляем как есть.


Ранее мы выгружали данные по кликам Яндекс Директ из Google Analytics - подтягиваем данные по кликам и конверсиям в главную таблицу аналогичным образом.


На текущий момент уже спарсилась частотность и позиции - экспортируем их из Кей Коллектора и копируем в общий файл. И аналогично подтягиваем данные в общую таблицу.


Все готово! Почти.

Пишите вопросы в комментариях, какие темы было бы интересно раскрыть подробнее? Если у вас есть идеи или советы, то делитесь!

Подпишитесь на Facebook или Телеграмм, чтобы не пропустить новые статьи

Разделяешь наш подход? Вступай в команду!
Другие материалы по теме
Визуализация данных Яндекс Директ в PBI HOWTO
Визуализация данных Яндекс Директ в PBI
В предыдущей статье мы рассказали как выгрузить данные из Яндекс Директ с помощью Python в CSV таблицу. Теперь построим на этих данных красивый и полезный отчет.
Интеграция клиента и агентства HOWTO
Интеграция клиента и агентства
В статье расскажем, как происходит интеграция клиента и агентства, и как выстраиваются коммуникации.
Выгрузка данных из API Яндекс Директ через Python HOWTO
Выгрузка данных из API Яндекс Директ через Python
Рассказываем как выгрузили 30 млн. строк данных для последующего анализа в Power BI.
Прогноз стоимости и количества лидов HOWTO
Прогноз стоимости и количества лидов
Рассказываем об одном из способов медиапланирования - получения прогнозной стоимости и количества лидов.
Модели атрибуции на примере интернет-магазина HOWTO
Модели атрибуции на примере интернет-магазина
В этой статье продолжим рассматривать атрибуции на примере реального интернет-магазина. и расскажем какие выводы можно сделать, сравнивая модели.
Модели атрибуции в Google Analytics HOWTO
Модели атрибуции в Google Analytics
Что такое модель атрибуции? Какими они бывают? Как правильно выбрать модель атрибуции?
читать наш блог

Оставьте заявку

После того, как вы оставите заявку: интервью ~15 минут → гостевые доступы для аудита ~15 минут → аудит в течении 2-х дней → согласование предложения → начало первой итерации. По нашему опыту реально начать что-то делать уже через 2-3 дня.

Менеджер проектов Александр
Александр

Менеджер проектов



Пишите на — info@1jam.ru , звоните в скайпе — jam.agency , или по телефону — 8 (800) 551-85-03