Алексей Филатов, 17 Февраля 2017

Агрегирование данных

Продолжаем цикл статей на тему автоматизации разработки рекламных кампаний для интернет-магазина: агрегируем данные!


После прочтения статей вы научитесь: оптимизировать кампании в Excel методами, которые используются в оптимизаторах конверсий; автоматически собирать семантику, сегментировать и создавать объявления; прогнозировать конверсию на базе истории и многое другое.

Темы статей:

  1. Выгрузка данных из Google Analytics и Яндекс Метрики по API
  2. Парсинг ключевых слов в Key Collector
  3. Кластеризация запросов
  4. Агрегирование данных
  5. Прогнозирование конверсии для ключевых слов
  6. Расчет ставок
  7. Разработка заголовков
  8. Разработка рекламных кампаний
  9. Анализ эффективности

Материал сложный и раскрывает только базовые подходы к автоматизации, чтобы задать вам вектор развития.

В прошлых статьях мы собирали, выгружали и кластеризовали данные, теперь нам нужно их свести в одной таблице.

Итак, нам нужно собрать все данные в одном месте, мы делаем это через Pandas или через Excel, рассмотрим последний вариант. Сначала нам нужно извлечь ключевые слова из общего массива после кластеризации. Суть следующая, у нас есть общий массив, который кластеризован на группы, и есть запросы с конверсиями. Нам нужно взять запросы с конверсиями и посмотреть, в какие группы они входят.

Для этого переносим запросы с конверсиями на другую вкладку в файл с группами и функцией vlookup (впр) ищем совпадения.


Фильтруем #N/A (данные не найдены) и получаем группы слов, в которые входят слова с конверсиями - копируем на другую вкладку.


Удаляем дубли


Теперь во вкладке Группы отключаем фильтры и аналогичным ранее способом используем VLOOKUP для определения фраз, которые входят в группы, в которые входят запросы с конверсиями :) Можно фильтровать с помощью диапазонов, но мы решили не усложнять.


В итоге мы получили 2 столбика с группой и фразой. Давайте с помощью VLOOKUP отметим фразы, которые ранее были с конверсиями, а которые были «притянуты» в результате кластеризации. Сделаем это по аналогии с перым шагом (это необязательно).


Хотел бы заострить ваше внимание на том, что у нас есть 2 вида ссылок: от запросов с конверсиями и подобранные релевантные страницы из Кей Коллектора. Мы проводили исследование, эти ссылки пересекаются в 70% случаев, мы используем те, которые были у запросов с конверсиями. То есть, на весь кластер ставим ссылку, котороя имеется у запроса с конверсией, который входит в этот кластер.

Но это не совсем хорошо, так как бывает, что в один кластер входят два запроса с конверсиями с разными ссылками и конверсией, или 10 высокочастотных запросов без конверсии с другими ссылками, этот вопрос мы снимаем выбором ссылки скриптом, который учитывает частоту в точном соответствии, конверсию, клики и т.д. Статью решили не усложнять этим скриптом.


Создаем файл, в котором будем разрабатывать рекламные кампании и агрегировать другие данные, назовем All.xlsx . Сразу переносим туда данные по данные из последнего шага.

Аналогичным выше методом подтягиваем ссылки из таблицы запросов с конверсиями, подтягиваем их по лемме. То есть сначала подтягиваем к запросам, потом удаляем столбик запросов, удаляем дубли групп и получаем таблицу Группа-URL, подтягиваем ее к общему массиву.


Ссылки

Обратите внимание, что при парсинге позиций обновляются релевантные ссылки на страницы.

Теперь нам нужно для каждой фразы спарсить позицию и базовую частоту - копируем все слова в КейКоллектор и собираем данные. Частоту мы собирали ранее, а вот позиции можно собрать аналогичным способом, как мы собирали поисковую выдачу - через xmlproxy. Снова пополняем бюджет на 14 000 * 0,005 = 70 рублей и запускаем сбор позиций.


Ждем..

Тем временем переносим данные, которые мы выгружали из Google Analytics, а именно средние чеки и конверсия по URL.


Для удобства переименовываем столбики во вкладке All и создаем новые под средние чеки и конверсии по URL, подставляем их с помощью функции VLOOKUP


Если для каких-то строк данных нет #N/A , то не стоит переживать, это нормально - оставляем как есть.


Ранее мы выгружали данные по кликам Яндекс Директ из Google Analytics - подтягиваем данные по кликам и конверсиям в главную таблицу аналогичным образом.


На текущий момент уже спарсилась частотность и позиции - экспортируем их из Кей Коллектора и копируем в общий файл. И аналогично подтягиваем данные в общую таблицу.


Все готово! Почти.

Пишите вопросы в комментариях, какие темы было бы интересно раскрыть подробнее? Если у вас есть идеи или советы, то делитесь!

Подпишитесь на Facebook или Телеграмм, чтобы не пропустить новые статьи
Другие материалы по теме
Как сделать веб-аналитику для SaaS через Google Analytics: введение и отслеживание воронки HOWTO
Как сделать веб-аналитику для SaaS через Google Analytics: введение и отслеживание воронки
Столкнулись с тем, что на нескольких SasS проектах не было нормальной аналитики для отслеживания и ведения воронки. Для решения задач выше выбрали Google Analytics.
Как сделать сквозную аналитику, кроме ROISTAT HOWTO
Как сделать сквозную аналитику, кроме ROISTAT
У нас поток проектов и всем нужно сводить расходы на рекламу с выручкой, у нас есть основных 5 решений, о которых я расскажу ниже.
Cквозная аналитика: AmoCRM с Google Analytics за пару часов HOWTO
Cквозная аналитика: AmoCRM с Google Analytics за пару часов
Как интегрировать AmoCRM с Google Analytics бесплатно без помощи программисто за пару часов, пошаговая инструкция. Как посчитать LTV каналов.
Сквозная аналитика: вручную за 15 минут HOWTO
Сквозная аналитика: вручную за 15 минут
Как вручную свести данные о продажах по источникам трафика.
Как настроить автоматическую отчетность по РСЯ-площадкам в разрезе конверсий и CPA HOWTO
Как настроить автоматическую отчетность по РСЯ-площадкам в разрезе конверсий и CPA
Как сводить конверсии и расходы по РСЯ-площадкам в Google Analytics.
Как вручную свести конверсии и их стоимость по площадками РСЯ в Google Analytics HOWTO
Как вручную свести конверсии и их стоимость по площадками РСЯ в Google Analytics
Как вручную свести расходы и конверсии в разрезе РСЯ площадок. Для этих целей рекомендуем работать в Google Analytics.
читать наш блог

Оставьте заявку

После того, как вы оставите заявку: интервью ~15 минут → гостевые доступы для аудита ~15 минут → аудит в течении 2-х дней → согласование предложения → начало первой итерации. По нашему опыту реально начать что-то делать уже через 2-3 дня.

Менеджер проектов Александр
Александр

Менеджер проектов



Пишите на — info@1jam.ru , звоните в скайпе — jam.agency , или по телефону — 8 (800) 551-85-03