Как быстро спарсить количество результатов выдачи с помощью Netpeak Spider

Use Cases
5Like
4Comments
Share
Как быстро спарсить количество результатов выдачи с помощью Netpeak Spider

Один из способов определить популярность и конкурентность запроса или темы — посмотреть результаты выдачи, а точнее их количество. Чем выше цифра, тем, соответственно, популярнее запрос.

Результаты выдачи Google по запросу «Как сажать клубнику»

Если перед вами стоит задача собрать результаты по десяткам или сотням запросов, ручной метод отнимет много времени, да и монотонные действия быстро наскучат. Чтобы лишний раз себя этим не утруждать, автоматизируйте процесс с помощью Google Таблиц и Netpeak Spider. Сейчас я покажу и расскажу, как это сделать!

Как спарсить выдачу Google по запросу с помощью Netpeak Spider

Для начала подготовьте таблицу, где:

  • в первом столбце будут собраны запросы (слова в запросе объедините знаком «+», например, «как+сажать+клубнику»);
  • во втором столбце — URL запроса с оператором allintitle:(https://www.google.com/search?q=allintitle:) ;
  • в третьем — формула JOIN, которая объединяет данные в первом и втором столбцах.

Формула JOIN в Google Таблицах

Скопируйте ссылки из третьего столбца (Ctrl+C) и вставьте их в новый проект Netpeak Spider (Ctrl+V).

Как вставить URL в пустую таблицу Netpeak Spider


Чтобы настроить парсинг количества результатов:

  1. Откройте код страницы выдачи Google через инструменты разработчика.
  2. Найдите элемент, где содержится количество результатов, в нашем случае это тег div, который отличается значением «result-stats» атрибута id .

    Как просмотреть код элемента

Откройте настройки парсинга в Netpeak Spider:

  1. Впишите условие #result-stats и выберите режим «CSS-селектор» → «Внутренний текст».
  2. Добавьте ещё одно условие «X-Path»→ «Внутренний текст» и слэш / в пустую ячейку. Это пригодится для проверки всего контента, если вдруг не получится спарсить числов результатов.
  3. Дайте названия каждому условию, чтобы быстро ориентироваться в результатах парсинга.

    Как настроить парсинг в Netpeak Spider

  4. Перейдите на вкладку настроек «Основные» и включите функцию «Рендеринг JavaScript».

    Функция «Рендеринг JavaScript» в Netpeak Spider

  5. Откройте вкладку «User Agent» и выберите в качестве юзер агента браузер Chrome.

    Настройка «User Agent» в Netpeak Spider

  6. Когда все нужные настройки выставлены, нажмите на кнопку «OK».
  7. В параметрах на боковой панели отметьте параметры «Код ответа сервера», «Парсинг» и «Конечный URL редиректа». Последний параметр поможет понять, когда появятся редиректы, значит нужно будет подключить прокси (не забывайте определить перед покупкой прокси, а важна ли вам их региональность) или остановить на время парсинг, чтобы Google вас совсем не забанил).

    Настройка параметров в Netpeak Spider

  8. Нажмите на кнопку «Старт», чтобы запустить сканирование.

У Netpeak Spider есть бесплатная версия без ограничений по времени, в которой у вас будет возможность парсить сайты, используя до 100 условий парсинга! Во Freemium-версии также доступны и многие другие базовые функции программы.

Чтобы начать пользоваться бесплатным Netpeak Spider, просто зарегистрируйтесь, скачайте и установите программу — и вперёд! 😉

Зарегистрироваться и установить бесплатную версию

P.S. Сразу после регистрации у вас также будет возможность потестировать весь платный функционал, а затем сравнить все наши тарифы и выбрать для себя подходящий.


После окончания сканирования откройте результаты парсинга. Для этого:

  1. Перейдите в «Отчёты» → «Парсинг». Кликните на условие парсинга, затем на «Есть» и «Показать выбранные».

    Как посмотреть результаты парсинга в Netpeak Spider

  2. В дополнительно открывшемся окне выделите столбцы «URL», «Длина» и «Значение» и скопируйте их (Ctrl+C).

    Как скопировать результаты парсинга из Netpeak Spider

  3. Вставьте скопированные данные в таблицу (Ctrl+V). Это будет выглядеть примерно так:

    Как перенести результаты парсинга из Netpeak Spider в Google Таблицы

  4. Очистите лишние ячейки и пустые строки и оставьте только URL и количество результатов.

    Как перенести результаты парсинга из Netpeak Spider в Google Таблицы

  5. Дальше примените формулу VLOOKUP (ВПР), чтобы совместить результаты парсинга и нужные запросы:

    Формула VLOOKUP в Google Таблицах

    Больше о формулах для Google Таблиц вы можете узнать из нашего поста «9 функций Google Таблиц, которые пригодятся SEO-специалисту».

  6. Чтобы вытянуть из третьего столбца только числа, примените в соседнем столбцу формулу (=REGEXEXTRACT(C17;"\d.*"):

    Формула REGEXEXTRACT в Google Таблицах

Вот и всё, теперь у нас есть красивая таблица с количеством результатов выдачи по каждому запросу! Если вы видите, что результатов по запросу немного, а он вам очень интересен, например, у него большая частота или точное попадание в вашу тематику, скорее беритесь за работу над попаданием в топ по нему, пока места ещё не разобрали!

Подводим итоги

Если перед вами стоит задача быстро спарсить количество результатов выдачи для анализа популярности какой-то тематики, то способ, который я описал в этом посте, вам поможет. Применяйте его на практике, и делитесь своими впечатлениями.

Если возникли вопросы или предложения, задавайте их в комментариях 😊

Понравился кейс? Давайте лично обсудим все детали и преимущества Netpeak Spider

Бесплатный вебинар от Netpeak Software