Как быстро спарсить количество результатов выдачи с помощью Netpeak Spider

Один из способов определить популярность и конкурентность запроса или темы — посмотреть результаты выдачи, а точнее их количество. Чем выше цифра, тем, соответственно, популярнее запрос.

Если перед вами стоит задача собрать результаты по десяткам или сотням запросов, ручной метод отнимет много времени, да и монотонные действия быстро наскучат. Чтобы лишний раз себя этим не утруждать, автоматизируйте процесс с помощью Google Таблиц и Netpeak Spider. Сейчас я покажу и расскажу, как это сделать!

Как спарсить выдачу Google по запросу с помощью Netpeak Spider

Для начала подготовьте таблицу, где:

• в первом столбце будут собраны запросы (слова в запросе объедините знаком «+», например, «как+сажать+клубнику»);
• во втором столбце — URL запроса с оператором allintitle:(https://www.google.com/search?q=allintitle:) ;
• в третьем — формула JOIN, которая объединяет данные в первом и втором столбцах.

Скопируйте ссылки из третьего столбца (Ctrl+C) и вставьте их в новый проект Netpeak Spider (Ctrl+V).

Чтобы настроить парсинг количества результатов:

1. Откройте код страницы выдачи Google через инструменты разработчика.
2. Найдите элемент, где содержится количество результатов, в нашем случае это тег div, который отличается значением «result-stats» атрибута id .

   

Откройте настройки парсинга в Netpeak Spider:

1. Впишите условие #result-stats и выберите режим «CSS-селектор» → «Внутренний текст».
2. Добавьте ещё одно условие «X-Path»→ «Внутренний текст» и слэш / в пустую ячейку. Это пригодится для проверки всего контента, если вдруг не получится спарсить числов результатов.
3. Дайте названия каждому условию, чтобы быстро ориентироваться в результатах парсинга.

   

4. Перейдите на вкладку настроек «Основные» и включите функцию «Рендеринг JavaScript».

   

5. Откройте вкладку «User Agent» и выберите в качестве юзер агента браузер Chrome.

   

   Обратите внимание, это важная настройка. При выборе другого User Agent парсинг количества результатов осуществить не удастся. Поэтому убедитесь, что в настройках выбран именно браузер Chrome.

6. Когда все нужные настройки выставлены, нажмите на кнопку «OK».
7. В параметрах на боковой панели отметьте параметры «Код ответа сервера», «Парсинг» и «Конечный URL редиректа». Последний параметр поможет понять, когда появятся редиректы, значит нужно будет подключить прокси (не забывайте определить перед покупкой прокси, а важна ли вам их региональность) или остановить на время парсинг, чтобы Google вас совсем не забанил).

   

8. Нажмите на кнопку «Старт», чтобы запустить сканирование.

После окончания сканирования откройте результаты парсинга. Для этого:

1. Перейдите в «Отчёты» → «Парсинг». Кликните на условие парсинга, затем на «Есть» и «Показать выбранные».

   

2. В дополнительно открывшемся окне выделите столбцы «URL», «Длина» и «Значение» и скопируйте их (Ctrl+C).

   

3. Вставьте скопированные данные в таблицу (Ctrl+V). Это будет выглядеть примерно так:

   

4. Очистите лишние ячейки и пустые строки и оставьте только URL и количество результатов.

   

5. Дальше примените формулу VLOOKUP (ВПР), чтобы совместить результаты парсинга и нужные запросы:

   

   Больше о формулах для Google Таблиц вы можете узнать из нашего поста «9 функций Google Таблиц, которые пригодятся SEO-специалисту».

6. Чтобы вытянуть из третьего столбца только числа, примените в соседнем столбцу формулу (=REGEXEXTRACT(C17;"\d.*"):

   

Вот и всё, теперь у нас есть красивая таблица с количеством результатов выдачи по каждому запросу! Если вы видите, что результатов по запросу немного, а он вам очень интересен, например, у него большая частота или точное попадание в вашу тематику, скорее беритесь за работу над попаданием в топ по нему, пока места ещё не разобрали!

Подводим итоги

Если возникли вопросы или предложения, задавайте их в комментариях 😊

Понравился кейс? Давайте лично обсудим все детали и преимущества Netpeak Spider