Парсинг поисковых систем для интернет-маркетинга с помощью Netpeak Checker

Инструмент «Парсер ПС» в Netpeak Checker позволяет получить выдачу поисковых систем Google, Bing, Yahoo и Яндекс в виде структурированной таблицы с множеством полезных данных. В этом посте я расскажу подробнее о возможностях этого инструмента, а точнее об интересных способах его использования. Если кратко, то покажу:

• 1. Как найти упоминания бренда на внешних площадках.
• 2. Как искать тематические форумы с помощью поисковых операторов
• 3. Как использовать поисковые операторы для точечных проверок

А также поделюсь несколькими полезными советами по работе с нашим инструментом.

1. Как найти упоминания вашего бренда на других сайтах

Предлагаю начать с простой задачи — поиска всех упоминаний бренда на внешних ресурсах. Для этого:

1. Откройте инструмент «Парсер ПС» в Netpeak Checker и введите запрос следующего вида: название компании -site:ваш сайт. Например, для поиска упоминаний Netpeak Spider я бы использовал запрос: netpeak spider -site:netpeaksoftware.com.

   

2. Выберите одну или несколько поисковых систем, количество результатов и типы сниппетов, которые программа будет парсить.

   

3. Нажмите на кнопку «Старт», чтобы запустить парсинг. Всего за считанные секунды в таблице появятся результаты.

   

Есть пара интересных фишек, которые помогут в работе над этой задачей:

1. В настройках поисковых систем поменяйте геолокацию или язык, чтобы проверить выдачу для другой страны. Так вы сможете найти упоминания местных СМИ или блогеров.

   

2. Используйте фильтрацию, чтобы удалить из результатов какие-то сайты, например, исключить соцсети:
   

   

3. Используйте фильтрацию, чтобы исключить из результатов определённые сайты.

   

4. Используйте группировку по хосту, чтобы быстро просмотреть список уникальных сайтов, которые ведут на ваш сайт, и количество страниц с упоминанием бренда.
   
   

2. Как искать тематические форумы с помощью поисковых операторов

Если вы хотите найти форумы в вашей нише или отдельные темы форумов для проставления ссылок, используйте парсер поисковых систем для быстрого выполнения этой задачи. Добавьте в окно «Запросы» запросы следующего вида:

• ключевое слово inurl:showthread.php
• ключевое слово inurl:viewtopic.php
• ключевое слово inurl:forum
• ключевое слово inurl:index.php?topic=
• ключевое слово inurl:index.php?showtopic=
• и подобные.
  

После этого запустите сканирование, и в таблице появится список URL форумов, которые вы сможете ещё и дополнительно фильтровать, чтобы отсеять нерелевантные.

Кстати, так как запросов может быть много, советую подключить сервис автоматического решения капчи (например, RuCaptcha или 2Captcha), а также подключить прокси, чтобы уменьшить риск блокировок от поисковых систем.

3. Как использовать поисковые операторы для точечных проверок

Существует множество поисковых операторов, и у каждой поисковой системы они свои. Подробнее об операторах мы рассказали в посте «Поисковые операторы Google и Яндекс: как их использовать». Но кратко перечислю возможности самых популярных и полезных из них:

1. Запрос filetype:pdf → поможет по запросу найти именно PDF-документы. Это позволит проверить, есть ли на вашем сайте PDF-документы, которые попали в индекс. Этот оператор можно комбинировать с другими, например, site:, чтобы найти все документы определённого формата на нужном сайте.
2. Минус (-) перед частью запроса позволит отфильтровать ненужные результаты: {{купить золотые часы rolex -site:olx -site:shafa}}.
3. Логические операторы в запросах. Можно использовать OR, AND, прямой слэш (|), чтобы точнее указать, что вы ищите. Например, чтобы найти сайты дизайн-тематики, у которых есть опция написать им гостевой пост, можно использовать следующую конструкцию запроса:
   
   ("illustration" OR "website design" OR "branding") AND (inurl:”write-to-us” | inurl:”guest-post” | inurl:”contributor” | inurl:”contribution”)

   Как видите, я взял две части запроса, которые связаны логикой ИЛИ в скобки, чтобы объединить их вместе логикой И. Выглядит немного монструозно, но очень полезно. Вот так выглядит выдача по этому запросу — это действительно блоги, куда можно предложить гостевой материал.

   

С помощью парсера ПС вы также можете проводить проверку индексации страниц сайта. Для этого:

1. Просканируйте сайт в Netpeak Spider и выгрузите его структуру по сегментам в URL.

   

2. Составьте запросы для парсинга выдачи в Netpeak Checker, которые помогут определить, какие страницы проиндексированы. Запросы будут выглядеть вот так: site:сайт inurl:сегмент URL. Например: site:exapmle.com inurl:blog. Хочу заранее предупредить, что лучше разбивать папки так, чтобы по одному запросу получить не более 300 или 500 страниц. Это лимит поисковых систем, и больше результатов за один запрос они не выдают.

Подводим итоги

Давайте быстро повторим, чему мы научились из этого поста:

1. Настраивая гибкость поисковых запросов, вы можете детально уточнять ожидаемые результаты. Главное знать, какие поисковые операторы работают. К сожалению, у поисковиков отключение каких-то операторов не редкость.
2. Кейсов использования огромное множество (проверка индексации, поиск форумов или сайтов для гостевого постинга, и так далее), потому для экспериментов и больших проверок понадобятся прокси и сервисы разгадывания капчи, например RuCaptcha и BuyProxies, которыми я лично пользуюсь.

На этом у меня всё на сегодня, спасибо за внимание, лёгкого парсинга и множество трафика ;)

Понравился кейс? Давайте лично обсудим все детали и преимущества Netpeak Spider