Как проверить индексацию Google с Netpeak Spider и Netpeak Checker

5
5
Как проверить индексацию Google с Netpeak Spider и Netpeak CheckerКейсы

Вы создали сайт, но посетители не спешат на него заходить? Скорее всего, поисковый робот ещё не успел проиндексировать страницы вашего сайта. О том, что такое индексация, и как её проверить с помощью продуктов Netpeak Software — читайте в этом посте.

1. Что такое индексация сайта?

Чтобы попасть в результат выдачи Google, сайту необходимо пройти три этапа идентификации лучших страниц по определённому запросу — сканирование, индексирование, ранжирование. Когда поисковый робот заходит на ваш сайт и переходит по его страницам — это процесс сканирования. После этого робот вносит страницы вашего сайта в базу поисковой системы, то есть проводит процесс индексации.

Индексация — это обработка данных, собранных поисковым роботом и занесённых в индекс.

Индексируются документы, изображения, ссылки, видео и другие типы контента на сайте. Процесс индексации можно сравнить с книгами в библиотеке. Книги — это сайты, библиотека — это поисковик.

Чтобы пользователи находили в поиске актуальные страницы сайта, необходимо следить за индексацией и периодически напоминать поисковику об обновлениях на вашем ресурсе.

2. Как задать инструкции для индексации сайта?

Вы можете разрешить или запретить поисковому роботу индексировать отдельные страницы вашего сайта или переходить по определённым ссылкам. Сделать это можно с помощью файла Robots.txt, тегов Meta Robots и X-Robots-Tag, а также атрибута rel="nofollow".

2.1. Robots.txt

Robots.txt — это специальный файл для отправления инструкций роботам, расположенный в корневом каталоге сайта.

Чтобы открыть сайт для индексации в robots.txt, нужно задать такие настройки:

User-agent: * Disallow:

Если же сайт нужно закрыть от индексации, настройки должны выглядеть так:

User-agent: * Disallow: /

Настройки файла robots.txt являются указаниями роботам, а не прямыми командами. Большинство поисковых роботов следуют инструкциям robots.txt, однако некоторые системы могут игнорировать их.

2.2. Meta Robots

Метатег Robots (он же Meta Robots) поможет задать настройки индексации и отображения в результатах поиска отдельно для каждой страницы. Его следует расположить в области <head> HTML страницы.

Пример использования тега Meta Robots:

<!DOCTYPE html> <html><head> <meta name="robots" content="noindex" /> (…) </head> <body>(…)</body> </html>

Заданное для атрибута name значение "robots" указывает, что директива распространяется на всех поисковых роботов. Если вы хотите закрыть доступ только одному из них, укажите вместо robots имя этого робота.

Чтобы задать инструкцию индексирования страницы с помощью Meta Robots, необходимо прописать такие директивы:

  • noindex — не отображать эту страницу в результатах поиска;
  • nofollow — не выполнять переход по ссылкам на этой странице;
  • index — отображать страницу в результатах поиска;
  • follow — разрешить переход по ссылкам на этой странице.

Вариацию "noindex, follow" нужно использовать в том случае, если вы не хотите, чтобы страница была проиндексирована поисковым роботом, но разрешаете ему перейти по ссылкам с этой страницы на другие.

2.3. X-Robots-Tag

Тег X-Robots-Tag может быть элементом HTTP-заголовка для определенного URL. В отличие от предыдущих способов, X-Robots-Tag позволяет задать инструкции поисковым роботам со стороны сервера. Директивы в нём прописываются аналогично Meta Robots.

Пример HTTP-ответа сервера, где X-Robots-Tag запрещает поисковому роботу индексировать страницу:

HTTP/1.1 200 OK Date: Tue, 25 May 2010 21:42:43 GMT (…) X-Robots-Tag: noindex (…)

2.4. Атрибут rel="nofollow"

Атрибут nofollow запрещает поисковой системе переходить по ссылке, а также передавать ссылочный вес. Обратите внимание: этот атрибут не гарантирует, что поисковик не включит целевые страницы в индекс, если другие сайты ссылаются на них без использования nofollow.

Используется атрибут следующим образом:

<a href="http://www.example.com" rel="nofollow">example</a>

3. Как проверить инструкции по индексации с помощью Netpeak Spider

Перед тем, как отправить сайт на индексацию, необходимо убедиться, что все инструкции выставлены правильно. Для проверки инструкций по разным параметрам (robots.txt, Meta Robots, X-Robots-Tag) воспользуемся Netpeak Spider:

  • Открываем Netpeak Spider, переходим в «Настройки сканирования».
  • Выбираем пункт «Индексация». Отмечаем все поля данного пункта.
  • Как проверить индексацию: параметры в Netpeak Spider
  • Запускаем сканирование сайта.
  • В колонке Robots.txt отображается статус сайта allowed/disallowed.
  • Как проверить индексацию: robots.txt в Netpeak Spider
  • В колонке Meta Robots отображаются теги index/noindex и значения follow/nofollow.
  • Как проверить индексацию: meta robots в Netpeak Spider
  • В колонке Canonical URL указаны канонические URL для данной страницы в случае, если вы их проставили.
  • Как проверить индексацию: Canonical URL в Netpeak Spider
  • В колонке X-Robots-Tag будут отображаться теги index/noindex и значения follow/nofollow.

4. Как отправить сайт на индексацию?

Скорость индексирования в Google колеблется от нескольких минут до недели, однако точно спрогнозировать, когда именно поисковой робот посетит ваш сайт, невозможно. Вероятность того, что поисковик посетит ваш новый сайт, на который нигде нет ссылок — ничтожна. Соответственно, чем больше на вас ссылаются другие ресурсы, тем больше шансов, что страницы сайта будут проиндексированы.

Для того, чтобы ускорить процесс индексации сайта, необходимо выполнить несколько действий:

  1. В первую очередь отправьте поисковой системе запрос на индексацию. В случае с Google, это можно сделать в Google Search Console. Теперь осталось дождаться, пока робот посетит сайт.
  2. Проставьте ссылки с других сайтов на новый сайт. Чем больше на ваш сайт будут ссылаться уже проиндексированные сайты, тем больше вероятность, что робот его посетит. Можете приобрести ссылки на специальных биржах, но очень важно, чтобы на вас ссылались авторитетные ресурсы.
  3. Проставьте прямые ссылки на новый сайт в социальных сетях.
  4. Отправьте карту сайта поисковому роботу. О том, как это сделать, читайте в справке Google.

Почему Google может не индексировать страницу

Кроме неправильно заданных инструкций, сайт может не индексироваться ещё по ряду причин:

  • низкая скорость загрузки сайта;
  • SEO-ошибки на сайте: большое количество битых ссылок, дубли страниц и т.д.;
  • неуникальный контент на сайте;
  • отсутствие карты сайта.

Кстати, проверить сайт по этим параметрам можно с помощью сканирования в Netpeak Spider.

5. Как проверить индексацию сайта самостоятельно

Есть несколько способов узнать, проиндексированы ли страницы вашего сайта. Рассмотрим некоторые из них:

5.1. Онлайн-сервисы, например xseo.in:

Этот сервис поможет узнать, проиндексированы ли страницы сайта разными поисковиками, а также покажет количество страниц в индексе. Вот как это сделать:

  1. В строку с адресом сайта пишем адрес сайта, индексацию которого мы хотим проверить.
  2. Отмечаем «Проверку индексации в Google» (1) и нажимаем на «Проверить» (2).
  3. В результатах проверки (3) отображается количество проиндексированных страниц на сайте.
Как проверить индексацию: онлайн сервис проверки
5.2. Поисковый оператор site:
Как проверить индексацию: поисковой оператор site
На скриншоте подчёркнуто примерное количество страниц, которые находятся в индексе по сайту netpeaksoftware.com
5.3. Поисковый оператор info:

Оператор info:, в отличие от site:, показывает, проиндексирована ли конкретная страница:

Как проверить индексацию сайта: онлайн-сервис проверки info
5.4. Netpeak Checker:

С помощью инструмента Netpeak Checker вы можете проверить, сколько страниц проиндексировано на сайте:

  1. Запускаем сканирование сайта, выбираем пункт Google SERP: URL.
  2. Значение в колонке показывает, проиндексирован ли сайт.
  3. В колонке «Проиндексировано» отражается количество страниц сайта в индексе.
Как проверить индексацию: Netpeak Checker

Кстати, в отличие от методов выше, в Netpeak Checker вы можете одновременно получить данные по индексации сразу для большого числа URL.

Выводы

  • Индексация — это процесс, выполняемый поисковой системой, в ходе которого страницы сайта заносятся в индекс.
  • Индексация сайта необходима для того, чтобы он появился в результатах выдачи поисковой системы. Если сайта нет в индексе — значит поисковик о нём не знает и не будет показывать его пользователям.
  • Задать необходимые для индексации инструкции можно с помощью Robots.txt, Meta Robots, X-Robots-Tag, а также с атрибутом rel=”nofollow”. Проверить правильность инструкций можно с помощью Netpeak Spider.
  • Проверить, проиндексирован ли ваш сайт, можно с помощью онлайн-сервисов, оператора site: для всего сайта, оператора info: для отдельного URL, а также с Netpeak Checker.
  • Причинами того, что Google не индексирует вашу страницу, могут быть медленная скорость загрузки сайта, SEO-ошибки, неуникальный контент, а также отсутствие карты сайта.

Надеемся, что вам был полезен наш материал, и теперь вы без проблем сможете задать роботам необходимые инструкции и проверить индексацию своего сайта.

А как вы предпочитаете задавать инструкции для индексирования — с помощью Meta Robots или X-Robots-Tag? ;)