Как проверить индексацию сайта с Netpeak Checker
Кейсы
Вы создали сайт, но посетители не спешат на него заходить? Скорее всего, поисковый робот ещё не успел проиндексировать страницы вашего сайта. О том, что такое индексация, и как её проверить с помощью продуктов Netpeak Software — читайте в этом посте.
1. Что такое индексация сайта?
Чтобы попасть в результат выдачи Google, сайту необходимо пройти три этапа идентификации лучших страниц по определённому запросу — сканирование, индексирование, ранжирование. Когда поисковый робот заходит на ваш сайт и переходит по его страницам — это процесс сканирования. После этого робот вносит страницы вашего сайта в базу поисковой системы, то есть проводит процесс индексации.
Индексация — это обработка данных, собранных поисковым роботом и занесённых в индекс.
Индексируются документы, изображения, ссылки, видео и другие типы контента на сайте. Процесс индексации можно сравнить с книгами в библиотеке. Книги — это сайты, библиотека — это поисковик.
Чтобы пользователи находили в поиске актуальные страницы сайта, необходимо следить за индексацией и периодически напоминать поисковику об обновлениях на вашем ресурсе.
2. Как задать инструкции для индексации сайта?
Вы можете разрешить или запретить поисковому роботу индексировать отдельные страницы вашего сайта или переходить по определённым ссылкам. Сделать это можно с помощью файла Robots.txt, тегов Meta Robots и X-Robots-Tag, а также атрибута rel="nofollow".2.1. Robots.txt
Robots.txt — это специальный файл для отправления инструкций роботам, расположенный в корневом каталоге сайта.
Чтобы открыть сайт для индексации в robots.txt, нужно задать такие настройки:
Если же сайт нужно закрыть от индексации, настройки должны выглядеть так:
Настройки файла robots.txt являются указаниями роботам, а не прямыми командами. Большинство поисковых роботов следуют инструкциям robots.txt, однако некоторые системы могут игнорировать их.
2.2. Meta Robots
Метатег Robots (он же Meta Robots) поможет задать настройки индексации и отображения в результатах поиска отдельно для каждой страницы. Его следует расположить в области <head> HTML страницы.
Пример использования тега Meta Robots:
Заданное для атрибута name значение "robots" указывает, что директива распространяется на всех поисковых роботов. Если вы хотите закрыть доступ только одному из них, укажите вместо robots имя этого робота.
Чтобы задать инструкцию индексирования страницы с помощью Meta Robots, необходимо прописать такие директивы:
- noindex — не отображать эту страницу в результатах поиска;
- nofollow — не выполнять переход по ссылкам на этой странице;
- index — отображать страницу в результатах поиска;
- follow — разрешить переход по ссылкам на этой странице.
Вариацию "noindex, follow" нужно использовать в том случае, если вы не хотите, чтобы страница была проиндексирована поисковым роботом, но разрешаете ему перейти по ссылкам с этой страницы на другие.
2.3. X-Robots-Tag
Тег X-Robots-Tag может быть элементом HTTP-заголовка для определенного URL. В отличие от предыдущих способов, X-Robots-Tag позволяет задать инструкции поисковым роботам со стороны сервера. Директивы в нём прописываются аналогично Meta Robots.
Пример HTTP-ответа сервера, где X-Robots-Tag запрещает поисковому роботу индексировать страницу:
2.4. Атрибут rel="nofollow"
Атрибут nofollow запрещает поисковой системе переходить по ссылке, а также передавать ссылочный вес. Обратите внимание: этот атрибут не гарантирует, что поисковик не включит целевые страницы в индекс, если другие сайты ссылаются на них без использования nofollow.
Используется атрибут следующим образом:
3. Как проверить индексацию с помощю Netpeak Checker?
С помощью инструмента Netpeak Checker вы можете проверить, сколько страниц проиндексировано на сайте:
- Выбираем на боковой панели пункты с назаванием поисковых систем, в Netpeak Checker доступны параметры «Google SERP», «Яндекс SERP», «Bing SERP» и «Yahoo SERP». Можно вырбрать один или несколько параметров, а можно сразу все.
- Вставляем в таблицу URL, которые нужно проверить, и запускаем сканирование сайта.
- По окончании сканирования обратите внимание на столбец «Индексация» → значения показывают, проиндексированы ли URL.
- В столбце «Проиндексировано» отражается количество страниц сайта в индексе.
Кстати, в отличие от методов выше, в Netpeak Checker вы можете одновременно получить данные по индексации сразу для большого числа URL.
Читайте также: «Как массово узнать количество страниц в индексе поисковых систем с помощью Netpeak Checker».
4. Как отправить сайт на индексацию?
Скорость индексирования в Google колеблется от нескольких минут до недели, однако точно спрогнозировать, когда именно поисковой робот посетит ваш сайт, невозможно. Вероятность того, что поисковик посетит ваш новый сайт, на который нигде нет ссылок — ничтожна. Соответственно, чем больше на вас ссылаются другие ресурсы, тем больше шансов, что страницы сайта будут проиндексированы.
Для того, чтобы ускорить процесс индексации сайта, необходимо выполнить несколько действий:
- В первую очередь отправьте поисковой системе запрос на индексацию. В случае с Google, это можно сделать в Google Search Console. Теперь осталось дождаться, пока робот посетит сайт.
- Проставьте ссылки с других сайтов на новый сайт. Чем больше на ваш сайт будут ссылаться уже проиндексированные сайты, тем больше вероятность, что робот его посетит. Можете приобрести ссылки на специальных биржах, но очень важно, чтобы на вас ссылались авторитетные ресурсы.
- Проставьте прямые ссылки на новый сайт в социальных сетях.
- Отправьте карту сайта поисковому роботу. О том, как это сделать, читайте в справке Google.
Почему Google может не индексировать страницу
Кроме неправильно заданных инструкций, сайт может не индексироваться ещё по ряду причин:
- низкая скорость загрузки сайта;
- SEO-ошибки на сайте: большое количество битых ссылок, дубли страниц и т.д.;
- неуникальный контент на сайте;
- отсутствие карты сайта.
Кстати, проверить сайт по этим параметрам можно с помощью сканирования в Netpeak Spider.
5. Как проверить индексацию сайта самостоятельно
Есть несколько способов узнать, проиндексированы ли страницы вашего сайта. Рассмотрим некоторые из них:
5.1. Онлайн-сервисы, например xseo.in:
Этот сервис поможет узнать, проиндексированы ли страницы сайта разными поисковиками, а также покажет количество страниц в индексе. Вот как это сделать:
- В строку с адресом сайта пишем адрес сайта, индексацию которого мы хотим проверить.
- Отмечаем «Проверку индексации в Google» (1) и нажимаем на «Проверить» (2).
- В результатах проверки (3) отображается количество проиндексированных страниц на сайте.
5.2. Поисковый оператор site:
Выводы
- Индексация — это процесс, выполняемый поисковой системой, в ходе которого страницы сайта заносятся в индекс.
- Индексация сайта необходима для того, чтобы он появился в результатах выдачи поисковой системы. Если сайта нет в индексе — значит поисковик о нём не знает и не будет показывать его пользователям.
- Задать необходимые для индексации инструкции можно с помощью Robots.txt, Meta Robots, X-Robots-Tag, а также с атрибутом rel=”nofollow”. Проверить правильность инструкций можно с помощью Netpeak Spider.
- Проверить, проиндексирован ли ваш сайт, можно с помощью онлайн-сервисов, оператора site: для всего сайта, а также с Netpeak Checker.
- Причинами того, что Google не индексирует вашу страницу, могут быть медленная скорость загрузки сайта, SEO-ошибки, неуникальный контент, а также отсутствие карты сайта.
Надеемся, что вам был полезен наш материал, и теперь вы без проблем сможете задать роботам необходимые инструкции и проверить индексацию своего сайта.
А как вы предпочитаете задавать инструкции для индексирования — с помощью Meta Robots или X-Robots-Tag? ;)
Понравился кейс? Давайте лично обсудим все детали и преимущества Netpeak Spider и Checker
