Что такое XML Sitemap, как его создать и проверить в Netpeak Spider

XML Sitemap — это служебный файл, предназначенный для управления поведением роботов поисковых систем. Отсутствие такого инструмента на большом проекте либо наличие ошибок в карте сайта приводит к сложностям с индексацией контента. В данном посте рассмотрим, как быстро создать корректный Sitemap.XML, а также как исправить ошибки в уже существующем файле.

1. Что такое XML sitemap

Sitemap XML или XML-карта сайта предоставляет краулерам список страниц для индексации и сообщает о датах их последнего изменения с указанием приоритета и частоты обновлений. Благодаря файлу сканирование и индексация сайтов происходят быстрее,а особенно это касается больших сайтов.

Перед тем как создать карту сайта, удостоверьтесь, что нужен именно формат XML Sitemap, поскольку для многих ресурсов достаточно использовать HTML Sitemap.

Для небольших проектов, у которых все страницы доступны через меню, контент обновляется редко и нет таких дополнительных технологий как JavaScript, подойдет простая HTML-карта сайта в сочетании с файлом robots.txt.

Рассмотрим, в каких случаях необходимо использовать XML-карту:

1. Ресурс очень объемный и часто обновляется, а потому поисковый робот может пропустить новые материалы.
2. На сайте сложная структура — есть много разрозненных страниц с большим уровнем вложенности 3 и выше.
3. На проекте активно используется JS, Flash, Ajax и прочие технологии, индексация которых вызывает затруднения у поисковиков.

Созданный для таких проектов файл Sitemap содержит следующую информацию:

• Тег <urlset> c версией XML:

  

• Адрес, дату изменений, приоритет и частоту обновлений важных для индексации страниц ресурса в теге <URL> в таком формате:

  

• Адрес страницы в XML-теге <loc> при этом указывается полностью, а остальные теги не обязательны и заполняются по желанию.
• Значения в тегах <priority> и <changefreq> Google игнорирует, поэтому их не нужно добавлять.
• Завершает Sitemap закрывающий тег </urlset>.

1.1. Технические требования к Sitemap.XML

1. Sitemap может создаваться в формате XML или в TXT, при этом необходимо указать кодировку encoding="UTF-8".
2. Все указанные в файле страницы нельзя закрывать от индексации в robots.txt, также важен ответ сервера: только код 200 OK. Быстро проверить коды ответа сервера страниц сайта можно с помощью Netpeak Spider.

   

   Подробнее о кодах ответа сервера вы узнаете в посте «Как легко проверить код ответа сервера? Понятно о HTTP status code».

3. Нельзя закрывать Sitemap.xml от индексации в файле robots.txt.
4. Google ограничивает количество ссылок на страницы в XML Sitemap — их должно быть до 50000, максимальный вес файла — 50Мб. Для более крупных проектов sitemap разбивают на несколько частей в пределах лимита.
5. Для указания языковых версий сайта используйте атрибуты hreflang.
6. Чтобы изображения и видеоконтент лучше индексировались поисковыми роботами Google, используйте расширения.
7. Карту сайта проекта располагают в корневом каталоге ресурса, при этом документ доступен по адресу в формате: http://example.com/sitemap.xml.

2. Как создать карту сайта

Чтобы создать Sitemap XML, можно использовать различные методы — прописывать необходимые данные вручную, создать файл посредством программного кода, использовать специальные модули и программы. Мы детально рассмотрим, как создать XML вручную и с помощью инструмента «Генератор Sitemap» в Netpeak Spider.

2.1. Создание XML Sitemap вручную

Для создания небольшой по объёму XML карты сайта воспользуйтесь любым текстовым редактором. Создайте файл с именем Sitemap, поменяйте в нём расширение на .xml и пропишите в документе абсолютные URL-адреса страниц, которые необходимо индексировать.

Используйте в карте обязательные XML-теги, описанные в предыдущем разделе, при необходимости также заполните дополнительные. На выходе должен получиться файл такого вида:

Для создания объёмных XML-карт потребуются навыки программирования. В таком случае скрипт генерации Sitemap добавляется в CRON — инструмент для регулярного автоматического выполнения определённых заданий.

Чтобы максимально упростить задачу по созданию XML-карты сайта, воспользуйтесь специальными генераторами. Я покажу, как создать файл в краулере Netpeak Spider.

2.2. Генератор Sitemap в Netpeak Spider

2.2.1. Сканирование сайта

В программе выполните следующие действия:

1. Откройте «Настройки» → «Основные». Чтобы ускорить сканирование сайта, оставьте чекбоксы на этой вкладке пустыми.

   

2. На вкладке «Продвинутые» используйте настройки по умолчанию.
3. В «Параметрах» на боковой панели убедитесь, что отмечены параметры: «Last-Modified», «Индексируемость», «Разрешён в robots.txt», «Входящие ссылки», «Исходящие ссылки», «Hreflang», «Изображения». Остальные параметры можно убрать.

   

4. В адресной строке укажет начальный URL сайта и запустите сканирование.
5. В результате вы получите список страниц сайта.

2.2.2. Генерация XML карты сайта

1. Перейдите в меню «Инструменты» → «Генератор Sitemap».
2. Оставьте отмеченным только чекбокс возле «XML Sitemap» и установите нужные параметры: дату последнего изменения, частоту изменений и приоритет страниц. После этого нажмите «Сгенерировать».

   

3. Как загрузить XML-карту на хостинг и отправить в поисковые системы

Загрузите созданный файл в корневую папку сайта на хостинг-провайдере. Воспользуйтесь для этого файл-менеджером:

Затем перейдите в файл robots.txt, чтобы указать директиву Sitemap с прописанным URL-адресом загруженной карты.

3.1. Как отправить карту сайта в Google

Загрузите файл sitemap.xml в Google Search Console. Для этого перейдите во вкладку «Индекс» и выберите «Файлы Sitemap», затем добавьте к домену сайта «sitemap.xml» и нажмите «Отправить».

4. Как проверить XML sitemap на ошибки в Netpeak Spider

Если на проекте уже подключена карта сайта XML, но с ней возникают проблемы, проверьте существующий файл на ошибки с помощью Netpeak Spider → перейдите в меню «Инструменты» → «Валидатор XML Sitemap». Укажите URL-адрес карты и нажмите «Старт».

После валидации файла отобразятся ошибки с указанием их критичности. Инструмент проверяет карту сайта на соответствие требованиям Standard Sitemap Protocol, который поддерживают поисковые системы. Анализируется более 30 возможных ошибок. Если Netpeak Spider обнаружил ошибки в Sitemap, исправьте их и проведите валидацию повторно.

Мы приготовили наглядное видео о том, как проверить карту сайта на ошибки:

При возникновении сложностей с исправлением ошибок воспользуйтесь генератором — иногда проще новый sitemap создать, а затем загрузить его на хостинг, как было описано ранее.

Подводим итоги

1. Для больших проектов со сложной иерархической структурой важно наличие XML-карты, которая указывает поисковым системам все ссылки на контент для индексирования.
2. Для создания XML-карты используют различные методы — создают файл самостоятельно либо привлекают программистов, применяют модули и плагины CMS или генераторы Sitemap. Создать файл без навыков программирования можно с помощью генератора Sitemap в Netpeak Spider.
3. Чтобы URL сайта быстро и регулярно индексировались, важно проверить Sitemap на наличие ошибок. Валидатор XML от Netpeak Spider проанализирует файл и покажет, полностью ли он соответствует протоколу Standard Sitemap Protocol.

Расскажите о ваших способах создания карты сайта в комментариях 😊

Понравился кейс? Давайте лично обсудим все детали и преимущества Netpeak Spider