Как легко проверить код ответа сервера? Понятно о HTTP status code

Все мы боимся слышать, что у нас на сайте есть битые ссылки, но как их быстро найти и убрать? Какой именно редирект поставить, если теперь у тебя все URL начинаются с www? Как собрать все четырёхсотые и пятисотые? Предлагаю обо всём поговорить по порядку.

Самая простая задача — проверка кода ответа сервера. Следующий шаг — запомнить классы ответов сервера, а после этого — каждый код ответа. Всего есть 5 классов и несколько десятков кодов, из которых только несколько действительно стоит знать и помнить без помощи Google.

1. Кратко о том, что такое код ответа сервера

Перейти к этому разделу на Youtube

Каждый раз, когда ты кликаешь по ссылке или вводишь URL в адресную строку, ты отправляешь запрос к серверу. Он обрабатывает его и формирует ответ, в котором начальная часть показывает код состояния сервера.

Код ответа сервера (или код состояния HTTP) — это первые три цифры и фраза на английском языке, которые дают понять пользователю (браузеру), краулеру и поисковому роботу, как сайт отреагировал на запрос к определённой странице или документу. Например, код ответа страницы 200 OK говорит сам за себя: «Всё ОК, ты обратился по нужному адресу».

Все коды ответов разделены на 5 классов, и отличает их первая цифра:

• 1хх — информационный класс, который необходим клиенту при работе с передачей или обработкой данных. Большинство из них служебные и редко встречаются в повседневной работе.
• 2хх — HTTP код, который говорит об успешной обработке запроса сервером.
• 3хх — трёхсотый код свидетельствует о перенаправлении запроса с одного адреса на другой. Кстати, новички в SEO больше всего переживают как раз насчёт того, какой именно редирект поставить. Так что мы ещё вернёмся к этому вопросу.
• 4хх — статус код, который говорит об ошибке на стороне пользователя. Причина ошибки объясняется фразой после трёх цифр кода.
• 5хх — тоже код ошибки, но в этом случае она произошла на стороне сервера. Причины варьируются, но, как и с кодами четвёртого класса, причина всегда описана после номера кода: иногда она говорит о высокой нагрузке, иногда о внутренних ошибках на сервере.

2. Как проверить код ответа страницы?

Перейти к этому разделу на Youtube

Проверки кода ответа сервера есть множество способов: панель инструментов разработчика в браузере ( F12 + вкладка «Network»), плагины в браузере, специальные онлайн-службы, различные SEO-сервисы. Но я всё таки работаю в Netpeak Software, так что покажу, как это сделать с помощью нашего инструмента Netpeak Spider.

Зарегистрировались, скачали Netpeak Launcher, установили Netpeak Spider, запустили его. Дальше есть выбор в зависимости от твоих задач:

• Проверка ответа кода сервера на всех страницах твоего сайта;
• Массовая проверка кода ответа сервера по списку страниц.

2.1. Проверка кода ответа сервера на всех страницах сайта

Перейти к этому разделу на Youtube

В основном интерфейсе программы введи URL твоего сайта и нажми кнопку «Старт». После завершения сканирования ты увидишь все коды ответа в соответствующей колонке таблицы.

Страницы, которые ответили 4хх и 5хх кодами ответа, будут собраны в отдельный отчёт по этим ошибкам. Когда ты нажмёшь на ошибку на боковой панели, программа соберёт отчёт исключительно по таким страницам.

Дальше ты можешь посмотреть все страницы на твоём сайте, которые ведут на такие 4хх и 5хх страницы. Замени эти ссылки на рабочие страницы, и ты избавишься от страшного сна — битых ссылок на твоём сайте. Вызови для этого контекстное меню правой кнопкой мыши и кликни по разделу «Входящие ссылки». Дополнительно там можно:

• перепроверить результаты;
• открыть эти страницы в сторонних сервисах (например, Serpstat, Ahrefs, Google Pagespeed Insights);
• поиграться другими отчётами.

2.2. Массовая проверка кодов ответа сервера по списку страниц

Перейти к этому разделу на Youtube

Если перед тобой стоит задача массово проверить список страниц различных сайтов, рекламных кампаний или просто отдельных страниц, можешь добавить эти страницы в программу:

• из буфера обмена;
• из различных документов (.xlsx, .csv, .txt, .xml);
• из файла Sitemap.

Нажми после этого «Старт», и программа начнёт сканирование этого списка URL.

Кстати, вот ещё одно удобство! Если нужно получить только коды ответов HTTP, выключи все остальные параметры на боковой панели. А если нужен более информативный отчёт с определённым набором параметров — выбери нужные и запускай сканирование.

3. От сервера пришёл ответ с кодом ххх — что это значит?

Перейти к этому разделу на Youtube

Давай разберём отдельно самые популярные HTTP коды ответа, чтобы понять их назначение.

200 ОК

Ответ, который говорит об успешно обработанном запросе: сервер дал ответ → страница найдена → информация передана клиенту.

301 Moved Permanently

Запрашиваемый документ перемещён на другой URL-адрес навсегда.

Это код ответа сервера, который вызывает больше всего вопросов у начинающих. На самом деле ответ прост: все страницы, с которых пользователей нужно навсегда переправить на другую страницу (дубли, удалённые страницы, зеркала и всякие штучки, о которых ты не расскажешь на исповеди Google), должны отвечать этим кодом.

После краулинга таких страниц поисковые системы рано или поздно «склеят» их с целевой страницей редиректа и передадут ссылочный вес. Ну и, конечно, старайся убирать внутри сайта все ссылки на страницы, которые отдают 301 код ответа, и проставь сразу целевую страницу редиректа.

302 Found

Уведомляет клиента, что страница найдена и временно расположена по другому адресу. Поисковые системы обычно не удаляют её из индекса. Ранее этот код ответа использовался во время доработок на сайте или случаев, когда товара временно нет в наличии, но страница приносит трафик, поэтому есть смысл перенаправить пользователей на страницу каталога или похожего товара. Но с появлением HTTP 1.1 на замену ему пришли 303 и 307 коды ответа.

303 See Other

Перейти к этому разделу на Youtube

Лучше всего использовать этот код ответа, когда хочешь временно направить пользователя на немного другую страницу, которая сможет ему помочь, но не удовлетворит на 100% его поисковый запрос. Доступен запрос только методом GET, что даёт вам доступ только запрашивать информацию, но не обновлять или добавлять данные ресурса.

304 Not Modified

Интересный код ответа, так как на первый взгляд является перенаправлением, но в реальности настраивается специально для ботов и даёт эффект даже лучше, чем 200 OK.

Все мы слышали про краулинговый бюджет. Так вот 304 код ответа является отличным способом помочь ботам поисковых систем не тратить время на страницы, которые не изменились с их последнего визита, а сосредоточиться на сканировании новых. Реализовывается это в связке с HTTP-заголовком If-Modified-Since.

Хочу заметить, что актуальность такого кода ответа для маленьких сайтов маленькая, но если ты будешь работать с большими сайтами, то это очень полезная фича ;)

307 Temporary Redirect

Советую использовать этот код в случае, если нужно временно перенаправить пользователя и одновременно оставить возможность отправлять запрос методом POST, так как это особенность 307 кода, которая позволяет передевать информацию на сервер. Это основное отличие между 303 и 307 редиректами.

Перейдём к кодам, которые отвечают за ошибки на стороне клиента.

401 Unauthorized

Перейти к этому разделу на Youtube

Код, который говорит о том, что пользователь ещё не прошёл аутентификацию, или данные неверны.

403 Forbidden

Доступ запрещён. Сервер получил запрос, но отказывается его выполнить из-за ограничений доступа (например, когда пользователь хочет посмотреть системные файлы или другие документы, к которым у него нет доступа).

404 Not Found

По адресу, к которому обратился клиент, ничего не найдено. Обязательно настрой этот ответ на твоём сайте для несуществующих страниц, потому что поисковики могут неправильно проиндексировать такие страницы, и ты получишь целый их список в выдаче. Кстати, все любят красивые 404е, так что не забудь добавить котиков ;)

410 Gone

Перейти к этому разделу на Youtube

При запросе к намеренно удалённой странице лучше возвращать 410 код, когда ты уверен, что точно не сделаешь похожую. В этом случае поисковый робот не вернётся к странице и отметит её как удаленную, после чего со временем она пропадёт из индекса.

429 Too Many Requests

Код ответа, который мы часто видим в нашем краулере. Сервер возвращает такой код, когда определяет слишком большую активность от одного пользователя за определённый промежуток времени. Если тебе нужно продолжить сканирование такого сайта, уменьши количество потоков в настройках краулера.

Уважай сервер, он почти как Google — у него очень много спрашивают, а он один.

Ну и завершим всё ошибками на стороне сервера, которые чаще всего встречаются.

500 Internal Server Error

Перейти к этому разделу на Youtube

Ошибка говорит о том, что сервер не может обработать запрос. Это любая непредвиденная для сервера ситуация, причину которой он не способен определить (она не соответствует ни одной другой пятисотой ошибке).

503 Service Unavailable

Сервер недоступен, и обработка запросов временно не осуществляется по техническим причинам. Чаще всего ты видишь такой ответ, когда сервер обслуживается или перегружен.

Ещё одно корокое и полезное видео о том, как проверить код ответа страниц на сайте:

Подводим итоги

Перейти к этому разделу на Youtube

Напоследок давай пробежимся по всему, что уже сказано:

• Код ответа сервера — это три цифры и фраза на английском языке, которые дают понять пользователю (браузеру), краулеру и поисковому роботу, как сайт отреагировал на запрос к определённой странице или документу.

• Существует 5 классов кодов ответа, которые различаются по первой цифре:
  • 1хх — информационные;
  • 2хх — код успешной обработки запроса;
  • 3хх — перенаправление;
  • 4хх — код ошибки клиента;
  • 5хх — код ошибки сервера.
• Проверять код ответа можно в различных сервисах, но лучше всего в Netpeak Spider, так что регистрируйся, чтобы получить 7 дней бесплатного триала =)

Всем добра и котиков на 404-й ;)