Як легко перевірити код відповіді сервера? Доступно про код статусу HTTP

Всі ми боїмося дізнатись, що у нас на сайті є биті посилання, але як їх швидко знайти й прибрати? Який саме редирект поставити, якщо тепер у вас усі URL починаються з www ? Як зібрати всі чотирьохсоті й п’ятисоті? Пропоную про все поговорити по черзі.

Найпростіша задача — перевірка коду відповіді сервера. Наступний крок — запам’ятати класи відповідей сервера, а після цього — кожен код відповіді. Всього є 5 класів і кілька десятків кодів, з яких лише декілька дійсно варто знати й пам'ятати без допомоги Google.

1. Коротко про те, що таке код відповіді сервера

Кожен раз, коли ви клацаєте по посиланню або вводите URL-адресу в адресний рядок, ви надсилаєте запит до сервера. Він обробляє його і формує відповідь, в якій початкова частина відображає код стану сервера.

Код відповіді на сервері (або код стану HTTP) — це перші три цифри та фрази англійською мовою, які дають змогу зрозуміти користувачу (браузеру), краулеру і пошуковому роботу, як сайт відреагував на запит до певної сторінки чи документа. Наприклад, код відповіді сторінки 200 OK говорить сам про себе: «Все ОК, ти звернувся за потрібною адресою».

Всі коди відповідей розділені на 5 класів, і відрізняє їх перша цифра:

• 1хх — інформаційний клас, який необхідний клієнту при роботі з передачею або обробкою даних. Більшість з них службові й рідко зустрічаються в щоденній роботі.
• 2хх — HTTP код, який говорить про успішну обробку запиту сервером.
• 3хх — трьохсотий код свідчить про перенаправлення запиту з однієї адреси на іншу. До речі, новачки в SEO найбільше переживають як раз через те, який саме редирект поставити. Так що ми ще повернемось до цього питання.
• 4хх — код статусу, який говорить про помилки на стороні користувача. Причина помилки пояснюється фразою після трьох цифр коду.
• 5хх — теж код помилки, але в цьому випадку вона вийшла на стороні сервера. Причини змінюються, але, як і з кодами четвертого класу, причина завжди описана після номеру коду: іноді вона говорить про високе навантаження, іноді про внутрішні помилки на сервері.

2. Як перевірити код відповіді сторінки?

Для перевірки коду відповіді сервера є безліч способів: панель інструментів розробника в браузері ( F12 + вкладка «Network»), плагіни в браузері, спеціальні онлайн-сервіси, різні SEO-сервіси. Але я все-таки перевіряю з Netpeak Software, так що покажу, як це зробити за допомогою нашого інструменту Netpeak Spider.

Зареєструвалися, звантажили Netpeak Launcher, встановили Netpeak Spider, запустили його. Далі є вибір в залежності від ваших завдань:

• Перевірка відповіді коду сервера на всіх сторінках вашого сайту;
• Масова перевірка коду відповіді сервера за списком сторінок.

2.1. Перевірка коду відповіді сервера на всіх сторінках сайту

В основному інтерфейсі програми введіть URL-адресу свого сайту і натисніть кнопку «Пуск». Після завершення сканування ви побачите всі коди відповіді у відповідній колонці таблиці.

Сторінки, які відповіли 4хх і 5хх кодами відповіді, будуть зібрані в окремий звіт за цими помилками. Коли ви натиснете на помилку на боковій панелі, програма збере звіт виключно по цим сторінкам.

Далі ви можете переглянути всі посилання на своєму сайті, які ведуть на такі 4хх і 5хх сторінки. Замініть ці посилання на робочі сторінки, і ви позбавитесь страшного сну — битих посилань на сайті. Для цього викличте контекстне меню правою кнопкою миші та натисніть розділ «Вхідні посилання». Додатково там можна:

• перевірити результати;
• відкрити ці сторінки у сторонніх сервісах (наприклад, Serpstat, Ahrefs, Google Pagespeed Insights);
• погратися з іншими звітами.

2.2. Масова перевірка кодів відповіді сервера за списком сторінок

Якщо перед вами стоїть завдання масово перевірити список сторінок різних сайтів, рекламних кампаній або просто окремих сторінок, ви можете додати ці сторінки в програму:

• із буфера обміну;
• з різних документів (.xlsx, .csv, .txt, .xml);
• з файлу мапи сайту.

Знайдіть після цього «Пуск», і програма почне сканування цього списку URL.

До речі, ось ще одна зручність! Якщо потрібно отримати тільки коди відповідей HTTP, вимкніть усі інші параметри на боковій панелі. А якщо потрібен більш інформативний звіт з визначеним набором параметрів — виберіть потрібні й запустіть сканування.

3. Від сервера прийшла відповідь з кодом ххх — що це значить?

Давайте окремо розберемо найпопулярніші HTTP-коди відповіді, щоб зрозуміти їх призначення.

200 ОК

Відповідь, яка говорить про успішно оброблений запит: сервер відповіді → сторінка знайдена → інформація передана клієнту.

301 Moved Permanently

Запитуваний документ переміщено на іншу URL-адресу назавжди.

Це код відповіді сервера, який викликає найбільше питань у новачків. Насправді відповідь проста: всі сторінки, з яких користувачів потрібно завжди пересилати на іншу сторінку (дублі, видалені сторінки, дзеркала і всі штучки, про які ви не розкажете на сповіді Google), повинні відповісти цим кодом.

Після краулингу таких сторінок пошукові системи рано чи пізно «склеять» їх з цілої сторінки редиректу і передадуть посилальну вагу. Ну і, звичайно, старайтеся прибирати всередині сайту всі посилання на сторінки, які видають 301 код відповіді, і проставте відразу цільову сторінку редиректу.

302 Found

Повідомляє клієнту, що сторінка знайдена і тимчасово розташована за іншою адресою. Пошукові системи зазвичай не видаляють її з індексу. Раніше цей код відповіді використовувався під час доробок на сайті або у випадках, коли товару зараз немає в наявності, але сторінка несе трафік, тому є сенс перенаправити користувачів на сторінку каталогу або подібного товару. Але з повідомленням HTTP 1.1 на заміну йому прийшли 303 і 307 коди відповіді.

303 See Other

Найкраще використовувати цей код відповіді, коли хочете тимчасово надіслати користувача на іншу сторінку, яка зможе йому допомогти, але не задовольняє на 100% його пошуковий запит. Запит доступний лише методом GET, що дозволяє отримати доступ лише для запиту інформації, але не оновлювати та не додавати дані ресурсу.

304 Not Modified

Цікавий код відповіді, оскільки, на перший погляд, є перенаправленням, але в реальності налаштовується спеціально для ботів і дає ефект навіть краще, ніж 200 OK.

Всі ми чули про краулінговий бюджет. Так ось код відповіді 304 є відмінним способом допомогти ботам пошукових систем не витрачати час на сторінки, які не змінилися з їх останнього візиту, а зосередитись на скануванні нових. Реалізується це у зв'язці з HTTP-заголовком If-Modified-Since.

Хочу підкреслити, що актуальність такого коду відповіді для маленьких сайтів низька, але якщо ви будете працювати з великими сайтами, то це дуже корисна фіча ;)

307 Temporary Redirect

Раджу використовувати цей код у випадку, якщо потрібно тимчасово перенаправити користувача та одночасно залишити можливість відправити запит методом POST, бо це особливість коду 307, який дозволяє передавати інформацію на сервер. Це основна відмінність між 303 і 307 редиректами.

Переходимо до кодів, які відповідають за помилки на стороні клієнта.

401 Unauthorized

Код, який говорить про те, що користувач ще не пройшов аутентифікацію, або дані невірні.

403 Forbidden

Доступ заборонено. Сервер отримав запит, але відмовляється його виконати через обмежений доступ (наприклад, коли користувач хоче переглянути системні файли або інші документи, до яких у нього немає доступу).

404 Not Found

За адресою, до якої звернувся клієнт, нічого не знайдено. Обов'язково налаштуйте цю відповідь на вашому вебсайті для неіснуючих сторінок, тому що пошуковики можуть неправильно проіндексувати такі сторінки, і ви отримаєте цілий їх список у видачі. До речі, всі люблять красиві 404-і, так що не забудьте додати котиків ;)

410 Gone

Якщо ви впевнені, що видаленій сторінці краще повернути код 410, ви точно не робите гірше. В цьому випадку пошуковий робот не повернеться до сторінки й відмітить її як видалену, після чого з часом вона зникне з індексу.

429 Too Many Requests

Код відповіді, який ми часто бачимо в нашому краулері. Сервер повертає такий код, коли визначає занадто велику активність одного користувача за певний проміжок часу. Якщо вам потрібно продовжити сканування такого сайту, зменште кількість потоків у налаштуваннях краулера.

Поважайте сервер, він майже як Google — у нього дуже багато запитують, а він один.

Ну і на завершення — всі помилки на стороні сервера, які частіше всього зустрічаються.

500 Internal Server Error

Помилка говорить про те, що сервер не може опрацювати запит. Це будь-яка непередбачувана ситуація для сервера, причину якої він не здатний визначити (вона не відповідає ні одній іншій п’ятисотій помилці).

503 Service Unavailable

Сервер недоступний, і обробка запитів тимчасово не виконується з технічних причин. Частіше всього ви бачите таку відповідь, коли сервер обслуговується або перезавантажується.

Підсумки

Наостанок пробіжімось по всьому, що вже сказано:

• Код відповіді на сервері — це три цифри та фрази англійською мовою, які дають зрозуміти користувачу (браузеру), краулеру і пошуковому роботу, як сайт відреагував на запит до визначеної сторінки чи документа.

• Існує 5 класів кодів відповіді, які відрізняються за першою цифрою:
  • 1хх — інформаційні;
  • 2хх — код успішної обробки запиту;
  • 3хх — перенаправлення;
  • 4хх — код помилки клієнта;
  • 5хх — код помилки сервера.
• Перевірити код відповіді можна в різних сервісах, але найкраще в Netpeak Spider, так що реєструйтеся, щоб отримати безкоштовний доступ.

Всім добра і котиків на 404-ій ;)