Какие виды аудита можно проводить с помощью Netpeak Spider

Use Cases
14Like
Comments
Share
Какие виды аудита можно проводить с помощью Netpeak Spider

Порой настройки Netpeak Spider, которые помогают более эффективно решать определённый круг задач, могут быть не очевидны. Из данного поста вы узнаете о видах seo-аудита сайта, которые помогут справиться с разными специфическими задачами, а вы сможете получать разнообразные отчёты по одному проекту.

  • 1. Быстрый аудит «глазами поискового бота»
  • 2. Аудит для оптимизации краулингового бюджета
  • 3. Аудит на старте продвижения
  • 4. Аудит на Pre-sale
  • 5. Аудит внешних ссылок
  • 6. Аудит после переезда сайта на HTTPS-протокол
  • 7. Аудит скорости
  • 8. Аудит нагрузки на сайт
  • 9. Аудит метаданных
  • 10. Аудит изображений и медиафайлов
  • 11. Аудит сайта-гиганта
  • 12. Аудит мультиязычного сайта
  • 13. Аудит группы сайтов
  • 14. Аудит перелинковки
  • 15. Аудит приоритетности оптимизации
  • Подводим итоги

1. Быстрый аудит «глазами поискового бота»

Аудит поможет понять, какие страницы в первую очередь будет анализировать поисковый бот. А вы будете знать, какие ошибки и на каких страницах необходимо устранять в первую очередь. Я буду показывать, как провести каждый вид аудита.

Для начала необходимо включить настройки, которые позволят программе имитировать поведение бота:

  1. В продвинутых настройках выберите шаблон «По умолчанию: бот», который активирует учёт всех инструкций по сканированию и индексации.

    Как активировать учёт всех инструкций по сканированию и индексации в краулере Netpeak Spider

  2. Если на страницах сканируемого сайта используется JavaScript для отображения части контента, или это SPA-сайт, на вкладке «Основные» включите рендеринг JavaScript.

    Как включить рендеринг JavaScript в краулере Netpeak Spider

  3. На вкладке «User Agent» выберите бота поисковой системы, под которую вы продвигаете сайт, например: «Yandex Bot», «Bingbot», «Googlebot» и т.д.

    Как выбрать поискового бота в краулере Netpeak Spider

  4. Поисковые боты не всегда сканируют сайт целиком за одну сессию, особенно если это крупный сайт. Поэтому задаём ограничение по глубине и вложенности сканирования.

    Как задать ограничения по глубине и вложенности в краулере Netpeak Spider

Когда все настройки выставлены, запустите сканирование. По окончании в основной таблице вы увидите только те страницы, которые потенциально могут находиться в индексе поисковых систем.

Полученные данные можно дополнить страницами из карты сайта. Для этого воспользуйтесь инструментом «Валидатор XML Sitemap». Также есть возможность дополнить отчёт данными из Google Analytics и Search Console по трафику, кликам и показам, что поможет определить:

  • есть ли индексируемые страницы, не получающие трафик, клики или показы;
  • есть ли неиндексируемые страницы, которые получают трафик, клики или показы.

Подробнее об интеграции с Google Analytics и Search Console узнайте в статье из руководства пользователя.

Netpeak Spider не допускает наличие одинаковых URL в основной таблице. Если в GA, GSC или карте сайта содержатся страницы, которые есть в таблице, они не перенесутся, а вместо них будут выгружаться только не найденные в ходе сканирования. Этому могут послужить следующие причины:

  • Ссылки на эти страницы не видны поисковому боту. Например, если ссылки подгружаются при нажатии на определённую кнопку.
  • На сайте нет ссылок на эти страницы.
  • Ссылки находятся глубоко от начальной страницы. В этом случае необходимо правильно оптимизировать краулинговый бюджет, и в этом вам поможет пример аудита сайта, который рассмотрим ниже.

Скачать PDF-отчёт

2. Аудит для оптимизации краулингового бюджета

В этом типе аудита применяется сегментация, а настройки перед сканированием вы можете задать на своё усмотрение, главное включить следующие параметры:

  • «Код ответа сервера»,
  • чекбокс «Сканирование и индексация»,
  • чекбокс «Ссылки»,
  • «Глубина».

После сканирования вы проверьте наличие / отсутствие таких проблем:

  • Индексируемые страницы с низким значением PageRank. Индексируемые страницы должны получать больше ссылочного веса, чем неиндексируемые, так как первые потенциально могут приносить трафик на сайт. Следовательно, вам необходимо обнаружить страницы, которые получают недостаточное количество ссылочного веса и проставить больше внутренних ссылок на них.

    Обнаружить такие страницы можно с помощью сегмента и сортировки значения PageRank по возрастанию, как это представлено на скриншоте.

    Как найти индексируемые страницы с низким значением PageRank в краулере Netpeak Spider

  • Неиндексируемые страницы с большим PageRank.
  • Страницы, которые находятся на глубине больше значения «5» от главной страницы. С помощью сегмента по глубине вы сможете узнать, какие важные страницы находятся далеко от начальной.

    Как найти страницы, которые находятся далеко от главной, с помощью краулера Netpeak Spider

  • Страницы, не получающие ссылочный вес.

Также рекомендую обратить внимание на ссылки, ведущие на страницы с редиректом, они также негативно влияют на краулинговый бюджет.

Выгрузить подробный отчёт по редиректам можно в меню «Экспорт».

Как экспортировать подробный отчёт по редиректам из краулера Netpeak Spider


Скачать отчёты

Как и в предыдущем аудите вы можете дополнить данные выгрузкой страниц из карты сайта, чтобы найти те, которые не были обнаружены в ходе сканирования.

3. Аудит на старте продвижения

Этот вид технического аудита сайта является противоположностью аудита «глазами поискового бота», так как на начальном этапе продвижения любого проекта важно дать сильный толчок позициям, а для этого необходимо найти максимум ошибок оптимизации.

Для этого задайте следующие настройки:

  • Включите сканирование внешних ссылок.

    Как включить сканирование внешних ссылок в краулере Netpeak Spider

  • Отключите учёт инструкций по сканированию и индексации.

    Как отключить учёт инструкций по сканированию и индексации в краулере Netpeak Spider

  • Сбросьте ограничения и правила (если заданы).
  • Включите все параметры.

    Как включить все параметры в краулере Netpeak Spider

С учётом таких настроек программа проверит страницы сайта на все доступные SEO-ошибки. Чтобы выгрузить все отчёты по найденным ошибкам, воспользуйтесь меню «Экспорт».

Как выгрузить все отчёты по ошибкам из краулера Netpeak Spider

Для качественного SEO-аудита на старте продвижения важно в первую очередь сосредоточиться на исправлении:

  • битых ссылок,
  • некорректного содержимого в теге Canonical,
  • дубликатов контента (Title, Description, контент в теге <body>),
  • отсутствия содержимого в тегах Title и Description,
  • низкой скорости отклика страниц,
  • ссылок на внутренние страницы с редиректом.

Отчёты по этим ошибкам находятся в списке «Специальные отчёты по ошибкам» в меню «Экспорт». Кстати, отчёт «Сводка по ошибкам + описания» поможет составить техническое задание по их устранению для разработчиков. При необходимости экспортируйте этот отчёт.

Как экспортировать отчёт «Сводка по ошибкам + описания» из краулера Netpeak Spider


Скачать отчёты

4. Аудит на Pre-sale

Если перед вами стоит задача быстро и качественно продемонстрировать клиенту основные ошибки оптимизации на сайте и дать рекомендации по их решению, вам пригодятся:

  • White Label отчёт;
  • сводка по ошибкам, в которой отображён перечень всех найденных ошибок, их описание, а также рекомендации по устранению.

Отчёт находятся в меню «Экспорт».

Как экспортировать специальные отчёты по ошибкам из краулера Netpeak Spider

Для аудита на Pre-sale используйте настройки из предыдущего пункта, чтобы программа просканировала все страницы сайта и собрала максимум возможных ошибок.

Скачать отчёты

5. Аудит внешних ссылок

Оптимизация внутренних страниц важна, но не стоит забывать про оптимизацию внешних ссылок. Этот аудит поможет вам определить, есть ли на сайте некачественные внешние ссылки, а именно:

  • битые ссылки;
  • ссылки, ведущие на странницы с медленным ответом сервера и большим временем загрузки контента;
  • ссылки на некачественные сайты или на сайты с вредоносными ресурсами (проверка выполняется с помощью Netpeak Checker).

Для такого вида аудита в Netpeak Spider:

  1. Включите сканирование внешних ссылок.

    Как включить сканирование внешних ссылок в краулере Netpeak Spider

  2. Отметьте параметры «Код ответа сервера», «Время ответа сервера» и «Время загрузки контента».

По окончании сканирования задайте сегмент по внешним ссылкам.

Как задать сегмент по внешним ссылкам краулере Netpeak Spider

В результате вы получите список всех внешних ссылок и отчёты по ошибкам, найденным на страницах, на которые ссылается ваш сайт.

Вы также можете сохранить этот проект и открыть его в Netpeak Checker, чтобы убедиться, что ни одной из этих страниц нет в «чёрном списке» Google. Это делается с помощью сервиса Google Safe Browsing.

Как проверить ссылки с помощью сервиса Google Safe Browsing в Netpeak Checker


Скачать отчёты Netpeak Spider и Checker

6. Аудит после переезда сайта на HTTPS-протокол

При переезде с HTTP на HTTPS-протокол важно убедиться, что на сайте не осталось HTTP-ссылок, заданы прямые ссылки на HTTPS без редиректов, и отсутствует смешанный контент.

Перед сканированием включите следующие параметры:

  • «Код ответа сервера»,
  • «Входящие ссылки»,
  • «Редиректы»,
  • «Конечный URL редиректа»,
  • «Хеш-страницы».

Необходимо также задать регулярные выражения в качестве пользовательских параметров для поиска смешанного контента. Сделать это можно с помощью парсинга.

Подробный алгоритм и регулярные выражения приведены в посте «Как проверить сайт на наличие смешанного контента с помощью Netpeak Spider».

В настройках также включите сканирование служебных страниц и файлов (JS, CSS и т.д.).

Как включить сканирование служебных страниц и файлов в краулере Netpeak Spider

После завершения сканирования на вкладке «Сводка» вы можете открыть отчёт по ссылкам с HTTP-протоколом.

Как открыть отчёт по ссылкам с HTTP-протоколом в краулере Netpeak Spider

Чтобы посмотреть список входящих ссылок для выбранной страницы, воспользуйтесь контекстным меню или клавишей F1. Для просмотра входящих ссылок для всех страниц отчёта → Shift+F1.

В Netpeak Spider также есть отчёт, который показывает URL страниц с редиректом, куда ведёт редирект и входящие ссылки этих страниц.

Как посмотреть отчёт, который показывает URL страниц с редиректами, в краулере Netpeak Spider

В PDF-отчёте отобразится следующая информация:

  • Общее количество ссылок на страницы с редиректом и количество битых ссылок.

    Общее количество ссылок на страницы с редиректом и количество битых в PDF-отчёте, сгенерированном в Netpeak Spider

  • Количество ссылок с HTTP протоколом.

    Количество ссылок с HTTP протоколом в PDF-отчёте, сгенерированном в Netpeak Spider

В отчёте по парсингу вы можете посмотреть, нет ли на страницах с протоколом HTTPS незащищённых скриптов и элементов. Для этого перейдите на вкладку «Отчёты» → «Парсинг» и выберите «Все результаты».

Скачать отчёты

7. Аудит скорости

Скорость работы сайта — важный показатель оптимизации и в целом один из основных факторов ранжирования в поисковых системах.

Чтобы проанализировать скорость работы сайта, необходимо просканировать его с использованием следующих параметров:

  • «Код ответа сервера»,
  • «Время ответа сервера»,
  • «Время загрузки контента».

Какие параметры необходимо включить для аудита скорости в краулере Netpeak Spider

Таким образом вы быстро просканируете сайт с минимальным потреблением ресурсов вашего устройства и в результате получите информацию о том, насколько быстро сервер отвечает на запросы, и какие проблемы могут возникнуть со скоростью ответа сервера.

Отчёты по скорости ответа сервера в краулере Netpeak Spider

По умолчанию в Netpeak Spider страницы, которые отвечают более 500 мс, попадают в отчёт по ошибке «Большое время ответа сервера», однако вы можете выставить свои лимиты на вкладке «Настройки» → «Ограничения».

Как задать ограничения параметров в краулере Netpeak Spider

Дополнительно вы можете проверить страницы в сервисе Google Pagespeed Insights. Для этого необходимо вызвать контекстное меню на интересующем URL правой кнопкой мышки и выбрать сервис.

Как проверить скорость загрузки страниц с помощью Google Pagespeed Insights в краулере Netpeak Spider

Также есть возможность выполнить массовую проверку URL в Google Pagespeed Insights с помощью Netpeak Checker. Переносим полученные URL из Netpeak Spider в Checker, выбираем на боковой панели параметры сервиса и запускаем анализ.

Как выполнить массовую проверку URL в Google Pagespeed Insights с помощью Netpeak Checker

В экспортированном PDF-отчёте, сгенерированном Netpeak Spider, вы увидите следующую информацию о времени ответа сервера.

Информация о времени ответа сервера в PDF-отчёте, сгенерированном в Netpeak Spider

Время ответа страниц и загрузки контента может меняться в зависимости от нагрузки на сервер сайта. Например, страницы могут загружаться молниеносно, если на сайте в данный момент мало посетителей, но при увеличении их количества работа сервера замедлится.

В Netpeak Spider можно увеличивать количество запросов, которые отправляются параллельно серверу сайта, тем самым создавать бо́льшую нагрузку на сервер и анализировать, как меняется скорость обработки запросов. В этом вам поможет следующий вид аудита.

Скачать отчёты

8. Аудит нагрузки на сайт

Перед стартом аудита отключите все параметры, кроме параметров, проверяющих скорость. Просканируйте сайт с использованием максимального количества потоков. Так вы поймёте, как будет вести себя сервер при высокой нагрузке.

В отчёте помимо информации о скорости рекомендую также обратить внимание на коды ответа сервера и проверить, нет ли страниц с кодом ответа «Timeout».

9. Аудит метаданных

Для проверки корректности метаданных (аудита контента сайта) перед сканированием необходимо включить такие параметры:

  • «Код ответа сервера»,
  • «Meta Robots»,
  • «Title»,
  • «Длина Title»,
  • «Description»,
  • «Длина Description»,
  • «Keywords»
  • «Длина keywords»,
  • «Содержимое H1».

В настройках включите учёт всех инструкций по сканированию и индексации.

Как включить учёт всех инструкций по сканированию и индексации в краулере Netpeak Spider

В результате программа проверит страницы на наличие ошибок, связанных с метатегами:

  • «Дубликаты Title»,
  • «Дубликаты Description»,
  • «Дубликаты H1»,
  • «Отсутствующий или пустой Title»,
  • «Отсутствующий или пустой Description»,
  • «Несколько тегов title»,
  • «Несколько тегов description»,
  • «Одинаковые title и H1»,
  • «Макс. длина title»,
  • «Короткий description»,
  • «Макс. длина description».

Информация об оптимизации контента PDF-отчёте, сгенерированном Netpeak Spider
Информация об оптимизации контента PDF-отчёте, сгенерированном Netpeak Spider


Скачать отчёты

10. Аудит изображений и медиафайлов

Оптимизация изображений — один из важных аспектов продвижения сайта, потому важно соблюдать рекомендации поисковых систем касательно визуального контента на страницах. Netpeak Spider проверяет изображения и прочие медиафайлы (аудио, архивы и тд.) на основные ошибки:

  • «Битые изображения»,
  • «Изображения без атрибута alt»,
  • «Максимальный размер изображения»,
  • «Другие SEO-ошибки».

Для медиафайлов определяются общие ошибки (редирект, битая ссылка и тд).

Чтобы провести аудит на наличие проблем с изображениями и медиафайлами, достаточно просканировать сайт со стандартными настройками программы.

После завершения сканирования вы можете отфильтровать результаты с помощью функции сегментации. Например, как показано на скриншоте.

Как отфильтровать результаты с помощью функции сегментации в краулере Netpeak Spider


Скачать отчёты

11. Аудит сайта-гиганта

Если вы беспокоитесь, что при сканировании большого сайта не хватит оперативной памяти, следуйте рекомендациям ниже.

Данный вид аудита не только поможет вам сэкономить оперативную память, но и избежать риска потери данных при аварийном завершении работы программы.

I. Сканировать сайта в два этапа

Чем больше параметров учитывается во время сканирования, тем больше оперативной памяти расходуется для отображения результатов. Чтобы снизить вероятность возникновения ошибки из-за нехватки оперативной памяти, просканируйте сайт дважды.

При первом сканировании отключите все параметры, кроме кода ответа сервера. Так программа быстрее найдёт все страницы сайта без существенной нагрузки на оперативную память. По окончании сканирования сохраните проект.

Перед стартом повторного сканирования очистите адресную строку, после чего перейдите вновь на вкладку «Параметры», отметьте нужные пункты и нажмите «Рестарт».

Как пересканировать сайт в краулере Netpeak Spider

В этом случае сканирование будет осуществляться по списку страниц, что менее ресурсозатратно, чем сканирование в стандартном режиме.

По мере сканирования в таблице результатов будут появляться данные по нужным параметрам.

II. Периодически сохранять результаты

Во время сканирования сайта потребление оперативной памяти будет расти. Это может привести к непредвиденному завершению работы программы, если на устройстве будет недостаточно оперативной памяти.

Чтобы снизить риск возникновения подобной ситуации, сохраните проект после сканирования определённой части сайта. На вкладке настроек «Ограничения» задайте ограничение по количеству сканируемых страниц.

Как задать ограничение по количеству сканируемых в краулере Netpeak Spider

Тогда при достигнутом количестве URL краулер автоматически остановит сканирование. После этого необходимо сохранить проект, увеличить число страниц и продолжить сканирование. И так повторять этот процесс до конца сканирования сайта или до получения желаемого количества страниц.

12. Аудит мультиязычного сайта

Если сайт ориентирован на аудиторию из разных стран, тут не обойтись без реализации мультиязычного контента. У сайта может быть несколько альтернативных версий для каждой страницы, и чтобы поисковые системы не посчитали их дублями, важно корректно указать версии сайта на иностранных языках в hreflang. Размещение этого тега обусловлено рядом правил, поэтому очень легко допустить ошибку в реализации.

С помощью Netpeak Spider вы можете убедиться, соблюдены ли все правила, а если обнаружится обратное, программа укажет вам на источник проблемы в соответствующих отчётах.

Перед началом аудита вам достаточно включить два параметра из пункта hreflang — «Языковой код hreflang», «Hreflang-ссылки», а также параметр «Код ответа сервера».

Программа будет проверять этот тег и при нахождении ошибок отображать соответствующие отчёты.

Как настроить проверку тега hreflang в краулере Netpeak Spider

В результате такого аудита вы сможете проверить:

  • наличие ссылок в hreflang на текущей странице,
  • отсутствие битых ссылок в теге hreflang,
  • корректность языковых кодов и отсутствие дублирующихся кодов,
  • наличие альтернативных URL без дубликатов,
  • наличие обратных hreflang-ссылок,
  • отсутствие в hreflang относительных ссылок и / или ссылок на индексируемые страницы,
  • совпадение языкового кода обратных ссылок.

Также в программе доступен отдельный отчёт по ссылкам из тега hreflang. Открыть его можно с помощью меню «База данных».

Как открыть отдельный отчёт по ссылкам из тега hreflang в краулере Netpeak Spider

Если для каждого языка используется отдельный домен, то для сканирования всех версий сайта необходимо использовать аудит группы сайтов.

Скачать отчёты

13. Аудит группы сайтов

Чтобы просканировать несколько доменов с разными языками, сделайте следующее:

  1. Убедитесь, что проверка тега hreflang включена.
  2. Вставьте URL одного из доменов сайта в основную таблицу и просканируйте.
  3. Откройте отчёт по hreflang, скопируйте список всех доменов, которые записаны, и перенесите их в основную таблицу.

    Как перенести отчёт по hreflang в основную таблицу в краулере Netpeak Spider

  4. Перейдите на вкладку «Основные» настроек программы, включите мультидоменное сканирование и запустите краулинг.

    Как включить мультидоменное сканирование в краулере Netpeak Spider

В этом режиме программа просканирует все страницы доменов, которые указаны в основной таблице за один сеанс. Таким образом вы соберёте максимально полную информацию обо всех языковых доменах вашего сайта.

Но учитывайте то, что программа будет смешивать страницы из разных доменов в отчётах по ошибкам. Если вы хотите выгружать отчёты отдельно по каждому домену, используйте сегментацию.

К примеру, чтобы получить отчёты отдельно для сайта netpeak.kz, нужно перейти на вкладку «Сводка», выбрать необходимый домен и применить его в качестве сегмента.

Как применить домен в качестве сегмента в краулере Netpeak Spider

Теперь можно изучить и выгрузить все примеры отчётов аудита для выбранного домена, затем то же проделать с остальными.

Апгрейднуть лицензию до тарифа Pro

14. Аудит перелинковки

Внутренняя перелинковка позволяет улучшить удобство пользования сайтом и распределить передачу ссылочного веса, чтобы поисковые системы лучше индексировали посадочные страницы.

Для выполнения проверки достаточно выбрать шаблон параметров «Для PageRank».

Шаблон параметров «Для PageRank» в краулере Netpeak Spider

Программа просканирует сайт и соберёт всю необходимую информацию по перелинковке, в частности:

  • Внутренние ссылки и внешние ссылки с анкорами, значения в атрибуте rel и вид ссылки в исходном коде страницы. Отчёты хранятся в модуле «База данных».

    Информация о перелинковке, которую собирает краулер Netpeak Spider

  • Информацию о распределении ссылочного веса внутри сайта: количество входящих ссылок, которые получает каждая страница, наличие важных страниц, получающих недостаточно ссылочного веса и, наоборот, служебные страницы с большим значением PageRank.

Также инструмент «Расчёт внутреннего PageRank» покажет, на каких узлах ссылочный вес «сжигается» и как он в целом распределяется по сайту.

Подробнее об этом инструменте и его возможностях читайте в посте «Внутренний PageRank от А до Я».

15. Аудит приоритетности оптимизации

Аудит приоритетности оптимизации поможет обнаружить страницы, которые получают недостаточное количество органического трафика в сравнении с платным. Для поиска таких страниц необходимо выполнить две задачи:

  • Задача 1. Найти страницы с наибольшим отношением контекстного трафика к органическому.
  • Задача 2. Определить среди них страницы, которые плохо ранжируются при помощи Google Search Console или анализа параметров Serpstat в Netpeak Checker.

Приступим к выполнению анализа 😃

Задача 1

  1. Подключите аккаунт Google Analytics в Netpeak Spider. Инструкции по подключению описаны в статье «Интеграция с Google Analytics и Search Console».
  2. Просканируйте сайт или загрузите страницы из Google Analytics (это можно сделать с помощью меню «Список URL»).

    Как загрузить страницы из Google Analytics в краулер Netpeak Spider

  3. Задайте платный трафик в настройках сегмента Google Analytics.

    Как задать платный трафик в настройках сегмента Google Analytics в краулере Netpeak Spider

  4. Выгрузите данные по сеансам в основную таблицу с помощью меню «Анализ».

    Как выгрузить данные по сеансам из Google Analytics в краулере Netpeak Spider

  5. Экспортируйте полученный отчёт.
  6. Задайте органический трафик в настройках сегмента и повторите действия, описанные в пунктах 3,4 и 5.
  7. Объедините два отчёта и сравните отношение платного трафика к органическому. В результате вы узнаете, какие страницы получают больше платного трафика, чем органического.

    Сравнение отношения платного трафика к органическому в Netpeak Spider

Задача 2

Загрузите полученные страницы в новый проект Netpeak Spider и включите параметр «GSC:Средняя позиция».

Как загрузить страницы в новый проект Netpeak Spider и узнать среднюю позицию

Если у вас есть аккаунт Serpstat, то загрузив список страниц в Netpeak Checker вы сможете получить информацию о количестве слов, по которым ранжируется сайт на определённых позициях в Google. Для этого включите параметры, указанные на скриншоте.

Какие параметры нужно задать, чтобы найти слова, по которым ранжируется сайт на определённых позициях в Google

Результат:

Слова, по которым ранжируется сайт на определённых позициях, в Google

Подводим итоги

Комбинируя различные настройки параметров сканирования, вы можете гибко настраивать Netpeak Spider для полноценного автоматического определения специфических ошибок оптимизации и получать отчёты, релевантные поставленной задаче. Это поможет в дальнейшем устранить найденные ошибки максимально эффективно и быстро, а также провести комплексный аудит сайта.

Есть вопросы → задавайте их в комментариях или пишет мне в Telegram 😊

Понравился кейс? Давайте лично обсудим все детали и преимущества Netpeak Spider

Book a personal demo