Netpeak Spider 3.6: запросы из Search Console, кастомные HTTP-заголовки

Возможно, вы до сих пор не отошли от радости по случаю релиза Netpeak Spider 3.5, а мы уже готовы вам представить новую версию краулера! Да, мы решили радовать вас ещё чаще 😊 Обычно это происходит как-то так:

На выгрузке запросов из Google Search Console (GSC) мы решили не останавливаться, поэтому также внедрили в Netpeak Spider 3.6 кастомизацию HTTP-заголовков.

Чтобы вам было проще переключаться к нужным разделам, просто кликайте по содержанию 👇

• 1. Выгрузка поисковых запросов из Google Search Console (тариф Pro)
• 2. Кастомизация HTTP-заголовков
• Бонусы для вас
• Коротко о главном

1. Выгрузка поисковых запросов из Google Search Console (тариф Pro)

Мы PROдолжаем расширять тариф Pro, поэтому в этом релизе ловите новую PROфессиональную фичу.

Теперь мы можем с гордостью сказать, что начали анализировать запросы и связывать их с данными прокрауленных страниц — новая порция крутых инсайтов ждёт вас 😎

1.1. Чем полезна эта функция

Выгрузка поисковых запросов из Google Search Console позволит:

1. Анализировать данные из GSC в формате «URL — поисковый запрос — основные показатели (показы, клики, CTR, средняя позиция)» внутри Netpeak Spider. Это значительно расширяет ваши возможности, так как в самой GSC можно анализировать основные показатели только отдельно по URL или отдельно по запросам.
   

   Анализ запросов в GSC

   

   Анализ URL в GSC
   
   Вот как это выглядит в едином отчёте в Netpeak Spider

2. Быстро выгружать абсолютно все запросы, по которым ранжируются URL. В то время как в GSC есть ограничение в 1000 результатов 😢
3. Искать упущенные возможности оптимизации и находить точки роста проекта → например, выгружайте только те запросы, которые находятся близко к топу, но не в топ-10 (с 10 по 30 позицию), и оптимизируйте страницы, чтобы начать получать по ним больше трафика.
4. Оптимизировать метатеги: для этого ориентируйтесь на релевантные запросы из GSC — это здорово помогает поймать вдохновение, когда иссякли идеи для уникальных title, description, h1.
5. Оценивать performance сайта, расширив данные GSC дополнительными параметрами: устройство (mobile, desktop) и страна. Таким образом можно будет увидеть, по каким типам устройств или в каких странах соответственно мало показов / кликов, низкий CTR / средняя позиция. Или где всё слишком зашибись 👌
6. Сравнивать динамику → вы сможете найти новые, пропавшие, выросшие или просевшие запросы. Алгоритм такой:
   • Выгрузить данные за один период и сделать экспорт в файл.
   • Затем выгрузить данные за предыдущий период и аналогично экспортировать в файл.
   • Сравнить два набора данных из файлов с помощью сводной таблицы в Google Таблицах или Excel. Посмотреть пример таблицы →

1.2. Что мы добавили

• Новый раздел настроек по запросам на вкладке «Google Analytics & Search Console».
• Дополнительные параметры расширения данных (устройство / страна).
• Параметр «GSC: Запросы».
• Внутренняя таблица, которая позволяет просматривать все полученные данные.
• Массивный XL отчёт «Запросы из Search Console» в меню экспорта.
• Пункт «GSC: запросы» в контекстном меню.

Этот функционал доступен в тарифе Pro. Пользователи с активной лицензией могут апгрейднуть её с тарифа Standard до Pro.

2. Кастомизация HTTP-заголовков

Мы реализовали возможность самостоятельно настраивать HTTP-заголовки запроса к серверу благодаря фидбеку наших пользователей о том, что они сталкиваются с рядом специфических задач:

1. Сканирование тестовых сайтов с защитой по HTTP-заголовкам. Иногда разработчики сайта ставят защиту, которая позволяет попасть на него только после введения определённого HTTP-заголовка (обычно делают защиту по IP или по логину / паролю, а эти кейсы у нас уже покрыты).
2. Посещение сайта под аккаунтом определённого пользователя. Для этого нужно перейти на сайт в браузере, залогиниться, скопировать cookie, вставить в программу, и тогда Netpeak Spider будет сканировать сайт от лица пользователя. Советуем быть осторожными и внимательными при выполнении этой задачи, чтобы краулер правильно просканировал сайт и не натворил беспредел. Потенциально он может переходить по ссылкам, доступным администратору, и удалять страницы, создать новые темы и прочее.
3. Тестирование сайта в различных ситуациях. Например, если нужно проверить, как с помощью заголовка «Accept-Language» сайт определяет, какой язык страницы предложить пользователю → с помощью инструмента «Анализ исходного кода и HTTP-заголовков» такую проверку можно выполнить очень быстро. Аналогично можно проверять любые другие заголовки (тот же ‘If-Modified-Since’). Наша QA-команда часто использует Netpeak Spider для тестирования — это помогает экономить время и делает ребят счастливее.

Вы можете выбрать любой из 19 предустановленных заголовков либо же прописать свой кастомный. Также этот заголовок передаётся во внутренний браузер для сканирования в режиме рендеринга JavaScript (что, сказать по правде, было очень непросто реализовать 😂).

Бонусы для вас

Мы предоставляем бесплатный триал всем пользователям до 14 февраля включительно — сделайте себе приятный подарок 💗 и успейте оценить новый функционал краулера. Если вы ещё не зарегистрированы, то просто нажимайте на кнопку, и вперёд!

Когда пробный период на полный доступ закончится закончится, вы сможете пользоваться бесплатной версией наших продуктов.

И это отличный повод присоединиться к нам и начать пользоваться продуктами без ограничений по времени!

Зарегистрироваться

Нужна помощь в знакомстве с новыми фишками инструмента? Наши специалисты с радостью вам помогут! Записывайтесь на бесплатный вебинар, чтобы узнать все кейсы и способы использования функционала.

Записаться на вебинар

Коротко о главном

В обновлённом Netpeak Spider 3.6 мы внедрили:

• Выгрузку поисковых запросов из Google Search Console — профессиональную фичу для комплексного анализа эффективности сайта. Выгружайте все запросы из GSC, по которым ранжируются URL, и находите упущенные возможности оптимизации и новые точки роста. Top is the limit 🏁
• Кастомизацию HTTP-заголовков — важную функцию для пользователей со специфическими задачами, будь то разностороннее тестирование сайта, сканирование сайтов с защитой по HTTP-заголовкам или посещение сайта под аккаунтом определённого пользователя.

Кажется, на этом всё! Оставляйте комментарии, рассказывайте друзьям и родственникам, подписывайтесь на канал, ставьте колокольчики вверх… ну, короче, вы поняли 😬