Netpeak Checker 3.0: парсинг выдачи поисковых систем

Друзья, из этого поста вы узнаете, что мы приготовили для вас в рамках релиза Netpeak Checker 3.0, как менялся функционал программы за последний год, а также зачем в принципе нужен Netpeak Checker — это один из наиболее частых вопросов от пользователей :)

1. Изменения в Netpeak Checker 3.0
2. Важные изменения за последний год
3. Зачем нужен Netpeak Checker
4. Коротко о главном

Смотрите детальный видеообзор в посте «Netpeak Checker 3.0: обзор новой версии программы».

I. Изменения в Netpeak Checker 3.0

1. Парсер ПС (поисковых систем)

Мы всегда хотели сделать акцент на том, что Netpeak Checker — это мультифункциональный инструмент с множеством вариантов применения в сфере интернет-маркетинга. Это и раньше было так, но теперь вариантов применения станет в разы больше. И всё благодаря новому инструменту, который мы прозвали «Парсер ПС», — он позволяет получить выдачу поисковых систем Google, Bing, Yahoo и Яндекс в виде структурированной таблицы с множеством полезных данных.

1.1. Алгоритм работы

Следуйте простым шагам, чтобы получить желаемый результат:

1. Откройте инструмент «Парсер ПС» на панели управления.
2. Вставьте список поисковых запросов на вкладке «Запросы» боковой панели — каждый запрос с новой строки, можно использовать поисковые операторы.
3. Перейдите на вкладку «Настройки».
4. Выберите целевые поисковые системы: Google, Yahoo, Bing или Яндекс (можно выбрать все сразу).
5. Выставьте количество результатов, которое хотите получить: можно выставить одно из преднастроенных значений (1, 3, 10, 50), максимум (то есть будет произведена попытка получить максимально возможное количество результатов) и кастомное значение (любое, которое вам необходимо, но не более 1 000).
6. Выберите, какие дополнительные типы сниппетов необходимо парсить, кроме обычных результатов: видео, изображения, новости, дополнительные ссылки.
7. Перейдите в одно из меню дополнительных настроек, если это необходимо: поисковые системы (подробнее об этих настройках читайте ниже), капча (используйте авторазградывание капчи, чтобы быстрее парсить выдачу) и список прокси (используйте прокси, чтобы свести появление капчи к минимуму).
8. Нажмите кнопку «Старт», чтобы начать анализ. Результат будет представлен в виде таблицы с множеством параметров.

1.2. Какие данные можно получить

Основным преимуществом нашего парсера выдачи поисковых систем являются параметры, которые мы проверяем:

• URL → конечный адрес результата.
• Позиция → каким по счёту данный результат показывается в выдаче соответствующей ПС. Обратите внимание, что URL с типом «Дополнительная ссылка» занимают ту же позицию, что и основной результат.
• Тип сниппета → может принимать одно из следующих значений: обычный результат выдачи, видео, изображение, новость или дополнительная ссылка.
• Заголовок → название страницы в сниппете поисковой выдачи. Обычно генерируется из тега Title на странице, однако будьте внимательны, так как заголовок является запросозависимым (то есть одна и та же страница сайта может показываться в выдаче по-разному в зависимости от поискового запроса).
• Описание → описание страницы в сниппете поисковой выдачи, которое отображается под заголовком. Аналогично, будьте внимательны, так как описание также является запросозависимым параметром.
• Выделенный текст → показывает текст, который был выделен жирным в сниппете поисковой выдачи: таким образом поисковые системы обычно выделяют точное совпадение запроса или похожие термины (синонимы). Если значений несколько, то они перечисляются через запятую.
• Дополнительные ссылки → тексты (анкоры) дополнительных ссылок в сниппете у соответствующего результата. Если ссылок несколько, то они также перечисляются через запятую.
• Рейтинг в сниппете → показывает рейтинг страницы, если он отображается в сниппете поисковой выдачи. Значение рейтинга формируется на основе структурированных данных в исходном коде страницы.
• Блок с ответами → показывает, упоминается ли URL в закреплённом результате поисковой выдачи в виде специального блока с ответами.
• Хост → показывает хост страницы, которая получена из поисковой выдачи. Например, если изначальный URL имел вид [https://subdomain.domain.com/page.html], то в этом поле будет отображаться значение [subdomain.domain.com].
• Запрос и Поисковая система → эти параметры отображаются, чтобы вы не запутались, так как в одной таблице могут быть данные по разным поисковым запросам и разным ПС.

1.3. Особенности и советы по использованию

• Используйте спецсимволы и поисковые операторы прямо в строке запроса — это позволит решить почти любую стоящую перед вами задачу касательно поисковой выдачи. Подробнее о том, как пользоваться этими чудесами техники, читайте на блоге наших друзей в статье «Спецсимволы и поисковые операторы Google и Яндекс: как быстро найти иголку в стоге сена».
• Если вы ввели несколько запросов и/или выбрали несколько целевых поисковых систем, то для удобства данные в таблице будут по умолчанию сгруппированы по запросам / поисковым системам. Если вам необходимо посмотреть или экспортировать данные без группировки, то вы можете убрать её вручную, перетащив соответствующие параметры из верхней области таблицы.
• Инструмент сохраняет все полученные данные на время текущей сессии, то есть после закрытия и повторного открытия окна «Парсер ПС» данные не потеряются. Будьте внимательны — если вы полностью закроете программу, то данные уже не восстановить.
• Функции «Перенести URL» и «Перенести хосты» позволяют легко использовать данные из этого инструмента в рамках основного функционала Netpeak Checker. С их помощью можно перенести все уникальные URL или хосты (в формате {протокол}://{хост}/, где протокол берётся из исходной ссылки) в основную таблицу программы для последующего анализа (при переносе удаляются все дубликаты). Обратите внимание, что переносится также и статус индексации — мы прекрасно понимаем, как ресурсозатратно парсить выдачу поисковых систем, потому позаботились о том, чтобы вы несколько раз не проверяли одни и те же параметры.
• Нажмите «Сохранить URL», чтобы экспортировать все URL текущей таблицы в формате текстового файла (TXT) — это достаточно удобно, так как потом эти файлы можно будет легко открыть как в Netpeak Checker, так и в Netpeak Spider. Если же вам необходимы данные в формате именно таблицы (XLSX или CSV), то вы можете нажать кнопку «Экспорт».
• Пункт «Открыть выдачу ПС» в контекстном меню таблицы позволяет открыть страницу с исходным запросом, который программа делает к поисковой системе. Попробуйте открыть этот URL в инкогнито-режиме вашего любимого браузера и убедиться, что мы не врём ;) А если врём (обычно несовпадения могут возникать из-за различной поисковой выдачи при включённом и отключённом JavaScript-рендеринге), то обратитесь к нам в поддержку — мы постараемся разобраться в ситуации!
• В инструменте «Парсер ПС» вы можете применить такой же комплексный фильтр, как и в основной таблице программы — для этого просто нажмите на кнопку «Настроить фильтр...» над таблицей.
• Во время сканирования происходит автоматическое обновление таблицы (не чаще раза в минуту и 20% прогресса). Если вам необходимо срочно получить самые актуальные данные по парсингу, то нажмите кнопку «Обновить».
• Если вы проводите обширные исследования и делаете слишком много запросов к поисковым системам, то рано или поздно они заблокируют ваши запросы или попросят ввести капчу. Чтобы меньше отвлекаться, рекомендуем использовать функцию авторазгадывания капчи, а также список прокси.

2. Настройки «Поисковые системы»

Отныне Netpeak Checker можно заслуженно называть программой, оптимизированной для локального продвижения (так называемого «Local SEO») и исследования региональных результатов выдачи. Настройки программы обзавелись новым пунктом «Поисковые системы», которые влияют как на стандартные параметры поисковой выдачи (Google / Bing / Yahoo / Яндекс SERP), так и на новый инструмент «Парсер ПС».

Давайте подробнее рассмотрим, какие же настройки были реализованы.

2.1. Google

• Геолокация → мы очень сильно заморочились, но в итоге смогли сделать настройку геолокации, которая позволяет увидеть выдачу так, будто вы делаете запрос из определённого города / региона. Просто начните вводить локацию и выберите один из предложенных вариантов. Сами подсказки указаны на разных языках, так как мы ориентируемся именно на то, как их показывает Google.
• Страна → стандартная настройка, которая позволяет выбрать, для какой страны будет генерироваться поисковая выдача: доступны 230+ регионов, а по умолчанию поиск происходит по всем странам.
• Язык → ещё одна стандартная настройка, с помощью которой можно выбрать один из 40+ языков (аналогично, по умолчанию поиск производится по всем языкам). Помните, что во многих странах люди общаются на разных языках, потому советуем использовать этот параметр в связке с параметром «Страна». Также рекомендую освежить в памяти мануал «Как управлять мультирегиональными и многоязычными сайтами» от Google.
• Дата и время → настройка, позволяющая ограничить результаты поиска по дате их появления в Интернете (по крайней мере Google уверен, что он эту дату знает): за час, за 24 часа, за неделю, за месяц или за год. По умолчанию ограничение отсутствует.

2.2. Bing

• Регион → у Bing всё сложно: можно выбрать либо параметр «Страна», либо «Страна / Язык». В зависимости от этого становятся доступны 36 стран (где представлена эта поисковая система) или 40 комбинаций страна/язык.
• Дата и время → аналогично настройке от Google, однако меньшее количество вариантов: за 24 часа, за неделю или за месяц.

2.3. Yahoo

• Дата и время → так сказать «чем богаты, тем и рады» :) Здесь все варианты аналогичны настройкам от Bing.

2.4. Яндекс

• Геолокация → теперь ваше продвижение (или исследование) региональных сайтов в Яндексе не будет прежним: начните вводить локацию и выберите один из предложенных вариантов.
• Язык → здесь всё просто, 10 языков: русский, украинский, белорусский, английский, французский, немецкий, казахский, татарский, турецкий и индонезийский.
• Дата и время → и здесь тоже несложно: за 24 часа, за неделю, за месяц или за год.

Используйте эти настройки, чтобы максимально раскрыть потенциал локального SEO или провести быстрый анализ ниши в определённом регионе. А чтобы вам было удобно это делать, мы подготовили следующую фишку.

3. Новый алгоритм «Антибан прокси»

Прокси позволяют быстрее получать данные от сервисов, а также уменьшают вероятность появление капчи, так как запросы выполняются с разных IP-адресов. Мы очень ценим те ресурсы, которые вы вложили в покупку прокси, потому придумали специальный алгоритм, который позволит свести к минимуму вероятность попадания прокси в бан со стороны соответствующего сервиса.

Мы провели много тестов и определили временные задержки / количество прокси, которые могут одновременно использоваться для каждого сервиса, обеспечивая надёжный парсинг данных, и вшили их в программу. Также улучшили функцию переключения прокси в случае бана со стороны определённого сервиса и внедрили условия дальнейшей разблокировки. Кстати, теперь, если все прокси будут исключены, в конце анализа появится уведомление о том, какие сервисы были остановлены и почему.

Напомню, что на данный момент список прокси используется при подключении к следующим сервисам:

• On-Page (параметры, которые определяются при прямом подключении к сайту),
• Alexa,
• Google SERP,
• Bing SERP,
• Yahoo SERP,
• Яндекс SERP,
• Wayback Machine,
• Facebook,
• Pinterest.

4. Кастомные шаблоны

Теперь в Netpeak Checker реализована функция сохранения и выбора преднастроенных шаблонов параметров и фильтров, аналогично Netpeak Spider.

4.1. Шаблоны параметров

Выбирайте необходимые параметры и сохраняйте шаблон со своим названием или же воспользуйтесь одним из преднастроенных шаблонов:

• Все бесплатные → только один клик мышкой отделяет вас от самого доступного шаблона параметров в Netpeak Checker :) Это своеобразный ответ на вопрос «А зачем платить за Netpeak Checker, если всё равно придётся платить за дополнительные сервисы типа Ahrefs, Majestic, Serpstat и т.д.?». Будьте внимательны, в этот шаблон также зашиты параметры Moz, однако для доступа к ним необходимо будет зарегистрировать аккаунт, получить и ввести в настройки программы Access ID и Secret key, а также переключить тип доступа к API на «Бесплатный (1 запрос/10 сек; 10 результатов/запрос)».
• Линкбилдинг → основой для этого шаблона послужили показатели, которые использовались нашими сотрудниками для оценки ссылочных доноров ещё в первой версии Netpeak Checker в далёком 2010 году. Этот шаблон включает в себя базовые On-Page параметры, показатели сервисов Alexa, Whois, Google, Facebook, а также параметры обратных ссылок из бесплатной версии Mozscape, которые по желанию можно заменить любым платным аналогом (Moz Pro, Ahrefs или Majestic).
• Дропы: упрощённый → здесь приведены самые базовые параметры, которые позволят вам более эффективно заниматься поиском дропов, — это домены, которые уже использовались, однако владельцы не продлили их по каким-то причинам. После истечения срока аренды любой человек может зарегистрировать такие домены и использовать их для продвижения своих основных сайтов. Перед тем как переходить к проверке доступности доменов для покупки, попробуйте «пропинговать» их с помощью параметра «IP» — так вы сможете достаточно быстро отсеять домены, которые уже заняты, даже если их больше 1 миллиона.
• Дропы: расширенный → после применения упрощённого набора параметров можно переходить к более детальному анализу, какие домены в принципе стоят вашего внимания.
• Поиск контактов → шаблон включает в себя код ответа сервера (чтобы убедиться, доступен ли сайт), Title, Description, все параметры соцсетей (если на странице есть ссылки на соцсети, то Netpeak Checker их покажет), все доступные параметры email-адресов (как приведённые на самой странице, так и в Whois-записях).

4.2. Шаблоны фильтров

Netpeak Checker создан для проведения разнообразных исследований, бенчмарков, срезов и т.д. Вероятно, вы постоянно используете одни и те же условия фильтрации результатов — теперь вы можете создавать свои шаблоны и затем применять их «в один клик».

5. Фильтрация и поиск

5.1. Обновлённые «Отфильтрованные результаты»

Теперь на вкладке «Отфильтрованные результаты» отображается условие, по которому фильтруются данные, а также доля отфильтрованных URL относительно общего количества результатов (в процентах, %).

Вызвать окно с настройками фильтра можно тремя способами:

• нажав кнопку «Фильтр» на панели управления;
• через пункт «Анализ» → «Настроить фильтр...» в главном меню программы;
• с помощью комбинации клавиш Ctrl+F.

5.2. Функция «Фильтровать по значению»

Представляем вашему вниманию новую функцию, которая позволит быстро фильтровать результаты на основе выбранных данных в ячейках. Например, вы проанализировали 1 миллион URL, и какая-то часть из них возвращает 301 / 302 редирект. Чтобы найти все страницы, которые возвращают редирект, просто выделите ячейку с нужным кодом ответа и с помощью контекстного меню выберите пункт «Фильтровать по значению»:

Обратите внимание, вы можете выбирать несколько ячеек одновременно, однако только в рамках одной строки. Эта функция вызывается из контекстного меню или с помощью комбинации клавиш Alt+F.

5.3. Быстрый поиск по таблице

Во всех таблицах программы (вкладки «Все результаты» и «Отфильтрованные результаты» основной таблицы, а также инструмент «Парсер ПС») реализована возможность быстрого поиска — просто нажмите Ctrl+E и введите поисковый запрос:

Будьте внимательны, так как эта функция ищет по всем колонкам в таблице — с типом поиска «Содержит» и без учёта регистра букв.

6. Оптимизация потребления оперативной памяти (×2)

В новой версии Netpeak Checker мы применили самые последние (свои же) наработки по оптимизации потребления оперативной памяти, в результате чего нам удалось уменьшить потребление более чем в 2 раза.

Здесь это даже более критично, чем в Netpeak Spider, так как самым узким местом является количество столбцов, а параметров в Netpeak Checker очень много, потому при работе с большими массивами данных оптимизация по оперативной памяти придётся очень кстати.

7. Интерфейс и юзабилити

7.1. Параметры

Вкладка со всеми параметрами переехала в боковую панель справа и приобрела несколько удобных функций из Netpeak Spider:

• Выберите параметр / сервис, и в панели «Информация» внизу появится их расширенное описание;
• Клик по параметру позволит прокрутить текущую таблицу к этому параметру — а если кликнуть на название сервиса, то таблица прокрутится до первого параметра этого сервиса.

Напоминаю, что на вкладке с параметрами находится поле с поиском — советую использовать его, если вам необходимо быстро промотать таблицу до нужного параметра: просто найдите нужный параметр через поиск и нажмите на него. Лайфхак, не ты ли это? :)

7.2. Добавление списка URL для анализа

В новой версии программы URL для анализа можно добавлять следующими способами:

• Вручную → этот способ откроет отдельное окно с текстовым полем для ввода списка страниц, где каждый URL должен быть с новой строки.
• Из файла → мы серьёзно переработали эту функцию и реализовали возможность импортировать URL из файлов с расширениями .txt (обычный текстовый файл), .xlsx (Microsoft Excel), .csv (comma-separated values), .xml (Extensible Markup Language), .nspj (проект Netpeak Spider) и .ncpj (проект Netpeak Checker).
• Из XML Sitemap → поддерживаются следующие форматы: XML Sitemap, индекс XML Sitemap, TXT Sitemap и их gzip-архивы.
• Из буфера обмена → просто нажмите комбинацию Ctrl+V, находясь в главном окне программы, и список URL из буфера обмена добавится в таблицу, а в уведомлении будет приведена краткая информация (что успешно добавилось, что уже есть в таблице, а что не добавилось по определённым причинам).
• Drag and Drop → вы можете просто перенести любой файл с вышеуказанным расширением из папки прямо в основную таблицу: Netpeak Checker проанализирует файлы и загрузит необходимые данные.

Обратите внимание на два нюанса:

1. Все URL, которые вы загружаете в программу, будут идти в том порядке, в каком они были изначально. Это облегчит поиск данных и позволит без проблем сравнивать результаты между собой.
2. Если URL были изначально в формате [example.com], то Netpeak Checker автоматически добавит к ним протокол и переведёт в формат [https://example.com/]. Если вы не знаете, какой протокол у того или иного сайта, то советую добавить все URL, потом проанализировать с включёнными On-Page параметрами «Код ответа сервера» и «Конечный URL редиректа» — таким образом, вы сможете узнать, где следует изменить протокол на HTTP.

7.3. Сохранение URL в TXT-файл

Теперь доступна функция выгрузки текущего списка URL в текстовый файл. Попробуйте организовать свою собственную структуру хранения файлов со списками URL, где каждый нужный список будет в отдельном файле, который можно будет легко загрузить как в Netpeak Checker, так и в Netpeak Spider.

7.4. Перепроверка данных

В таблицах «Все результаты» и «Отфильтрованные результаты» появились функции:

• перепроверить ячейки → запускает повторный анализ всех ячеек, которые вы выделили;
• перепроверить строки → повторно анализирует все параметры только у выбранных URL;
• перепроверить столбцы → соответственно, перепроверяет выбранный параметр у всех URL в текущей таблице.

7.5. Улучшенная генерация отчётов

О наших отчётах уже слагают легенды. Вы можете легко прикоснуться к легенде, просто экспортировав любой отчёт:

• Теперь при экспорте таблицы мы делаем так называемый «снимок» — это означает, что в экспортном файле учитываются сортировка, группировка, применение быстрого поиска, изменение порядка и прикрепление столбцов, а также фильтрация.
• При экспорте в формат XLSX мы проработали ситуацию с лимитами самого Microsoft Excel (ограничение составляет 1 048 575 строк) — отныне, если результаты не будут помещаться в один файл, то Netpeak Checker автоматически разобъёт массив данных на несколько файлов и пронумерует их.

Напомню, что выгружать отчёты можно форматах .xlsx (Microsoft Excel) и .csv (comma-separated values).

8. Остальные изменения этого релиза

8.1. Фишки

• Добавлена функция «Рестарт» (клавиша F6) — при нажатии на соответствующую кнопку будут очищены все данные и запустится повторный анализ параметров для всех добавленных URL.
• Мы очень трепетно относимся к сохранности данных, потому теперь при сохранении проект не перезатирается — вместо этого вам будет предложено сохранить отдельный проект с новым названием (сочетание клавиш Ctrl+S). Если у вас нет времени заполнять название проекта, то можете положиться на новую функцию «Быстрое сохранение» (сочетание клавиш Ctrl+Shift+S), которая заполнит название за вас и сохранит проект без лишних вопросов :)
• Мониторинг лимита памяти → реализована проверка объёма свободной оперативной памяти и места на жёстком диске: для надёжной работы программы в обоих случаях должно быть не менее 128 Мбайт. Если лимит обнаружен, то анализ останавливается, и данные остаются в сохранности.
• Теперь при обнаружении редиректа Netpeak Checker переходит по нему и для всех On-Page параметров, которые берутся из исходного кода, проставляет значения конечной страницы, а не начальной (как было ранее). У оригинальной страницы остаются только параметры, получаемые из HTTP-заголовков.
• В контекстное меню добавлен пункт «Открыть URL в сервисе», который позволяет открыть выбранный URL в сервисах Google, Bing, Yahoo, Яндекс, Serpstat, Majestic, Link Explorer (Moz Pro), Ahrefs, Google PageSpeed, Mobile Friendly Test, Кеш Google, Wayback Machine (Web Archive), W3C Validator или во всех сразу (очень весёлая для вашего браузера функция). Также в контекстном меню появился пункт «Открыть robots.txt», который (по случайному совпадению) открывает файл robots.txt в корневой папке выбранного хоста.
• Реализована подсветка ссылок в таблице — теперь вы не запутаетесь, где в ячейках URL, а где обычный текст.
• При клике на любую ячейку таблицы в панели «Информация» будет развёрнута та же таблица с проанализированными параметрами, только вертикально и конкретно для этого URL. Ранее в этой панели показывалось полное содержимое ячейки, что было не всегда оправдано.
• Полностью убрана отдельная плашка с группировкой по сервисам в главной таблице — вместо этого теперь в самом названии столбцов указывается сервис и «цель» (например, URL или Host).
• Наконец мы добавили в интерфейс логотип программы! Мы прекрасно осознаём, что наши пользователи могут путаться в новых похожих интерфейсах Netpeak Spider и Netpeak Checker, потому реализовали как минимум это брендовое отличие. Кстати, при клике на лого вы будете перенаправлены на вкладку «Все результаты» с отменой всех функций, изменяющих данные (сортировка, группировка, быстрый поиск и т.д.) → это своего рода «переход на главную страницу» программы.
• Мультиоконность → теперь есть возможность открыть несколько окон Netpeak Checker прямо из меню «Проект» → «Новое окно» (сочетание клавиш Ctrl+Shift+N) и запустить отдельный анализ для каждого окна.
• Улучшено сохранение позиций всех окон и панелей → если что-то пойдёт не так, вы всегда сможете сбросить их позиции с помощью меню «Интерфейс» → «Сбросить все позиции», «Сбросить позиции окон» или «Сбросить позиции панелей».

8.2. Изменения в параметрах

Недавно Яндекс выпустил обновление, в рамках которого показатель «тИЦ» (тематический индекс цитирования) был заменён на «ИКС» — индекс качества сайта, показывающий, насколько сайт полезен для пользователей с точки зрения Яндекса. Мы хотим быть в тренде, потому добавили этот показатель в Netpeak Checker (даже несмотря на то, что его проверка происходит крайне нестабильно по независящим от нас причинам) — ищите новый показатель в сервисе «Яндекс Вебмастер» на боковой панели программы.

Также были полностью удалены параметры следующих сервисов:

• LinkedIn → API для получения данных по запросу было закрыто;
• Twitter → аналогичная ситуация;
• StumbleUpon → сервис переехал на Mix.com (мы с командой пока что думаем о необходимости интеграции с этим сервисом).

Друзья, если вы знаете, как можно получить данные по запросу (on-demand) из того или иного сервиса, то дайте нам знать! Netpeak Checker является настоящим агрегатором данных, потому нам не составляет труда интегрировать новый сервис, если он совместим с нашим продуктом и у него есть хорошая API-документация ;)

---

II. Важные изменения за последний год

Вынужден признать, что иногда мы были так увлечены релизами новых версий программ, что просто не успевали описывать существенные изменения для наших пользователей. Я постараюсь исправить эту ситуацию и рассказать, что же важного мы внедрили в Netpeak Checker за последний год.

9. Проверка работоспособности прокси

Был разработан отдельный функционал по проверке работоспособности как одного, так и целого списка прокси прямо в настройках программы. Вы можете загрузить свой список и проверить прокси на доступность к одному из преднастроенных сервисов:

• доступ к сети Интернет → эта базовая проверка показывает, жив ли ещё пациент в принципе;
• Google → одно из самых распространённых направлений использования списка прокси, потому рекомендую проверку именно через этот сервис;
• Bing;
• Yahoo;
• Яндекс.

Кроме проверки работоспособности вы сможете также узнать код ответа, время ответа и страну, к которой относится соответствующий прокси-сервер.

10. Отображение лимитов и баланса

В настройках программы на соответствующих вкладках теперь отображаются оставшиеся лимиты для доступа к платным сервисам:

• Serpstat → показывает, сколько уже было использовано API строк и сколько всего доступно в текущем периоде;
• Ahrefs → аналогично, показывает количество уже использованных и доступных API строк, а также тип подписки;
• Majestic → показывает оставшиеся лимиты по разным типам юнитов: Retrieval Units, Analysis Units и Index Item Units;
• SEMrush → показывает упрощённый API баланс.

Также не остался без внимания сервис по авторазгадыванию капчи anti-captcha.com — введите ключ своей учётной записи и сможете просматривать баланс прямо в настройках программы. Для бесперебойной работы функции по разгадыванию капчи советую иногда заглядывать сюда, чтобы вовремя пополнять баланс.

11. Анализируемые параметры

Были реализованы новые параметры:

• On-Page параметр «Язык» → определяет язык целевой страницы в формате ISO 639-1. Алгоритм определения языка основан на использовании N-грамм и работает более качественно на объёмных текстах.
• Host параметры Яндекс SERP → «Проиндексированные URL» (количество страниц сайта, проиндексированных поисковой системой Яндекс), «Индексация» (проиндексирован ли целевой хост Яндексом) и «Адрес» (физический адрес организации, который показывается в сниппете на странице результатов поиска Яндекс).

Также хочу напомнить о полезных параметрах, которые спрятаны под пунктом On-Page и которых пока что нет в Netpeak Spider — подробнее о них вы можете прочитать в статье «Netpeak Checker 2.1.1: On-Page параметры»:

• Email-адреса → список уникальных email-адресов, найденных на целевой странице;
• Социальные сети → количество уникальных ссылок на социальные сети (Facebook, Twitter, LinkedIn, Google+, YouTube, Instagram, Pinterest), а также перечень самих ссылок;
• Hreflang → количество соответствующих тегов <link>, а также значения этих атрибутов в алфавитном порядке.

Обратите внимание, что теперь при экспортировании таблицы в формат XLSX вы сможете просматривать подсказки с описанием каждого параметра в названии столбцов.

12. Специальные статус-коды

Были реализованы новые уникальные обозначения для самых распространённых ситуаций со статус-кодами (Status Code, код ответа сервера) — теперь мы выводим их через символ &:

• Disallowed → данный URL заблокирован в файле robots.txt;
• Canonicalized → данный URL содержит тег Canonical, указывающий на другой URL (обратите внимание, что если на странице присутствует Canonical, указывающий сам на себя, то такого обозначения не будет);
• Refresh Redirected → данный URL содержит тег Refresh (в HTTP-заголовках ответа сервера или Meta Refresh в блоке <head>), указывающий на другой URL (работает аналогично Canonical, то есть не показывается, если Refresh указан сам на себя);
• Noindex / Nofollow → данный URL содержит инструкции, запрещающие индексацию и/или переход по ссылкам соответственно (сами инструкции могут быть расположены в HTTP-заголовках ответа сервера или в блоке <head>).

Таким образом, если страница возвращает 200 код ответа сервера и при этом запрещена к индексации в файле robots.txt, то теперь в столбце «Код ответа сервера» вы увидите «200 OK & Disallowed»:

13. Удобство и другие улучшения

• По многочисленным просьбам наших пользователей, мы сделали так, чтобы для установки, обновления и запуска программ Netpeak Software больше не требовались права администратора.
• Добавлена возможность настройки User Agent и использования базовой аутентификации для анализа On-Page параметров.
• Существенно улучшен алгоритм добавления списка URL вручную → теперь программа распознаёт URL с путём, но без протокола (например, [example.com/category]); также определяет несколько URL в одной строке (в этом случае всем URL кроме первого необходим протокол); реализована поддержка экранирования #! для Ajax.
• Появилась возможность ручного и автоматического (при помощи anti-captcha.com) разгадывания Google reCAPTCHA.

---

III. Зачем нужен Netpeak Checker

Наши пользователи достаточно часто задаются вопросом, зачем нужен Netpeak Checker, и намного реже — зачем нужен наш второй продукт, Netpeak Spider. Мне кажется, что основная причина в том, что Netpeak Checker является мультифункциональным инструментом с огромным количеством вариантов использования, в которых легко запутаться. И, поверьте, с релизом версии 3.0 перечень вариантов только увеличится :)

Чтобы облегчить понимание этого продукта, мы подготовили примерный портрет нашей целевой аудитории, а также примеры задач, которые можно выполнить с помощью программы.

Кому полезен Netpeak Checker

1Линкбилдеры.

2SEO-специалисты и вебмастера.

3Маркетинг и контент-команды.

4Блогеры.

5Sales-команды.

6PPC-специалисты.

Если вы не нашли себя в этом списке, то, пожалуйста, прочитайте примеры задач ниже — может быть, мы просто не знаем, как охарактеризовать вашу профессию!

Примеры задач

В таблице возле каждого пункта мы отметим, для кого он может быть полезен:

Зарегистрируйтесь, если вы ещё не с нами

Чтобы начать пользоваться бесплатным Netpeak Checker, просто зарегистрируйтесь, скачайте и установите программу — и вперёд!

Зарегистрироваться

IV. Коротко о главном

Netpeak Checker в версии 3.0 стал более быстрым, надёжным, эффективным и полезным для решения самых интересных и сложных задач в сфере интернет-маркетинга. Прежде всего он может пригодиться линкбилдерам, SEO и PPC-специалистам, вебмастерам, маркетинг и контент-командам, блогерам и Sales-менеджерам.

Вот список самых важных улучшений этого обновления и релизов за последний год:

• Инструмент «Парсер ПС»;
• Настройки «Поисковые системы» (Google, Bing, Yahoo, Яндекс);
• Антибан-алгоритм для прокси;
• Кастомные шаблоны параметров и фильтров;
• Функция «Фильтровать по значению»;
• Быстрый поиск по таблице;
• Уменьшение потребления оперативной памяти в 2 раза;
• Быстрый переход к выбранному параметру в таблице;
• Перепроверка ячеек, строк или столбцов;
• Улучшенный экспорт;
• Новый показатель ИКС из сервиса Яндекс.Вебмастер;
• Функция проверки работоспособности прокси;
• Отображение лимитов и баланса платных сервисов;
• Специальные статус-коды;
• On-Page параметры: язык, email-адреса, социальные сети и hreflang;
• А также масса других улучшений…

Также в разработке находится major-релиз Netpeak Spider 4.0, который позволит покрыть чуть ли не все основные запросы наших пользователей, которые мы получали за последние два года. Но перед этим мы планируем выпустить несколько небольших патчей, посвящённых ошибкам, которые помогает обнаруживать программа, и улучшению юзабилити.

Как обычно, ждём от вас комментарии и фидбек — после такого количества изменений нам это необходимо как никогда! ;)