Netpeak Checker 3.1: обновления в работе с CAPTCHA

Коллеги, хочу представить вашему вниманию обновление Netpeak Checker, которое мы прозвали «антикапчевым» — читайте далее, чтобы узнать почему! Кстати, с этого релиза мы вводим простую систему нумерации (версионирования) обновлений:

• Major release (4.0, 5.0...) → глобальное изменение функционала, скорее всего влекущее за собой изменение интерфейса;
• Minor release (3.1, 3.2...) → улучшение текущего функционала, небольшие изменения в инструментах и логике программы;
• Patch (3.1.1, 3.1.2...) → исправление багов и мелкие косметические изменения.

1. Работа с антикапчей
2. Синхронизация таблицы с параметрами
3. Новые базы Serpstat
4. Остальные изменения
5. Коротко о главном

Смотрите детальный видеообзор новой версии в посте «Netpeak Checker 3.1: разгадать капчу? Проще простого».

1. Работа с антикапчей

1.1. Что такое антикапча?

Под «антикапчей» мы имеем в виду функцию автоматического разгадывания капчи, которая позволяет добиться более быстрого и надёжного парсинга выдачи поисковых систем, особенно в связке со списком прокси.

В Netpeak Checker функция используется для работы с параметрами Google SERP, Яндекс SERP и Яндекс.Вебмастер, а также в рамках инструмента «Парсер ПС» (аналогично, для анализа выдачи Google или Яндекса). При получении капчи от поисковой системы программа отправляет запрос в специальный сервис по API, который возвращает правильно разгаданную капчу, за что снимает небольшую плату (начиная примерно от $0,5 за 1000 разгадываний).

1.2. Изменения в программе

Ранее мы были интегрированы только с одним сервисом (Anti-Captcha), однако теперь мы добавили новые сервисы и реализовали платформу для новых интеграций, если такие понадобятся в будущем. Итак, давайте перечислю, какие интеграции по авторазгадыванию капчи теперь у нас есть:

• 2Captcha → один из самых крупных игроков на мировом рынке антикапча-сервисов;
• Anti-Captcha → старая надёжная система, которой мы пользуемся сами;
• RuCaptcha → младший брат первого сервиса, ориентированный на рынок СНГ;
• CapMonster → это отдельная программа, предназначенная для распознавания капч, которая обычно устанавливается на выделенный сервер.

Для использования функции авторазгадывания капчи вам необходимо ввести специальный ключ из аккаунта в соответствующем сервисе (для программы CapMonster — IP-адрес и порт) и иметь в нём положительный баланс, который мы показываем прямо в настройках Netpeak Checker.

А теперь фишка, которую я ещё ни у кого не встречал: у вас есть возможность пользоваться всеми вышеуказанными сервисами одновременно — при подключении нескольких сервисов они будут работать поочерёдно. Ну а для прекращения работы с сервисом необходимо просто удалить данные из соответствующего поля.

1.3. Особенности и преимущества

• Если вы хотите использовать только один сервис, то для вас ничего не изменилось — абсолютно все обращения на авторазгадывание капчи будут идти именно к этому сервису.
• Если вы настроите 2+ сервиса одновременно, то они будут работать в постоянной ротации.
• Разные сервисы работают с разным uptime, то есть в определённый момент времени один сервис может работать, а другой — нет. В этом случае вы диверсифицируете свои ресурсы, если используете одновременно несколько сервисов, и ваши проверки от этого не пострадают.
• Если антикапча-сервис вернул ошибку, то мы покажем её и ссылку на расшифровку в настройках программы на вкладке «Капча», потому советую почаще туда заглядывать.
• Напомню, что при парсинге выдачи поисковых систем мы настоятельно рекомендуем использовать антикапчу в связке со списком прокси, ведь новый алгоритм работы позволяет намного быстрее снимать блокировку с ваших прокси.
• Обратите внимание, что мы одними из первых реализовали высокую степень надёжности анализа параметров в программе. Представьте, что вам необходимо проверить большое количество URL, вы оставляете компьютер на ночь, и без вашего ведома отключается интернет. В таком случае программа не останавливает анализ, а пробует подключиться каждые 30 секунд снова и снова. Аналогично со списком прокси и антикапча-сервисами — если не удаётся подключиться или разгадать капчу, то «виновник» уходит во временный бан, потому всегда полезно иметь несколько прокси и несколько подключённых антикапча-сервисов про запас.

2. Синхронизация таблицы с параметрами

В этом релизе мы добавили важную кнопку, которая позволяет отметить необходимые вам параметры на боковой панели и синхронизировать таблицу с этими параметрами:

Рассмотрим простой кейс — вы проанализировали 1 миллион URL по таким параметрам:

• On-Page: Код ответа сервера,
• On-Page: Title,
• Alexa: Global Rank,
• Google SERP: Индексация URL,
• Whois: Доступность,
• Facebook: Shares.

Однако для экспорта отчёта вам нужны только URL и соответствующий ему тег Title. Теперь вы можете отключить на боковой панели все лишние параметры, нажать на кнопку «Синхронизировать таблицу с выбранными параметрами» и сделать нужную выгрузку. Обратите внимание, мы не удаляем данные скрытых столбцов — попробуйте отключить или включить какой-нибудь параметр и убедитесь в этом сами ;)

Напомню, что на боковой панели вы можете:

• выбрать преднастроенные шаблоны параметров (все бесплатные, параметры для линкбилдинга или поиска дропов);
• создать свой шаблон для последующей работы;
• воспользоваться быстрым поиском по параметрам (вы даже можете ввести «фейсбук» — программа вас поймёт. Пример локализированного запроса для сервиса Whois сами додумайте ;)

Новая кнопка отлично работает именно в комбинации с этими функциями!

3. Новые базы Serpstat

Ребята из Serpstat запаслись консервами, питьевой водой и тёплыми вещами, закрылись в бункере и теперь выпускают по 5-7 новых баз в неделю. Где это видано?!

Если серьёзно, то мы еле за ними поспеваем. В рамках этого релиза мы добавили в Netpeak Checker такие базы:

• Турция,
• Швеция,
• Австрия,
• Бельгия,
• Финляндия,
• Польша,
• Ирландия,
• Сингапур,
• Чехия,
• Венгрия,
• Норвегия,
• Португалия,
• Швейцария.

Если у вас слишком много лимитов к их API и не хватает какой-то базы, пишите в нашу службу поддержки — мы вас сориентируем по срокам, когда у нас появится эта база в программе.

4. Остальные изменения

1. Исправили определение параметра «ИКС» из сервиса Яндекс.Вебмастер и нечаянно ускорили работу со всеми параметрами Яндекса примерно в 2-3 раза — это касается также и парсинга выдачи этой поисковой системы.
2. Уменьшили вероятность появления капчи при работе с Яндексом в несколько раз — теперь вы будете тратить намного меньше средств на антикапчу.
3. Добавили в боковую панель кнопку «Снять отметки со всех параметров» — очень удобно, когда вам нужно начать всё с чистого листа.
4. Убрали подчёркивание ссылок в таблицах программы и экспортируемых отчётах — дело в том, что при таком выделении совсем не видно пробелов и нижних подчёркиваний, которые присутствуют в самом URL (например, https://example.com/under_line).

5. Коротко о главном

В Netpeak Checker 3.1 мы реализовали:

• несколько новых интеграций с сервисами авторазгадывания капчи, а также уникальную возможность одновременной работы с ними — 2Captcha, Anti-Captcha, RuCaptcha и программой CapMonster;
• кнопку, которая позволяет отметить необходимые вам параметры на боковой панели и синхронизировать таблицу с этими параметрами — удобно для выгрузки отчётов и фокусировки внимания на определённых результатах;
• поддержку 13 новых баз Serpstat — они их очень быстро добавляют;
• фикс определения параметра «ИКС»;
• ускорение работы с параметрами Яндекса примерно в 2-3 раза;
• кнопку «Снять отметки со всех параметров»;
• откат на версию без подчёркивания ссылок в таблицах программы и экспортируемых отчётах.

Друзья, пока мы готовим следующий minor-релиз Netpeak Spider 3.1, пишите в комментариях, что бы вы ещё хотели видеть в Netpeak Checker для максимально комфортной работы! ;)

Понравилось обновление? Давайте лично обсудим все детали и преимущества Netpeak Checker