Netpeak Checker 3.1: обновления в работе с CAPTCHA

19
4
19
4
Netpeak Checker 3.1: обновления в работе с CAPTCHA
Updates

Коллеги, хочу представить вашему вниманию обновление Netpeak Checker, которое мы прозвали «антикапчевым» — читайте далее, чтобы узнать почему! Кстати, с этого релиза мы вводим простую систему нумерации (версионирования) обновлений:

  • Major release (4.0, 5.0...) → глобальное изменение функционала, скорее всего влекущее за собой изменение интерфейса;
  • Minor release (3.1, 3.2...) → улучшение текущего функционала, небольшие изменения в инструментах и логике программы;
  • Patch (3.1.1, 3.1.2...) → исправление багов и мелкие косметические изменения.

  1. Работа с антикапчей
  2. Синхронизация таблицы с параметрами
  3. Новые базы Serpstat
  4. Остальные изменения
  5. Коротко о главном

1. Работа с антикапчей

1.1. Что такое антикапча?

Под «антикапчей» мы имеем в виду функцию автоматического разгадывания капчи, которая позволяет добиться более быстрого и надёжного парсинга выдачи поисковых систем, особенно в связке со списком прокси.

В Netpeak Checker функция используется для работы с параметрами Google SERP, Яндекс SERP и Яндекс.Вебмастер, а также в рамках инструмента «Парсер ПС» (аналогично, для анализа выдачи Google или Яндекса). При получении капчи от поисковой системы программа отправляет запрос в специальный сервис по API, который возвращает правильно разгаданную капчу, за что снимает небольшую плату (начиная примерно от $0,5 за 1000 разгадываний).

1.2. Изменения в программе

Ранее мы были интегрированы только с одним сервисом (Anti-Captcha), однако теперь мы добавили новые сервисы и реализовали платформу для новых интеграций, если такие понадобятся в будущем. Итак, давайте перечислю, какие интеграции по авторазгадыванию капчи теперь у нас есть:

  • 2Captcha → один из самых крупных игроков на мировом рынке антикапча-сервисов;
  • Anti-Captcha → старая надёжная система, которой мы пользуемся сами;
  • RuCaptcha → младший брат первого сервиса, ориентированный на рынок СНГ;
  • CapMonster → это отдельная программа, предназначенная для распознавания капч, которая обычно устанавливается на выделенный сервер.

Для использования функции авторазгадывания капчи вам необходимо ввести специальный ключ из аккаунта в соответствующем сервисе (для программы CapMonster — IP-адрес и порт) и иметь в нём положительный баланс, который мы показываем прямо в настройках Netpeak Checker.

А теперь фишка, которую я ещё ни у кого не встречал: у вас есть возможность пользоваться всеми вышеуказанными сервисами одновременно — при подключении нескольких сервисов они будут работать поочерёдно. Ну а для прекращения работы с сервисом необходимо просто удалить данные из соответствующего поля.

Netpeak Checker 3.1: настройки сервисов CAPTCHA

1.3. Особенности и преимущества

  • Если вы хотите использовать только один сервис, то для вас ничего не изменилось — абсолютно все обращения на авторазгадывание капчи будут идти именно к этому сервису.
  • Если вы настроите 2+ сервиса одновременно, то они будут работать в постоянной ротации.
  • Разные сервисы работают с разным uptime, то есть в определённый момент времени один сервис может работать, а другой — нет. В этом случае вы диверсифицируете свои ресурсы, если используете одновременно несколько сервисов, и ваши проверки от этого не пострадают.
  • Если антикапча-сервис вернул ошибку, то мы покажем её и ссылку на расшифровку в настройках программы на вкладке «Капча», потому советую почаще туда заглядывать.
  • Напомню, что при парсинге выдачи поисковых систем мы настоятельно рекомендуем использовать антикапчу в связке со списком прокси, ведь новый алгоритм работы позволяет намного быстрее снимать блокировку с ваших прокси.
  • Обратите внимание, что мы одними из первых реализовали высокую степень надёжности анализа параметров в программе. Представьте, что вам необходимо проверить большое количество URL, вы оставляете компьютер на ночь, и без вашего ведома отключается интернет. В таком случае программа не останавливает анализ, а пробует подключиться каждые 30 секунд снова и снова. Аналогично со списком прокси и антикапча-сервисами — если не удаётся подключиться или разгадать капчу, то «виновник» уходит во временный бан, потому всегда полезно иметь несколько прокси и несколько подключённых антикапча-сервисов про запас.

2. Синхронизация таблицы с параметрами

В этом релизе мы добавили важную кнопку, которая позволяет отметить необходимые вам параметры на боковой панели и синхронизировать таблицу с этими параметрами:

Netpeak Checker 3.1: новая кнопка для синхронизации таблицы с выбранными параметрами

Рассмотрим простой кейс — вы проанализировали 1 миллион URL по таким параметрам:

  • On-Page: Код ответа сервера,
  • On-Page: Title,
  • Alexa: Global Rank,
  • Google SERP: Индексация URL,
  • Whois: Доступность,
  • Facebook: Shares.

Однако для экспорта отчёта вам нужны только URL и соответствующий ему тег Title. Теперь вы можете отключить на боковой панели все лишние параметры, нажать на кнопку «Синхронизировать таблицу с выбранными параметрами» и сделать нужную выгрузку. Обратите внимание, мы не удаляем данные скрытых столбцов — попробуйте отключить или включить какой-нибудь параметр и убедитесь в этом сами ;)

Напомню, что на боковой панели вы можете:

  • выбрать преднастроенные шаблоны параметров (все бесплатные, параметры для линкбилдинга или поиска дропов);
  • создать свой шаблон для последующей работы;
  • воспользоваться быстрым поиском по параметрам (вы даже можете ввести «фейсбук» — программа вас поймёт. Пример локализированного запроса для сервиса Whois сами додумайте ;)

Новая кнопка отлично работает именно в комбинации с этими функциями!

3. Новые базы Serpstat

Ребята из Serpstat запаслись консервами, питьевой водой и тёплыми вещами, закрылись в бункере и теперь выпускают по 5-7 новых баз в неделю. Где это видано?!

Если серьёзно, то мы еле за ними поспеваем. В рамках этого релиза мы добавили в Netpeak Checker такие базы:

  • Турция,
  • Швеция,
  • Австрия,
  • Бельгия,
  • Финляндия,
  • Польша,
  • Ирландия,
  • Сингапур,
  • Чехия,
  • Венгрия,
  • Норвегия,
  • Португалия,
  • Швейцария.

Если у вас слишком много лимитов к их API и не хватает какой-то базы, пишите в нашу службу поддержки — мы вас сориентируем по срокам, когда у нас появится эта база в программе.

4. Остальные изменения

  1. Исправили определение параметра «ИКС» из сервиса Яндекс.Вебмастер и нечаянно ускорили работу со всеми параметрами Яндекса примерно в 2-3 раза — это касается также и парсинга выдачи этой поисковой системы.
  2. Уменьшили вероятность появления капчи при работе с Яндексом в несколько раз — теперь вы будете тратить намного меньше средств на антикапчу.
  3. Добавили в боковую панель кнопку «Снять отметки со всех параметров» — очень удобно, когда вам нужно начать всё с чистого листа.
  4. Убрали подчёркивание ссылок в таблицах программы и экспортируемых отчётах — дело в том, что при таком выделении совсем не видно пробелов и нижних подчёркиваний, которые присутствуют в самом URL (например, https://example.com/under_line).

5. Коротко о главном

В Netpeak Checker 3.1 мы реализовали:

  • несколько новых интеграций с сервисами авторазгадывания капчи, а также уникальную возможность одновременной работы с ними — 2Captcha, Anti-Captcha, RuCaptcha и программой CapMonster;
  • кнопку, которая позволяет отметить необходимые вам параметры на боковой панели и синхронизировать таблицу с этими параметрами — удобно для выгрузки отчётов и фокусировки внимания на определённых результатах;
  • поддержку 13 новых баз Serpstat — они их очень быстро добавляют;
  • фикс определения параметра «ИКС»;
  • ускорение работы с параметрами Яндекса примерно в 2-3 раза;
  • кнопку «Снять отметки со всех параметров»;
  • откат на версию без подчёркивания ссылок в таблицах программы и экспортируемых отчётах.

Друзья, пока мы готовим следующий minor-релиз Netpeak Spider 3.1, пишите в комментариях, что бы вы ещё хотели видеть в Netpeak Checker для максимально комфортной работы! ;)

Read this post inEnglish