Алексей Нижегородский
- Комментарии (2)
- Посты
Сортировка:
сначала старые
- сначала старые
- сначала новые
Этот пользователь не опубликовал ещё ни одного поста. Мы помогаем изо всех сил — теперь дело за автором!
Алексей Нижегородский
9 июля 2018
Здравствуйте. Начал знакомиться с новой версией Спайдера (до этого работал с версиями 1 и 2). Обратил внимание на новый рассчет PR и особенно на ошибку "висячий узел". Внимательно почитал эту статью и комментарии. Обратил внимание вот на такую вещь: на моем сайте есть страница /bronirovanie она генерирует еще ряд страниц, которые закрыты от индексации в роботсе директивами: Disallow: /bronirovanie* Allow: /bronirovanie$ таким образом сама страница /bronirovanie остается доступной роботам и индексируется, однако Spider определяет, что страница /bronirovanie является "висячим узлом" и закрыта через роботс: https://i.imgur.com/AznInXL.png Пробовал менять user agent в программе - результат одинаковый. Не пойму, в чем может быть ошибка, если фактически страница прекрасно индексируется?
Алексей Нижегородский
9 июля 2018
Oleksii Podlipnyi
9 июля 2018
Здравствуйте, Алексей! Данное разночтение происходит из-за разной логики обработки директив robots.txt. В нашем случае, происходит учёт первого условия, если несколько директив одновременно удовлетворяют URL. В вашем случае, можно получить требуемые результаты воспользовавшись функцией «Виртуальный robots.txt», где нужно продублировать контент вашего текущего файла, но поменять данные две директивы местами. Также дополню, что мы уже работаем над изменением логики обработки инструкций robots.txt и в одном из следующих обновлений данная доработка будет внедрена. Если у вас возникнут дополнительные вопросы — напишите в чат техподдержки на нашем сайте, мы будем рады помочь!
Спасибо за оперативный и исчерпывающий ответ. Действительно, если в виртуальном роботсе поменять директивы местами - проблема исчезает.
Нравится комментарий?
Чтобы поставить комментарию отметку «Нравится», пожалуйста, зарегистрируйтесь (в этом случае вы получите массу плюшек от Netpeak Software) или войдите в свой аккаунт.
Хотите ответить на комментарий?
Чтобы ответить на комментарий к посту, пожалуйста, зарегистрируйтесь (в этом случае вы получите массу плюшек от Netpeak Software) или войдите в свой аккаунт.