Алексей Нижегородский: Профиль

9 июля 2018

Здравствуйте. Начал знакомиться с новой версией Спайдера (до этого работал с версиями 1 и 2). Обратил внимание на новый рассчет PR и особенно на ошибку "висячий узел". Внимательно почитал эту статью и комментарии.

Обратил внимание вот на такую вещь: на моем сайте есть страница /bronirovanie она генерирует еще ряд страниц, которые закрыты от индексации в роботсе директивами:
Disallow: /bronirovanie*
Allow: /bronirovanie$

таким образом сама страница /bronirovanie остается доступной роботам и индексируется, однако Spider определяет, что страница /bronirovanie является "висячим узлом" и закрыта через роботс: https://i.imgur.com/AznInXL.png
Пробовал менять user agent в программе - результат одинаковый. 

Не пойму, в чем может быть ошибка, если фактически страница прекрасно индексируется?

Нельзя лайкать самого себя

Нравится

Ответить

Открыть

Алексей Нижегородский

9 июля 2018

Oleksii Podlipnyi

9 июля 2018

Здравствуйте, Алексей!

Данное разночтение происходит из-за разной логики обработки директив robots.txt.

В нашем случае, происходит учёт первого условия, если несколько директив одновременно удовлетворяют URL. В вашем случае, можно получить требуемые результаты воспользовавшись функцией «Виртуальный robots.txt», где нужно продублировать контент вашего текущего файла, но поменять данные две директивы местами.

Также дополню, что мы уже работаем над изменением логики обработки инструкций robots.txt и в одном из следующих обновлений данная доработка будет внедрена.

Если у вас возникнут дополнительные вопросы — напишите в чат техподдержки на нашем сайте, мы будем рады помочь!

Спасибо за оперативный и исчерпывающий ответ. Действительно, если в виртуальном роботсе поменять директивы местами - проблема исчезает.

Нельзя лайкать самого себя

2Нравится

Ответить

Открыть

Алексей Нижегородский

17 июля 2018

Dmitro Grunt

3 мая 2018

Эти «бесплатные» способы намного дороже обычных платных. Про бесплатные статьи вобще насмешили, много вы в своих проектах получали бесплатные публикации в сми для комерческих тем? ))

Получить бесплатные ссылки с сайтов СМИ через presfeed не составляет особого труда.

Нельзя лайкать самого себя

1Нравится

Ответить

Открыть