ВходящиеВходящие
ВажныеВажные
ВидеоВидео
Категории
ОбновленияОбновления
МануалыМануалы
КейсыКейсы
ПодборкиПодборки
От экспертовОт экспертов
НовостиНовости
ТестыТесты
Входящие
Важные
Видео
Алексей Нижегородский

Алексей Нижегородский

  • Комментарии (3)
  • Посты
Сортировка:
Этот пользователь не опубликовал ещё ни одного поста. Мы помогаем изо всех сил — теперь дело за автором!
Здравствуйте. Начал знакомиться с новой версией Спайдера (до этого работал с версиями 1 и 2). Обратил внимание на новый рассчет PR и особенно на ошибку "висячий узел". Внимательно почитал эту статью и комментарии.

Обратил внимание вот на такую вещь: на моем сайте есть страница /bronirovanie она генерирует еще ряд страниц, которые закрыты от индексации в роботсе директивами:
Disallow: /bronirovanie*
Allow: /bronirovanie$

таким образом сама страница /bronirovanie остается доступной роботам и индексируется, однако Spider определяет, что страница /bronirovanie является "висячим узлом" и закрыта через роботс: https://i.imgur.com/AznInXL.png
Пробовал менять user agent в программе - результат одинаковый. 

Не пойму, в чем может быть ошибка, если фактически страница прекрасно индексируется?
Нельзя лайкать самого себя
Нравится
Ответить
Поделиться
Скопировано
Alexey Podlipny
9 июля 2018
Здравствуйте, Алексей!

Данное разночтение происходит из-за разной логики обработки директив robots.txt.

В нашем случае, происходит учёт первого условия, если несколько директив одновременно удовлетворяют URL. В вашем случае, можно получить требуемые результаты воспользовавшись функцией «Виртуальный robots.txt», где нужно продублировать контент вашего текущего файла, но поменять данные две директивы местами.

Также дополню, что мы уже работаем над изменением логики обработки инструкций robots.txt и в одном из следующих обновлений данная доработка будет внедрена.

Если у вас возникнут дополнительные вопросы — напишите в чат техподдержки на нашем сайте, мы будем рады помочь!
Спасибо за оперативный и исчерпывающий ответ. Действительно, если в виртуальном роботсе поменять директивы местами - проблема исчезает.
Нельзя лайкать самого себя
2Нравится
Ответить
Поделиться
Скопировано
Dmitro Grunt
3 мая 2018
Эти «бесплатные» способы намного дороже обычных платных. Про бесплатные статьи вобще насмешили, много вы в своих проектах получали бесплатные публикации в сми для комерческих тем? ))
Получить бесплатные ссылки с сайтов СМИ через presfeed не составляет особого труда.
Нельзя лайкать самого себя
1Нравится
Ответить
Поделиться
Скопировано