Kosta Bankovski

Привет!) У нас есть 3 вида ошибок по критичности, PageRank: перенаправление относится к ошибкам средней критичности или «предупреждения». Вам нужно обратить внимание на эту ошибку, если вы находите ссылки на старые страницы, с которых настроено перенаправление, внутри вашего сайта (с http на https, например), следуя всем инструкциям индексации, так как это по меньшей мере расходование краулингового бюджета.Вы можете связаться с нами также через чат на нашем сайте или почту [email protected], если у вас ещё остались вопросы ;)

Здравствуйте, Владимир!)

Вы закрыли их от индексации, но это не решение проблемы, это уход от неё.

Мы советуем создать уникальный контент для каждого интернет-магазина и открыть эти страницы для индексации поисковыми системами. SEO является оптимизацией для поисковых систем, которая давно включает в себя и контентную оптимизацию.

Насчёт ошибки «Висячий узел»: мы показываем её в вашем случае, так как инструкции индексации указывают именно на это. С этой страницы для поискового бота нет исходящих ссылок, что является как раз «висячим узлом».

Скажите, пожалуйста, есть ли у вас ещё вопросы?

Здравствуйте, Валерий!)

Спасибо вам большое за приятные слова, нам очень приятно слышать, что вы доверяете нашим инструментам.

Давайте по очереди отвечу на ваши вопросы.

1. Ошибка «Висячий узел» всегда имеет высокую критичность. Независимо от причины её появления.
2. В вашем случае страницы для скачивания файлов правильно закрыты, а на страницах пагинации лучше поставить только "noindex". Запрещать поисковым роботам переходить на страницы скачивания тоже можно таким же способом — "noindex". 

Скажите, пожалуйста, есть ли у вас ещё вопросы?

Вот это шок-контент подоспел на блог!) Говорят, что ещё wiki можно разных локалей парсить Netpeak Spider'ом, чтобы находить там дропчики 

Привет, Максим! Спасибо за твой комментарий. Я действительно взял только самые популярные коды, чтобы сделать максимально полезно и понятно для каждого человека, который читает наш блог ;) Кстати, а ты нашёл что-то новое в статье? Может информация о 304 коде или возможности контекстного меню для таблицы в Netpeak Spider?

Спасибо за позитивный отзыв!

Дальше будет ещё круче, так что следите за обновлениями ;)

Я свой голос отдаю всегда за комплексный подход, когда SEO-специалист учитывает все 3 направления (ссылки, контент и техничка). Не люблю недооценивать какое-либо из них, потому что от ниши к нише всё меняется, нет единой таблетки для всех. Да и поисковые системы регулярно выпускают обновления алгоритмов, которые то повышают, то понижают значимость конкретного фактора в общей картине.

Насчёт сервисов, которые помогают работать с сайтами, полностью согласен, их огромное количество, мы одни из них ;) Я в своей статье хотел показать, что некоторые задачи можно сделать самому, используя минимум ресурсов ;)

Спасибо за ваш комментарий, мне приятно, что вам было интересно!

Полностью согласен, а если даты в тексте на странице нет, то не забыть про заголовок Last-Modified, если он автоматически не обновляется. Кстати, Михаил Шакин делал небольшой эксперимент на эту тему: http://shakin.ru/seo/publication-date.html

Он это тестировал ещё давно, но говорят, что до сих пор актуально ;)

Приятно, что вы позитивно отозвались о моей статье, спасибо! Дальше будет ещё много полезного ;)

С удовольствием делюсь материалами, которые мы готовили по этой теме :)

1. Видео моего вебинара (временная метка сразу на нужном месте):
https://www.youtube.com/watch?v=8TFEKwKE5d8&t=1225s
2. Конспект этого вебинара:
https://webpromoexperts.net/blog/parsing-kakie-marketingovye-zadaci-on-resaet/
3. Огромная подборка кейсов по парсингу с использованием Netpeak Spider:
https://www.seonews.ru/analytics/75-tipov-dannykh-kotorye-mozhno-sparsit-v-netpeak-spider-i-netpeak-checker/

Спасибо за комментарий, Сергей!

1. Если таких статей десятки, они неактуальные или не приносят никакой пользы для целевой аудитории больше, посмотрите на запросы из Search Console, по которым показывались эти страницы, если там нерелевантные запросы, или их вовсе нет, то они могут принести только негативный эффект (плохие поведенческие факторы или расходование краулингового бюджета, если это большой проект и таких статей много).

2. Если они не приносят трафик уже долгий период времени, то с ними что-то не так. Я не советую плодить тематические материалы, если они некачественные. Google тоже не просто так не ведёт на них трафик)

Ну и всё таки я советую удалять только в действительно крайних случаях:

1. Когда их нет смысла актуализировать. Например, любые статьи-мануалы по Google+. Они не станут актуальными, так как социальная сеть уже закрыта.

2. Если они получали очень низкий, практически нулевой трафик и их тематика не соответствует запросам вашей ЦА. Ведь это идёт в разрез тематике сайта. Если ваша ЦА это SEO-специалисты, будет ли полезно для мнимой «экспертности» сайта поддерживать наличие статей о фишках оффлайн-рекламе (креативные листовки или ситилайты), если она за полгода набрала 50 просмотров? Я сомневаюсь.

Ну а насчёт вашего мнения, что удаление это последнее дело, да, действительно, последнее, до этого есть столько нюансов поисковой оптимизации, что можно занять себе на год вперёд ????

Я не думаю, что кто-то прописал такое требование, потому что думал, что это и так понятно)

Можете, пожалуйста, подсказать случай, когда на полезной для пользователя страницы может не быть хотя бы одной ссылки?

Если это полезная статья, точно будут какие-то отсылки к источникам данных для утверждений в ней.

Если это товар, точно будет хотя бы ссылка на покупку.

Единственный случай, когда я могу себе это представить, это лендинг, где есть только контактные данные или форма обратной связи. Но тут не об этом речь, для таких случаев не нужен расчёт внутреннего PageRank.

Потому подскажите, пожалуйста, а когда логично и полезно для пользователя не ставить ни одной ссылки на странице?

Да, звучит нормально, но не весь получается 1.4, а только извлечение хостов из полных URL.

Я показывал на примере Google таблиц, там есть ограничение в 5 миллионов ячеек, мог в него упереться, потому делал немного иначе, но и ваш вариант рабочий :)

Дааа, насчёт тематики правда. Я правда думал над идеей, чтобы по API отдавать архивную копию главной страницы в Google NLP, получать главные сущности оттуда, но это лишь идея, не доходил до практической проверки.

Ну а насчёт того, что меньше дропов в сети, ну да, всё потихоньку уходит в «старые» способы, что тут скажешь)

Отсекаются все, где есть «.ua». Следовательно все «gov.ua», «com.ua», «edu.ua», тоже уходят. Если хотите оставить какой-то определённый, например «com.ua», можно сделать ещё один столбец, в котором только по нему проверять. Тогда нужно будет удалить все, где первая регулярка (edu|.gov|.mil|.ua|.jp|.cn|.xxx) показала TRUE, а вторая(.com.ua) FALSE.

Ну и аналогично для всех подобных случаев, если надо что-то оставить, нужно проверить конкретное условие. Хоть и можно городить сложнее регулярку, но зачем?)

Можно и не отсекать весь .ua, это пример регулярного выражения.

Регистрация доменного имени в некоторых специализированных зонах требует дополнительных документов, потому просто стоит не забывать об этом + это пример того, как фильтровать по такому признаку.

Не такой уж и большой этот интернет оказывается =)

Спасибо за внимательность! Вы правы, я не учёл этот момент, исправил в статье =)

Добрый день, Алексей!)

Спасибо за ваш комментарий! Давайте я тоже пошагово отвечу на ваш комментарий:

1. Речь в моём посте идёт конкретно про дооптимизацию ПОСТОВ на блоге, т.е. объёмных информационных материалов, где почти всегда можно найти дополнительную информацию для добавления в текст страницы. Ссылка на кейс оптимизации ЛЕНДИНГА не совсем тут релевантна, хоть я и отлично понимаю ваш посыл, что в некоторых случаях добавить текст очень сложно, но всё таки это больше о добавлении его на ЛЕНДИНГИ, не в статьи.

2. Мы регулярно ставим внутренние ссылки с новых постов на старые и обратно, где это уместно, потому 10 ссылок не так сложно набрать, если есть уже существенный каталог материалов. Непросто держать в голове все темы постов, потому у нас есть реестр, куда редакторки нашего блога всегда могут посмотреть, чтобы найти нужную страницу для перелинковки. 

Не понимаю вашего скептицизма насчёт получения внешних ссылок, это стандартная задача в ходе продвижения блога. Мы развиваем партнёрские отношение с множеством блогов в смежной тематике, что уже помогает получить некоторую часть ссылок, у многих наших пользователей есть свои блоги, где они часто нас упоминают, уверен, что и в других тематиках тоже применимы эти способы.

3. Да, действительно, индексацию новых материалов не описал в этой статье, вот как раз пример дооптимизации контента =)

4. Я согласен с тем, что для эффективного продвижения блога необходимо наличие как можно большего количества материалов на блоге, но это уже речь о продвижении всего блога, а в статье я говорил лишь о поиске и дооптимизации старых статей, потому хоть я и согласен, что в плане продвижения количеству задач нет предела, но всё же многие не делают и того, что описал я в статье, давайте начинать с малого, а в следующих статьях поговорим о более высоких материях индексации, канониклов и контентной наполненности всего блога.

Ещё раз спасибо за ваш комментарий, Алексей!

Если вы хотите поделиться вашим опытом или интересным кейсом после проделанной работы вашей студии, приглашаю вас написать нам гостевой материал: https://netpeaksoftware.com/ru/blog/kak-napisat-gostevoy-post-na-nashem-bloge

Привет, Валентин!

Для вашей задачи идеально подойдут правила сканирования. В настройках на вкладке «Правила» задайте исключение результатов, которые содержат параметры фильтрации. Вот пример, по вашему условию:
 
https://img.netpeaksoftware.com/maloi/jd0trGp2ps.png

Обратите внимание, что я согласовываю правила по логике «ИЛИ», а также включил переход по отфильтрованным правилами ссылкам, вдруг на таких страницах фильтрации будут уникальные ссылки, которые иначе не найти на сайте.

Попробуйте и скажите, пожалуйста, помог ли вам мой совет =)

А поделитесь, пожалуйста, ссылкой на материал, о котором вы говорите, чтобы и я был в курсе, о какой именно теории)

Да, тут опять же говорится про расширение материалов вокруг определённой темы, которые могут помочь пользователям, и это действительно так!

Но мой посыл: удалять в первую очередь некачественные статьи, которые легче переписать чем дооптимизировать, или те, которые уже неактуальные. Например, есть статья, где вы описывали, как почистить мышку с колёсиком внутри, и за год ни одного перехода из поиска, или даже показов нет, а вы стали продавать не технику, а товары для киберспорта.

Но я бы хотел подметить, что мой прошлый пример со статьями про оффлайн-маркетинг на блоге о SEO не совсем хороший, может это косвенно и может кому-то помочь, потому лучше поменяю на сравнение блога для SEO-специалистов и статьи на нём из далёкого прошлого про установку розетки возле рабочего места. Так будет будет понятнее, что я имею в виду, когда говорю о непопадании в тематику.

Если есть целая категория статей, которые не совсем попадают в тематику, это может расширить семантику, по которой сайт считается экспертным, но единичные материалы не дадут необходимого эффекта.

Да, это хороший вопрос, лучше всего с этим справляется параметр «Корневой домен» из группы WHOIS в Netpeak Checker. Но можно и в таблицах сделать, я, кстати, делал даже не через регулярное выражение, а просто считал, сколько точек в хосте, если число больше либо равно 3, то сразу удалял такие строки. Можно сделать это через SPLIT по разделителю «.», если получилось больше 3 и больше, то удаляю строку.

Я в феврале делал аналогичный процесс для записи англоязычного видео, нашлось пару сотен доменов, конечно, качество оставляет желать лучшего, но тут всё в ваших руках: сканируйте разные сайты, максимально автоматизируйте обработку результатов и тд, это всё ещё возможный дополнительный способ =)

Ну всё-таки я бы не был так категоричен. Конечно, сканируя bbc, foxnews и такие новостники, мало нового найдёшь, но можно же брать локальные СМИ и каталоги. В большом масштабе нет такого хорошего дропа, на который бы не ссылались хотя бы пару больших сайтов, надо только найти те самые большие сайты, пусть даже методом перебора =)

Да, действительно, хорошее уточнение! Не для всех задач нужны прокси с конкретным гео, но лучше не забывать =)

Конечно, поможет =) А если нужно спарсить сами результаты, а не только их количество, можно использовать Netpeak Checker и собирать выдачу даже по самым сложным запросам. На эту тему есть отдельное видео, вот ссылка на нужную его часть с меткой времени: https://youtu.be/SNcxkt3qZwc?t=220