• Доброго времени суток уважаемые веб разработчики ! Я веду как общественную деятельность, так и в сфере культуры и искусства , раньше оставил записи в различных всевозможных платформах и дневниках, от ЖЖ до популярных соцсетях. Но везде что-то не хватало, в одном платформе жёсткая модерация, в другом ограниченные возможности по графике или дизайну оформления записи и т.д. И т.п. В итоге решил создать свой ресурс и разместить свои записи там у себя, но встретил множеству нюансов и проблем, которые преодолел с по мере поступления с переменным успехом. Но сейчас возникла ситуация, когда не только не могу найти ответы в поисковиках, но и службы поддержки яндекса не могут определиться, в чем дело.
    А дело в следующей странной ситуации, в которой я нахожусь и надеюсь на вашу помощь:
    Практически у всех сайтах, которые регистрированы в вебмастере, можно выделить любая часть текста и нажимать на «веб поиск», и поисковик сразу найдёт не только фрагмент контента с данного сайта, но и его многочисленные дубликаты, не смотря, на то, что яндекс «ругается» на дубли. При том, что яндекс находит их контент сразу после публикации, не смотря на то, что говорят, роботу яндекса нужна время, пока он будет пройти по контенту и внести его в список поиска (см. Скриншот)

    Запись на поисковике появился спустя час и там отображается дубли, что и для меня вполне естественно, ведь дубл пренадлежит новостному агрегатору со ссылкой на первоисточник.
    А в моей ситуации все гораздо печальнее. Проблема в том, что я пишу статью , и выделяю фрагмент не спустя час, а дни, чтобы проверить, попался ли мой текст в поисковики, а яндекс находит что угодно, кроме моего текста (см. Скриншот).

    Здесь наглядно видно, что яндекс скрыл мой контент, но показывает от агрегатора. Дело в том, что если это связано с тем, что нужно определённое время, то возникает закономерный вопрос, у других сайтов, где ежедневно публикуется 100 контентов, они моментально появляются в поисковике, а мой контент спустя двух дней ещё не появился. И ещё непонятно, почему тот же текст, который агрегаторы берут у меня, bezformata.com появляются, а мой начальный оригинальный текст нет? В скриншоте наглядно видно, что в поисковом выдаче появился мой текст не из моего сайта, а из агрегатора «безформата». Некоторые веб разработчики говорят, что яндекс таким образом удаляет дубли, тогда возникают две вопросы :
    1. Почему яндекс не назначил дублем контент от «безформата» и не исключил его из выдачи, а исключил мой контент?
    2. Почему у других сайтов яндекс выдаёт по выделенному тексту и оригинал и копия от «безформата», а в моем случае только копия от «безформата»?

    Прошу вас подетально объясните мне чайнику в чем дело и как спасти ситуацию?
    Надеюсь, что в скриншотах и в тексте все понятно объяснено. Если что, можете сами проверить, _ зайдите в мой сайт rianovost.ru и выделите любой фрагмент из последних новостей и увидите, находит, что угодно, кроме моего сайта.
    Также зайдите на сайт например lipetskmedia.ru и выделите любая часть текста на сайте и нажимайте на поиск в интернете, и увидите, что поисковик находит и их текст, и дубли от новостных агрегаторов.

    P. S.
    Напоследок прошу вас помочь при составлении robots.txt движок WordPress
    Я его составил самостоятельно, но не знаю, на сколько это оправдано, у меня особых предпочтении нет, лишь бы яндекс не ругался и не находил там мусора и дубли страниц

    User-agent: *
    Disallow: /wp-admin
    Disallow: /wp-includes
    Disallow: /wp-content/plugins
    Disallow: /wp-content/cache
    Disallow: /wp-json/
    Disallow: /xmlrpc.php
    Disallow: /readme.html
    Disallow: /wp-content/themes
    Disallow: /cgi-bin​
    Disallow: /wp-login.php
    Disallow: /wp-register.php
    Disallow: *utm*=
    Disallow: *openstat=
    Disallow: */trackback
    Disallow: */rss
    Disallow: */embed
    Disallow: *?s=
    Disallow: *&s=
    Disallow: /search/
    Disallow: /author/
    Disallow: /users/
    Disallow: /?
    Disallow: /*?
    Disallow: /?s=
    Allow: /wp-admin/admin-ajax.php
    Allow: */uploads
    Allow: /*.css
    Allow: /*.js
    Allow: /wp-*.png
    Allow: /wp-*.jpg
    Allow: /wp-*.jpeg
    Allow: /wp-*.gif

    Sitemap: https://www.rianovost.ru/sitemap.xml

    Скажите пожалуйста, стоит ли даты вносит тут например Disallow: /2020/ чтобы архивы дат не определились дублем со стороны яндекса, или не стоит закрывать даты? Если можно пришлите ваш вариант.

    Спасибо 🤝 с уважением Администратор сайта rianovost.ru

    Страница, с которой нужна помощь: [войдите, чтобы увидеть ссылку]

Просмотр 3 ответов — с 1 по 3 (всего 3)
  • При чем тут ВП?

    При том, что может в роботе что-то ковырял, или в sitemap вордпрессовские же файлы по другому заполняются. Например в джумла бессмысленно написать Disallow : wp-admin

    При том, что может в роботе что-то ковырял, или в sitemap вордпрессовские же файлы по другому заполняются.

    А вы их еще и руками заполняете?
    СЕО-плагины — для слабаков! Только хардкор!!

Просмотр 3 ответов — с 1 по 3 (всего 3)
  • Тема «Поиск по выделенному тесту» закрыта для новых ответов.