Неужели только у меня какие-то странности происходят? Вроде бы этот плагин успешно запрещал к индексации рубрики, метки и все что пожелаешь. Но вот на днях увидела, что у меня в индекс Яндекса пролезла одна из категорий (а ведь это дубли!!!), для которой естественно, плагином прописано ноиндекс. Забавно, что эта категория называется так же, как и «морда» моего сайта. Но так как в Гугле такого я не заметила, то, возможно, это и в самом деле глюки Яндекса.
Но так как в Гугле такого я не заметила, то, возможно, это и в самом деле глюки Яндекса.
Дело не в глюках Яндекса, а в его особенностях!
Быть может это всё подскажет в чем проблема:
Насколько мне известно, например при создании файла robots.txt для Яндекса надо отдельно прописывать аргументы, запрещающие индесацию того, что надо. Точнее того, что НЕ НАДО индексировать.
Если в robots.txt прописать например
User-agent: *
Disallow: /category
Disallow: /tag
— Googl и другие поисковики не будут индексировать страницы (архивы) рубрик и меток. Но Яндекс будет!
Поэтому для Яндекса надо прописывать все тоже самое, но специально для него:
User-agent: Yandex
Disallow: /category
Disallow: /tag
И так далее.
Всё это я неоднократно проверял в сервисе Яндекса «Проверить robots.txt» и всё это действительно так!
Но в данном случае, всё это я говорю к тому, что ваш плагин вероятно ничего не знает об особенностях Яндекса и его установки для Яндекса не работают.
Лично я использую SEO плагин https://wordpress.org/plugins/all-in-one-seo-pack/
Скорее всего All in One SEO Pack тоже не знает про хитрости Яндекса. Поэтому я использую ещё файл robots.txt специально для Яндекса и никаких проблем с индексацией (или НЕ индексацией) моих сайтов в Яндексе не возникает.
Модератор
Yuri
(@yube)
Но в данном случае, всё это я говорю к тому, что ваш плагин вероятно ничего не знает об особенностях Яндекса и его установки для Яндекса не работают.
Вы пишете об особенностях понимания Яшкой инструкций в robots.txt, однако Yoast закрывает таксономии от индексации другим способом — добавляет в <head> строку
<meta name="robots" content="noindex,follow"/>
Я не замечал, чтобы Яшка игнорировал эти инструкции.
Yoast закрывает таксономии от индексации другим способом — добавляет в <head> строку
Хрен его знает! Честно говоря, я не силен в теории работы SEO плагинов. Но практика показала вот что:
All in One SEO Pack, думаю, действует по тому же принципу. И вероятно именно поэтому у меня тоже были проблемы с дублированием таксономий в Яндексе — то есть тоже самое, о чем пишет StellaStan. После применения robots.txt для Яндекса проблема ушла.
Уважаемые Konstantin и Юрий! Вы оба правы! Роботс у меня под Яндекс настроен, именно так как пишет Konstantin. И в том то и дело, что все рубрики Yoast у меня закрывает с помощью
<meta name=»robots» content=»noindex,follow»/>
— Юрий, все верно!
Но странность вот в чем: Главная страница моего сайта — estellemoda.com, Тайтл у нее «Мода и стиль». А вот та самая рубрика проиндексированная Яндексом — estellemoda.com/category/moda-i-stil/ — Тайтл у нее тоже «Мода и стиль», и она так же, как и другие рубрики закрыта за счет noindex,follow. Как это случилось — не пойму! Так можно запросто под какой-нибудь фильтр угодить!
Вот только из роботса для Яндекса я недавно зачем то строку Disallow: /category/*/* удалила — понадеялась на Yoast. Но все же, как мне кажется, все-таки этот плагин исправно пашет, а глючит все же Яндекс.
