Поддержка Проблемы и решения Google индексирует фиды

  • Блог на wordpress

    Гугл индексирует страницы с фидами, хотя они закрыты в robots.txt
    В «соплях» гугла индесация типа:

    ******.ru/komputer/zhelezo/feed
    A description for this result is not available because of this site’s robots.txt – learn more.

    Понятно, что несмотря на закрытие в роботсе, гугл будет индексировать, т.к. очевидно, где-то имеется ссылка на этот (вордпресс где-то генерирует ссылку,которую, как предполагается нужно закрыть noindex) фид -гугл заходит по этой ссылке и страницу загогяет в индекс.
    Кто знает, как это дело прекратить?

Просмотр 2 ответов — с 1 по 2 (всего 2)
  • Первое, что пришло в голову.
    Вариант 1. Seo плагины, которые могут закрыть фиды (В каком то из них встречал такую фишку)
    Вариант 2. Login Configurator — плагин ограничивающий доступ к сайту незарегистрированным пользователям. Его основные функции можно не включать, но можно поставить галочку в пункте Protected — Protect the feed URL as well.

    Фишка в том. что сами фиды полезны и незачем их отключать. Нужно только, чтобы они неиндексировались, вот и всё.

Просмотр 2 ответов — с 1 по 2 (всего 2)
  • Тема «Google индексирует фиды» закрыта для новых ответов.