Google индексирует фиды
-
Блог на wordpress
Гугл индексирует страницы с фидами, хотя они закрыты в robots.txt
В «соплях» гугла индесация типа:******.ru/komputer/zhelezo/feed
A description for this result is not available because of this site’s robots.txt – learn more.Понятно, что несмотря на закрытие в роботсе, гугл будет индексировать, т.к. очевидно, где-то имеется ссылка на этот (вордпресс где-то генерирует ссылку,которую, как предполагается нужно закрыть noindex) фид -гугл заходит по этой ссылке и страницу загогяет в индекс.
Кто знает, как это дело прекратить?
Просмотр 2 ответов — с 1 по 2 (всего 2)
Просмотр 2 ответов — с 1 по 2 (всего 2)
- Тема «Google индексирует фиды» закрыта для новых ответов.