Запрет индексации в Robots.txt
-
Здравствуйте. Возник вопрос по настройке файла robots.txt на сайте https://www.butik-market.store
Если присутствует запись
«User-agent: heritrix
Disallow: /»
то это означает, что для индексация для «heritrix» запрещена для всего сайта или для главной страницы?Страница, с которой нужна помощь: [войдите, чтобы увидеть ссылку]
Просмотр 1 ответа (всего 1)
Просмотр 1 ответа (всего 1)
- Тема «Запрет индексации в Robots.txt» закрыта для новых ответов.