файл robots.txt
-
Привет всем! Столкнулся с непонятной проблемой.
В корне на сайте у меня лежит файл robots.txt Решил проверить его работоспособность на яндексе В общем у меня на сайте по яндексу прописано так:User-agent: Yandex
Host: ———-.ru
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */commentsа когда запускаю на яндексе загрузку файла robots.txt с сайта пишет:
User-agent: Yandex
Disallow: /User-agent: ia_archiver
Disallow: /User-agent: Mediapartners-Google*
Disallow:и в итоге запрещает доступ ко всем страницам моего сайта. Что это может быть? Спасибо.
ЗЫ поиск юзал.
- Тема «файл robots.txt» закрыта для новых ответов.