вариант Robots.txt
-
Здравствуйте, начал разбиратся в robots.txt
🙂 сначала его я не обнаружил в корне сайта но почемута ссылка была активной на robots.txt, вордпресс создает виртуальный роботс?
Почитав много полезных статей и посмотрев немало примеров про robots.txt решил составить такой вариант:
User-agent: * Disallow: /xmlrpc.php Disallow: /wp-login.php Disallow: /wp-register.php Disallow: /wp-admin/ Disallow: /wp-includes/ Disallow: /wp-content/ Disallow: /tag/ Disallow: /?s= Disallow: /trackback/ Disallow: /feed/ Disallow: /comments/ Disallow: */trackback/ Disallow: */feed/ Disallow: */comments/ Allow: /files/uploads/ Host: www.....ru Sitemap: http://www.....ru/sitemap.xml
Хотел спросить хорош ли он для сайта? или что добавить в него или удалить… Сайт не простой блог а информационный портал.
+ вопрос можно ли указывать несколько Sitemap’ов ?
к примеру
Sitemap: http://www…..ru/sitemap
Sitemap: http://www…..ru/sitemap.xml
Sitemap: http://www…..ru/sitemap.xml.gzСпасибо
Просмотр 2 ответов — с 1 по 2 (всего 2)
Просмотр 2 ответов — с 1 по 2 (всего 2)
- Тема «вариант Robots.txt» закрыта для новых ответов.