Title: Robots.txt Last modified: 18.03.2014 --- # Robots.txt * [Valeriya_v](https://ru.wordpress.org/support/users/valeriya_v/) * (@valeriya_v) * [12 лет, 7 месяцев назад](https://ru.wordpress.org/support/topic/robotstxt-9/) * Ребят,подскажите—какой правильный должен быть Robots.txt Просмотр 10 ответов — с 1 по 10 (всего 10) * Модератор [Yui](https://ru.wordpress.org/support/users/fierevere/) * (@fierevere) * 永子 * [12 лет, 7 месяцев назад](https://ru.wordpress.org/support/topic/robotstxt-9/#post-134876) * любой проходящий валидацию на яндекс/гугль 😀 * в принципе файл может и отсутствовать, вп в таком случае будет выдавать виртуальный, который вполне сойдет * [1596754as98](https://ru.wordpress.org/support/users/adminstrelok/) * (@adminstrelok) * [12 лет, 7 месяцев назад](https://ru.wordpress.org/support/topic/robotstxt-9/#post-134911) * > Ребят,подскажите—какой правильный должен быть Robots.txt * Используйте самый популярный плагин для оптимизации сайта [ALL IN SEO PACK](https://wordpress.org/plugins/all-in-one-seo-pack/) и вы вполне обойдетесь без робот-текста. * [SeVlad](https://ru.wordpress.org/support/users/sevlad/) * (@sevlad) * [12 лет, 7 месяцев назад](https://ru.wordpress.org/support/topic/robotstxt-9/#post-134926) * > плагин для оптимизации сайта ALL IN SEO PACK и вы вполне обойдетесь без робот- > текста. * 1. Не для «оптимизации», а для СЕО. Т.е. «оптимизации» для поисковых систем. 2. Необходимость наличия [роботса](http://www.robotstxt.org/robotstxt.html) и его содержимое полностью зависит от сайта и целей, преследуемых его владельцем. Тут не может быть категоричных и однозначных советов. Нет и не может быть универсального роботса. * Вопросы по роботсу не относятся к данному форуму и их лучше задавать (искать ответы) на спец. ресурсах. Например [тут](http://forum.searchengines.ru/showthread.php?t=828288). * [StellaStan](https://ru.wordpress.org/support/users/stellastan/) * (@stellastan) * [12 лет, 6 месяцев назад](https://ru.wordpress.org/support/topic/robotstxt-9/#post-135206) * **SeVlad** * > Вопросы по роботсу не относятся к данному форуму и их лучше задавать (искать > ответы) на спец. ресурсах. * Да, Вы правы, хотя позвольте все-таки возразить: Konstantin: * > Используйте самый популярный плагин для оптимизации сайта ALL IN SEO PACK и > вы вполне обойдетесь без робот-текста. * Потому как плагин-то Вордпрессовский, а, значит, тема имеет какое-то отношение к этому форуму. И пусть даже этот плагин будет Yoast by SEO — что это меняет? Дело в том, что загрузила сегодня на Гугл вебмастер карту своего сайта, а Гугл возьми да и выдай: * > Доступ к URL заблокирован в файле robots.txt. > Файл Sitemap содержит URL, доступ > к которым заблокирован в файле robots.txt. [http://site.com/category-sitemap.xml](http://site.com/category-sitemap.xml) > [http://site.com/page-sitemap.xml](http://site.com/page-sitemap.xml) [http://site.com/post-sitemap.xml](http://site.com/post-sitemap.xml) * То есть получается что заблокирован доступ ко ВСЕМУ сайту?! А вот часть этого роботса: * > User-agent: * > Disallow: /wp-login.php Disallow: /wp-register.php Disallow:/ > webstat/ Disallow: /feed/ Disallow: */feed Disallow: /trackback Disallow: */ > trackback Disallow: /comments Disallow: */comments Disallow: /wp-comments Disallow:/ > wp-trackback Disallow: /wp-feed Disallow: /*?* Disallow: /*? Disallow: /category/*/* > Disallow: /cgi-bin Disallow: /wp-content/plugins Disallow: /wp-content/themes > Disallow: /wp-content/cache Disallow: /wp-admin/ Disallow: /wp-includes/ * Я, конечно, дилетант, но как не смотрю, не могу понять — где тут ошибка. Но как раз перед отправкой карты Гуглу обновила плагин Yoast by SEO. Неужели он глючит? * [SeVlad](https://ru.wordpress.org/support/users/sevlad/) * (@sevlad) * [12 лет, 6 месяцев назад](https://ru.wordpress.org/support/topic/robotstxt-9/#post-135207) * > Потому как плагин-то Вордпрессовский, а, значит, тема имеет какое-то отношение > к этому форуму. И пусть даже этот плагин будет Yoast by SEO — что это меняет? * Плагины помогают реализовать какой-то функционал. (И форум может помочь в решении проблем в работе с плагинами) А вот что и как именно настраивать\заполнять — дело сугубо владельца. Попробуйте ещё раз перечитать (и понять) что я писал выше. * [StellaStan](https://ru.wordpress.org/support/users/stellastan/) * (@stellastan) * [12 лет, 6 месяцев назад](https://ru.wordpress.org/support/topic/robotstxt-9/#post-135208) * **Yui** * > в принципе файл может и отсутствовать, вп в таком случае будет выдавать виртуальный, > который вполне сойдет * Интересно! А все-таки как он примерно выглядит «на бумаге», этот самый файл? Что в нем прописано? А еще вопрос: если на сайте есть какие-то файлы и директории, которые Ворпрессу неизвестны, т.к. их создавал/устанавливал сам владелец, то как с ними будет? * [StellaStan](https://ru.wordpress.org/support/users/stellastan/) * (@stellastan) * [12 лет, 6 месяцев назад](https://ru.wordpress.org/support/topic/robotstxt-9/#post-135209) * **Yui** * > в принципе файл может и отсутствовать, вп в таком случае будет выдавать виртуальный, > который вполне сойдет * Интересно! А как он все-таки будет выглядеть «на бумаге», этот самый файл? Что именно в нем прописано? И еще вопрос: а как он будет воспринимать файлы и директории, которые ему незнакомы, потому что он добавил сам вебмастер сайта? * Модератор [Юрій](https://ru.wordpress.org/support/users/yube/) * (@yube) * [12 лет, 6 месяцев назад](https://ru.wordpress.org/support/topic/robotstxt-9/#post-135210) * > А как он все-таки будет выглядеть «на бумаге», этот самый файл? Что именно > в нем прописано? * А ввести в адресной строке хттп://домен/robots.txt и посмотреть — не царское дело? 🙂 * [StellaStan](https://ru.wordpress.org/support/users/stellastan/) * (@stellastan) * [12 лет, 6 месяцев назад](https://ru.wordpress.org/support/topic/robotstxt-9/#post-135211) * **Юрий**, ну конечно, «царевна» это может сделать:). Но речь тут шла о ВИРТУАЛЬНОМ роботсе, о существовании которого упомянул(а) Yui. Впрочем, что это я? Взять временно удалить реальный роботс и посмотреть через хттп://домен/robots.txt, как Вы советуете:). Спасибо! * [StellaStan](https://ru.wordpress.org/support/users/stellastan/) * (@stellastan) * [12 лет, 6 месяцев назад](https://ru.wordpress.org/support/topic/robotstxt-9/#post-135212) * **SeVlad** * > Плагины помогают реализовать какой-то функционал. (И форум может помочь в решении > проблем в работе с плагинами) > А вот что и как именно настраивать\заполнять— > дело сугубо владельца. Попробуйте ещё раз перечитать (и понять) что я писал > выше. * Да, разумеется, Вы правы. Ведь ТС начал свою тему так * > Ребят,подскажите—какой правильный должен быть Robots.txt * А уж эта тема никак непосредственно к ВП не относится. Это, можно сказать, общая или базовая, или глобальная что-ли тема. Просто тут упомянули вордпрессовский плагин, а так верно. Просмотр 10 ответов — с 1 по 10 (всего 10) Тема «Robots.txt» закрыта для новых ответов. * Форум: [Разное](https://ru.wordpress.org/support/forum/miscellaneous/) * 10 ответов * 6 участников * Последний ответ: [StellaStan](https://ru.wordpress.org/support/users/stellastan/) * Последняя активность: [12 лет, 6 месяцев назад](https://ru.wordpress.org/support/topic/robotstxt-9/#post-135212) * Статус: нерешённая ## Темы ### Самые популярные темы ### Темы без ответов ### Без вопроса ### Решённые ### Нерешённые ### Все темы