Где он может находиться?
если нет в корне сайта, значит его генерит ВП, какой-то плагин или тема.
Текст возвращается функцией do_robots():
http://core.trac.wordpress.org/browser/tags/3.3.2/wp-includes/functions.php#L1836
Отключить её можно, добавив строку в functions.php активной темы:
remove_action( 'do_robots', 'do_robots' );
Изменить — с помощью фильтра robots_txt.
Эту функцию надо отключать, если я добавляю свой robots.txt в корень? При составлении своего файла, я также прописываю эти 2 директивы среди прочих.
Модератор
Yuri
(@yube)
Эту функцию надо отключать, если я добавляю свой robots.txt в корень?
Если файл robots.txt реально существует, то до wordpress просто не дойдет дело.
Фича «автороботс» сделана для тех, кто не знает, что такое robots.txt, как его залить в корень сайта и где этот самый корень находится (это не шутка, вопрос «где у меня корень?» не такой уж и редкий, увы). Но у нее есть и более продвинутое применение.
И что же это за применение такое, продвинутое?
Модератор
Yuri
(@yube)
И что же это за применение такое, продвинутое?
Разные robots.txt для разных доменов, обслуживаемых одной копией wordpress.
Действительно, продвинутое.
Не подскажите, для чего в файле robots.txt нужна директива
Sitemap: http://sozdaniesaytov.tw1.ru/sitemap.xml.gz
Можно оставить только:
Sitemap: http://sozdaniesaytov.tw1.ru/sitemap.xml
Или нужны обе?
Или нужны обе?
Если есть обе карты.
Учи мат часть, а к ВП это не относиться.
Я использую генератор XML-карты (Google XML Sitemaps).
Он создает 2 карты (xml и xml.gz) и многие вебмастера указывают в robots.txt обе эти карты. Многие, но не все (у некоторых есть только xml).
Вот я и задал вопрос: можно оставить только xml или нужны обе?
Что лучше для стабильной индексации страниц?
можно оставить только xml или нужны обе?
Ещё раз — причём тут ВП? Учи матчасть. Ссылки выше. Гугл рядом.
ВП тут притом, что Google XML Sitemaps — это плагин для ВП.
Учить матчасть — на это нету времени. Гугл — я и так постоянно в нем.
Ты сам то как думаешь: лучше в роботсе прописать 2 директивы на сайтмап или одну? Свое собственное мнение есть, основанное на личном опыте, или только знания из матчасти?
Одинаково, и не имеет значения, но ходят слухи, что роботы больше любят сжатую карту…
Указывайте обе. Хуже точно не будет.
И не нужно так уж демонстрировать, что ваше время дороже нашего.
