Поддержка Проблемы и решения Где находится файл robots.txt

  • После установки WordPress на сайте появился файл robots.txt, тотя его не создавал. Файл содержит всего 2 директивы. Не могу найти его в папках сайта. Где он может находиться?

Просмотр 13 ответов — с 1 по 13 (всего 13)
  • Где он может находиться?

    если нет в корне сайта, значит его генерит ВП, какой-то плагин или тема.

    Модератор Sergey Biryukov

    (@sergeybiryukov)

    Live and Learn

    Текст возвращается функцией do_robots():
    http://core.trac.wordpress.org/browser/tags/3.3.2/wp-includes/functions.php#L1836

    Отключить её можно, добавив строку в functions.php активной темы:

    remove_action( 'do_robots', 'do_robots' );

    Изменить — с помощью фильтра robots_txt.

    Эту функцию надо отключать, если я добавляю свой robots.txt в корень? При составлении своего файла, я также прописываю эти 2 директивы среди прочих.

    Модератор Юрий

    (@yube)

    Эту функцию надо отключать, если я добавляю свой robots.txt в корень?

    Если файл robots.txt реально существует, то до wordpress просто не дойдет дело.

    Фича «автороботс» сделана для тех, кто не знает, что такое robots.txt, как его залить в корень сайта и где этот самый корень находится (это не шутка, вопрос «где у меня корень?» не такой уж и редкий, увы). Но у нее есть и более продвинутое применение.

    И что же это за применение такое, продвинутое?

    Модератор Юрий

    (@yube)

    И что же это за применение такое, продвинутое?

    Разные robots.txt для разных доменов, обслуживаемых одной копией wordpress.

    Действительно, продвинутое.
    Не подскажите, для чего в файле robots.txt нужна директива
    Sitemap: http://sozdaniesaytov.tw1.ru/sitemap.xml.gz
    Можно оставить только:
    Sitemap: http://sozdaniesaytov.tw1.ru/sitemap.xml
    Или нужны обе?

    Или нужны обе?

    Если есть обе карты.
    Учи мат часть, а к ВП это не относиться.

    Я использую генератор XML-карты (Google XML Sitemaps).
    Он создает 2 карты (xml и xml.gz) и многие вебмастера указывают в robots.txt обе эти карты. Многие, но не все (у некоторых есть только xml).
    Вот я и задал вопрос: можно оставить только xml или нужны обе?
    Что лучше для стабильной индексации страниц?

    можно оставить только xml или нужны обе?

    Ещё раз — причём тут ВП? Учи матчасть. Ссылки выше. Гугл рядом.

    ВП тут притом, что Google XML Sitemaps — это плагин для ВП.
    Учить матчасть — на это нету времени. Гугл — я и так постоянно в нем.
    Ты сам то как думаешь: лучше в роботсе прописать 2 директивы на сайтмап или одну? Свое собственное мнение есть, основанное на личном опыте, или только знания из матчасти?

    Одинаково, и не имеет значения, но ходят слухи, что роботы больше любят сжатую карту…

    Указывайте обе. Хуже точно не будет.
    И не нужно так уж демонстрировать, что ваше время дороже нашего.

Просмотр 13 ответов — с 1 по 13 (всего 13)
  • Тема «Где находится файл robots.txt» закрыта для новых ответов.