Поддержка Плагины Как подружить The SEO Framework с файлом robots.txt

  • Доброй ночи! Прошу сильно не пинать, а лучше разъяснить одну непонятную мне вещь, точнее даже две:

    1. Когда в плагине The SEO Framework перехожу во вкладку Robots.txt в блоке «настройки карты сайта», то там написано:

    Примечание: Файл robots.txt был обнаружен в корневой директории вашего сайта. Настройки не имеют силы.

    Действительно, он там есть, я его создал отдельно сам и все в нем прописал. Если его удалить, то перейдя по ссылке:

    Файл robots.txt находится здесь.

    вижу такое вот содержимое файла:

    User-agent: *
    Disallow: /wp-admin/
    Allow: /wp-admin/admin-ajax.php
    Sitemap: http://localhost/sitemap.xml

    Но самого файла robots.txt в папке localhost нет! Собственно как и файла sitemap.xml — его тоже там нет! Ничего не понимаю, это как так?

    2. Если я оставляю свой файл robots.txt, то в нем, например, скрыты от индексации архивы и поиск, тогда почему в плагине The SEO Framework на вкладке «Индексация» блока «Настройки мета-данных для роботов» индексация для архивов и поиска активна? Не понимаю, плагин и мой файл robots.txt между собой вообще не дружат что ли?

Просмотр 3 ответов — с 1 по 3 (всего 3)
  • Модератор Sergey Biryukov

    (@sergeybiryukov)

    Live and Learn

    Но самого файла robots.txt в папке localhost нет!

    Его вполне может не быть, в этом случае движок или плагины выдают его по запросу, создавая «на лету».

    Если я оставляю свой файл robots.txt, то в нем, например, скрыты от индексации архивы и поиск, тогда почему в плагине The SEO Framework на вкладке «Индексация» блока «Настройки мета-данных для роботов» индексация для архивов и поиска активна?

    Если создан статический файл, то учитывается только он, а настройки плагина ни на что не влияют, о чём плагин и сообщает в примечании.

    Тогда не понимаю, каким образом плагин закрывает индексацию если он не трогает файл robots.txt? Ну вот у меня, например, в файле закрыт доступ к поиску, архивам, папкам админки, меткам и т.д.:

    User-agent: * # общие правила для роботов, кроме Яндекса и Google, т.к. для них правила ниже
    Disallow: /cgi-bin # папка на хостинге
    Disallow: /? # все параметры запроса на главной
    Disallow: /wp- # все файлы WP: /wp-json/, /wp-includes, /wp-content/plugins
    Disallow: *?s= # поиск
    Disallow: *&s= # поиск
    Disallow: /search/ # поиск
    Disallow: /author/ # архив автора
    Disallow: /users/ # архив авторов
    Disallow: */trackback # трекбеки, уведомления в комментариях о появлении открытой ссылки на статью
    Disallow: */feed # все фиды
    Disallow: */rss # rss фид
    Disallow: */embed # все встраивания
    Disallow: /xmlrpc.php # файл WordPress API
    Disallow: *utm*= # ссылки с utm-метками
    Disallow: *openstat= # ссылки с метками openstat
    Disallow: /readme.html # закрываем мануал по установке WordPress (лежит в корне)
    Allow: */uploads # открываем папку с файлами uploads

    И если я удалю этот файл и буду полагаться на плагин, то как мне понять, что он закрывает, что открывает? Он выполняет все эти действия? Зачем тогда вообще плагин нужен этот и ему подобные, кроме как прописать дискрипшион к статьям и страницам?
    Или плагин все это делает, только какими-то своими методами, не через этот файл? В общем файл этот нужен вообще, если плагин подобный стоит? Я многие плагины проверил по SEO, они все почти создают файл виртуально с таким же содержимым:

    User-agent: *
    Disallow: /wp-admin/
    Allow: /wp-admin/admin-ajax.php
    Sitemap: http://localhost/sitemap.xml

    Вот закрываем мы индексацию к какой-то странице через плагин, она не выводится в карту сайта, но в файле robots ничего не изменилось ведь. Либо мы можем сами в файле закрыть доступ к конкретной странице через Disallow: /… Но если плагин не трогает файл этот, то как он закрывает доступ?

    Thank you so much @sergeybiryukov for taking your time to answer a reply for The SEO Framework, I really appreciate it 🙂

    @korovke Please use Google translate to translate my comment; I am not proficient in Russian 🙁

    Because of the dynamic nature of WordPress and their permalink-settings, it’s nearly impossible, and completely impractical, to rely on the robots.txt file for noindex.

    Instead, SEO plugins use meta tags, like <meta name="robots" content="noindex" />, and X-Robots-Tag headers. They’re much more reliable. For more information, please see:
    https://developers.google.com/search/reference/robots_meta_tag

    Cheers!

Просмотр 3 ответов — с 1 по 3 (всего 3)