Но самого файла robots.txt в папке localhost нет!
Его вполне может не быть, в этом случае движок или плагины выдают его по запросу, создавая «на лету».
Если я оставляю свой файл robots.txt, то в нем, например, скрыты от индексации архивы и поиск, тогда почему в плагине The SEO Framework на вкладке «Индексация» блока «Настройки мета-данных для роботов» индексация для архивов и поиска активна?
Если создан статический файл, то учитывается только он, а настройки плагина ни на что не влияют, о чём плагин и сообщает в примечании.
Тогда не понимаю, каким образом плагин закрывает индексацию если он не трогает файл robots.txt? Ну вот у меня, например, в файле закрыт доступ к поиску, архивам, папкам админки, меткам и т.д.:
User-agent: * # общие правила для роботов, кроме Яндекса и Google, т.к. для них правила ниже
Disallow: /cgi-bin # папка на хостинге
Disallow: /? # все параметры запроса на главной
Disallow: /wp- # все файлы WP: /wp-json/, /wp-includes, /wp-content/plugins
Disallow: *?s= # поиск
Disallow: *&s= # поиск
Disallow: /search/ # поиск
Disallow: /author/ # архив автора
Disallow: /users/ # архив авторов
Disallow: */trackback # трекбеки, уведомления в комментариях о появлении открытой ссылки на статью
Disallow: */feed # все фиды
Disallow: */rss # rss фид
Disallow: */embed # все встраивания
Disallow: /xmlrpc.php # файл WordPress API
Disallow: *utm*= # ссылки с utm-метками
Disallow: *openstat= # ссылки с метками openstat
Disallow: /readme.html # закрываем мануал по установке WordPress (лежит в корне)
Allow: */uploads # открываем папку с файлами uploads
И если я удалю этот файл и буду полагаться на плагин, то как мне понять, что он закрывает, что открывает? Он выполняет все эти действия? Зачем тогда вообще плагин нужен этот и ему подобные, кроме как прописать дискрипшион к статьям и страницам?
Или плагин все это делает, только какими-то своими методами, не через этот файл? В общем файл этот нужен вообще, если плагин подобный стоит? Я многие плагины проверил по SEO, они все почти создают файл виртуально с таким же содержимым:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: http://localhost/sitemap.xml
Вот закрываем мы индексацию к какой-то странице через плагин, она не выводится в карту сайта, но в файле robots ничего не изменилось ведь. Либо мы можем сами в файле закрыть доступ к конкретной странице через Disallow: /… Но если плагин не трогает файл этот, то как он закрывает доступ?
Thank you so much @sergeybiryukov for taking your time to answer a reply for The SEO Framework, I really appreciate it 🙂
@korovke Please use Google translate to translate my comment; I am not proficient in Russian 🙁
Because of the dynamic nature of WordPress and their permalink-settings, it’s nearly impossible, and completely impractical, to rely on the robots.txt file for noindex.
Instead, SEO plugins use meta tags, like <meta name="robots" content="noindex" />, and X-Robots-Tag headers. They’re much more reliable. For more information, please see:
https://developers.google.com/search/reference/robots_meta_tag
Cheers!
