должен быть в корне сайта, но может и не быть его там) надо создавать ручками robots.txt и закинуть в корень сайта
# robotstxt.org/
User-agent: *
Crawl-delay: 10
# Directories
Allow: /wp-content/uploads/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /template.html
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
Disallow: /tag
Disallow: /category
Disallow: /archive
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /?feed=
Disallow: /?s=
User-agent: Yandex
Crawl-delay: 10
# Directories
Allow: /wp-content/uploads/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /template.html
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
Disallow: /tag
Disallow: /category
Disallow: /archive
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /?feed=
Disallow: /?s=
Host: vash_site.ru
Sitemap: http://vash_site.ru/sitemap.xml
Если бы все так просто. Яндекс его находит, а я нет )))
Модератор
Юрій
(@yube)
При включенном ЧПУ и отсутствующем файле robots.txt движок сам его генерирует, ориентируясь на настройку «Видимость для поисковых систем».
Так где его найти, чтоб изменить? в корневой папке нет, и вообще нет на сервере, сайт маленький, все пересмотрела.
Модератор
Юрій
(@yube)
Просто создайте его и всё.
