• Здравствуйте, начал разбиратся в robots.txt

    🙂 сначала его я не обнаружил в корне сайта но почемута ссылка была активной на robots.txt, вордпресс создает виртуальный роботс?

    Почитав много полезных статей и посмотрев немало примеров про robots.txt решил составить такой вариант:

    User-agent: *
    Disallow: /xmlrpc.php
    Disallow: /wp-login.php
    Disallow: /wp-register.php
    Disallow: /wp-admin/
    Disallow: /wp-includes/
    Disallow: /wp-content/
    Disallow: /tag/
    Disallow: /?s=
    Disallow: /trackback/
    Disallow: /feed/
    Disallow: /comments/
    Disallow: */trackback/
    Disallow: */feed/
    Disallow: */comments/
    Allow: /files/uploads/
    Host: www.....ru
    
    Sitemap: http://www.....ru/sitemap.xml

    Хотел спросить хорош ли он для сайта? или что добавить в него или удалить… Сайт не простой блог а информационный портал.

    + вопрос можно ли указывать несколько Sitemap’ов ?
    к примеру
    Sitemap: http://www…..ru/sitemap
    Sitemap: http://www…..ru/sitemap.xml
    Sitemap: http://www…..ru/sitemap.xml.gz

    Спасибо

Просмотр 2 ответов — с 1 по 2 (всего 2)
  • Atrax

    (@atrax)

    Ethical engineer

    вордпресс создает виртуальный роботс?

    Если его спрашивают, а его нет — то да.

    можно ли указывать несколько Sitemap’ов ?

    А смысл? В них же одно и то же.

    ясно, спасибо, а по счет Disallow и Allow все впорядке?

Просмотр 2 ответов — с 1 по 2 (всего 2)
  • Тема «вариант Robots.txt» закрыта для новых ответов.