Поддержка → Разное → robots.txt

robots.txt

  • Jeese

    (@jeese)


    9 лет, 7 месяцев назад

    Здравствуйте, недавно разобрался как работает файл robots.txt, вот только одна проблема.
    У меня блог новостной и ничего лично про себя я туда не пишу и не храню там, но все же боюсь что какие-то важные для администрирования директивы могут быть открыты для всех. Подскажите пожалуйста как и/или где можно узнать какие директивы стоит закрыть от глаз поисковых машин.

Просмотр 3 ответов — с 1 по 3 (всего 3)
  • 1596754as98

    (@adminstrelok)

    9 лет, 7 месяцев назад

    как и/или где можно узнать какие директивы стоит закрыть от глаз поисковых машин

    Наберите в любом поисковике robots.txt для wordpress и получите множество примеров этого файла для WP. Остальное додумаете сами. Только не забудьте все директивы продублировать отдельно для Яндекса:
    User-agent: Yandex#
    И ниже всё тоже самое, что и для всех других поисковиков.

    SeVlad

    (@sevlad)

    9 лет, 7 месяцев назад

    robots.txt для wordpress

    Нет «robots.txt для wordpress». Есть «robots.txt для сайта».

    lex0013

    (@lex0013)

    9 лет, 7 месяцев назад

    Вот мой пример :

    User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag/

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag/
Host: handmade.vpoltave.net

Sitemap: http://handmade.vpoltave.net/sitemap.xml.gz
Sitemap: http://handmade.vpoltave.net/sitemap.xml

Sitemap: http://handmade.vpoltave.net/sitemap-image.xml.gz
Sitemap: http://handmade.vpoltave.net/sitemap-image.xml

Просмотр 3 ответов — с 1 по 3 (всего 3)
  • Тема «robots.txt» закрыта для новых ответов.

Просмотр