robots.txt — не виден роботам, хотя есть в корне.

  • Dremychi

    (@dremychi)


    9 лет, 1 месяц назад

    Содержание обычное:

    User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag
Disallow: */attachment/*
Disallow: /page
Disallow: */page/
Disallow: /poisk

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag
Disallow: */attachment/*
Disallow: /page
Disallow: */page/

Host: *****.ru

Sitemap: http://******.ru/sitemap.xml

    Как заставить роботов его видеть?

Просмотр 7 ответов — с 1 по 7 (всего 7)
  • Модератор Sergey Biryukov

    (@sergeybiryukov)

    Live and Learn

    9 лет, 1 месяц назад

    1. Как вы узнали, что они его не видят?
    2. О каком сайте идёт речь?

    Автор Dremychi

    (@dremychi)

    9 лет, 1 месяц назад

    bolshoi-kush.ru
    yandex webmaster
    и
    google search console
    не видят в упор.

    Модератор Yui

    (@fierevere)

    永子

    9 лет, 1 месяц назад

    404
    очевидно что мешаются какие то правила вашего nginx

    сравните

    http://bolshoi-kush.ru/rewwbots.txt
    нет файла, обработано вордпрессом

    http://bolshoi-kush.ru/robots.txt
    404 отдана nginx, явно висит отдельное правило

    если не vps — к хостеру
    если vps — проверяйте конфиги nginx’a

    PS:
    Disallow: /wp-includes
    Disallow: /wp-content/plugins
    Disallow: /wp-content/themes

    не стоит это «прятать» от гугла как минимум, они хотят видеть ваши js и css из этих папок

    Автор Dremychi

    (@dremychi)

    9 лет, 1 месяц назад

    Спасибо!
    По поводу правил nginx задал вопрос администраторам хостинга.

    Автор Dremychi

    (@dremychi)

    9 лет, 1 месяц назад

    дело было на хостинге. Вот ответ:

    Здравствуйте.
    Наблюдали некорректную конфигурацию для Вашего аккаунта. Мы обновили ее, и на данный момент наблюдаем нормальную работу Вашего сайта, файл robots по адресу http://bolshoi-kush.ru/robots.txt открывается без ошибок.
    Пожалуйста, проверьте корректность работы Ваших сайтов.
    При наличии дополнительных вопросов, пожалуйста, обращайтесь.

    Сейчас все в порядке.

    Модератор Yui

    (@fierevere)

    永子

    9 лет, 1 месяц назад

    не игнорировали бы вы еще PS по поводу запрета на индексацию js,css

    Автор Dremychi

    (@dremychi)

    9 лет, 1 месяц назад

    касательно вашей рекомендации не прятать следующие каталоги:
    Disallow: /wp-includes
    Disallow: /wp-content/plugins
    Disallow: /wp-content/themes

    Достаточно ли будет просто написать следующее:

    Allow: /*/*/*/*.css*
    Allow: /*/*/*/*/*.css*
    Allow: /*/*/*.js*
    Allow: /*/*/*/*.js*
    Allow: /*/*/*/*/*.js*

    ?

Просмотр 7 ответов — с 1 по 7 (всего 7)
  • Тема «robots.txt — не виден роботам, хотя есть в корне.» закрыта для новых ответов.