Поддержка Проблемы и решения robots.txt — не виден роботам, хотя есть в корне.

  • Содержание обычное:

    User-agent: *
    Disallow: /cgi-bin
    Disallow: /wp-admin
    Disallow: /wp-includes
    Disallow: /wp-content/plugins
    Disallow: /wp-content/cache
    Disallow: /wp-content/themes
    Disallow: /trackback
    Disallow: */trackback
    Disallow: */*/trackback
    Disallow: */*/feed/*/
    Disallow: */feed
    Disallow: /*?*
    Disallow: /tag
    Disallow: */attachment/*
    Disallow: /page
    Disallow: */page/
    Disallow: /poisk
    
    User-agent: Yandex
    Disallow: /cgi-bin
    Disallow: /wp-admin
    Disallow: /wp-includes
    Disallow: /wp-content/plugins
    Disallow: /wp-content/cache
    Disallow: /wp-content/themes
    Disallow: /trackback
    Disallow: */trackback
    Disallow: */*/trackback
    Disallow: */*/feed/*/
    Disallow: */feed
    Disallow: /*?*
    Disallow: /tag
    Disallow: */attachment/*
    Disallow: /page
    Disallow: */page/
    
    Host: *****.ru
    
    Sitemap: http://******.ru/sitemap.xml

    Как заставить роботов его видеть?

Просмотр 7 ответов — с 1 по 7 (всего 7)
  • Модератор Sergey Biryukov

    (@sergeybiryukov)

    Live and Learn

    1. Как вы узнали, что они его не видят?
    2. О каком сайте идёт речь?

    bolshoi-kush.ru
    yandex webmaster
    и
    google search console
    не видят в упор.

    Модератор Yui

    (@fierevere)

    ゆい

    404
    очевидно что мешаются какие то правила вашего nginx

    сравните

    http://bolshoi-kush.ru/rewwbots.txt
    нет файла, обработано вордпрессом

    http://bolshoi-kush.ru/robots.txt
    404 отдана nginx, явно висит отдельное правило

    если не vps — к хостеру
    если vps — проверяйте конфиги nginx’a

    PS:
    Disallow: /wp-includes
    Disallow: /wp-content/plugins
    Disallow: /wp-content/themes

    не стоит это «прятать» от гугла как минимум, они хотят видеть ваши js и css из этих папок

    Спасибо!
    По поводу правил nginx задал вопрос администраторам хостинга.

    дело было на хостинге. Вот ответ:

    Здравствуйте.
    Наблюдали некорректную конфигурацию для Вашего аккаунта. Мы обновили ее, и на данный момент наблюдаем нормальную работу Вашего сайта, файл robots по адресу http://bolshoi-kush.ru/robots.txt открывается без ошибок.
    Пожалуйста, проверьте корректность работы Ваших сайтов.
    При наличии дополнительных вопросов, пожалуйста, обращайтесь.

    Сейчас все в порядке.

    Модератор Yui

    (@fierevere)

    ゆい

    не игнорировали бы вы еще PS по поводу запрета на индексацию js,css

    касательно вашей рекомендации не прятать следующие каталоги:
    Disallow: /wp-includes
    Disallow: /wp-content/plugins
    Disallow: /wp-content/themes

    Достаточно ли будет просто написать следующее:

    Allow: /*/*/*/*.css*
    Allow: /*/*/*/*/*.css*
    Allow: /*/*/*.js*
    Allow: /*/*/*/*.js*
    Allow: /*/*/*/*/*.js*

    ?

Просмотр 7 ответов — с 1 по 7 (всего 7)
  • Тема «robots.txt — не виден роботам, хотя есть в корне.» закрыта для новых ответов.