Поддержка Проблемы и решения Проблема с robots.txt

  • Проблема с файлом robots.txt. Не выводится тот файл который создан вручную и лежит в корне сайта. По порядку:
    На сайте all in one seo pack в нем есть управление robots.txt, все правила которые прописаны так же отображаютс в файле который лежит в корне сайта, правил достаточно много, но при переходе site.ru/robots.txt отображается только 2 правила
    User-agent: *
    Disallow: /wp-admin/
    Allow: /wp-admin/admin-ajax.php

    в дериктории wp-include/functions.php генерится именно вот эти правила и выводятся при запросе робота. если эту генерацию отключить, тогда при запросе получаем вообще пустой файл, но в корне сайта все же присутствует заполненный файл robots.txt/

    каким образом можно сделать что бы использовался файл который лежит в корне

Просмотр 7 ответов — с 1 по 7 (всего 7)
  • Модератор Yui

    (@fierevere)

    ゆい

    вебсервер всегда будет использовать статический файл с диска
    если он есть

    проверьте права на файл, он должен читаться
    а также имя файла, оно должно быть маленькими буквами, в юникс регистр всегда имеет значение

    также перепроверьте .htaccess
    может у вас какие правила там хитрые есть

    1. файл 100% есть
    2. права поставил уже 777
    3. имя файла мельнькими буквами, unix/ansi (utf-8)
    4.

    # сжатие text, html, javascript, css, xml:
    <ifModule mod_deflate.c>
    AddOutputFilterByType DEFLATE text/html text/plain text/xml application/xml application/xhtml+xml text/css text/javascript application/javascript application/x-javascript
    </ifModule>
    
    <FilesMatch ".(flv|gif|jpg|jpeg|png|ico|swf|js|css|pdf)$">
      Header set Cache-Control "max-age=2592000"
    </FilesMatch>
    # BEGIN WordPress
    RewriteEngine On
    RewriteBase /
    RewriteRule ^index\.php$ - [L]
    
    # add a trailing slash to /wp-admin
    RewriteRule ^wp-admin$ wp-admin/ [R=301,L]
    
    RewriteCond %{REQUEST_FILENAME} -f 
    RewriteCond %{REQUEST_FILENAME} -d
    RewriteRule ^ - [L]
    RewriteRule ^(wp-(content|admin|includes).*) $1 [L]
    RewriteRule ^(.*\.php)$ $1 [L]
    RewriteRule . index.php [L]
    
    # END WordPress
    • Ответ изменён 5 лет, 4 месяца назад пользователем divotek.
    Модератор Юрий

    (@yube)

    права поставил уже 777

    А вот это зря. На некоторых хостингах из соображений безопасности выполнимые файлы в директориях сайтов блокируются насмерть.

    Модератор Юрий

    (@yube)

    Проверьте, отдаются ли другие файлы с расширением txt из этой директории.

    Да, Юрий, Вы правы, все .txt кидают на 404 страницу

    Модератор Юрий

    (@yube)

    все .txt кидают на 404 страницу

    Скорее всего, ошибка в конфиге nginx.

    Спасибо что направили, нашел ошибку, проблема оказалась в .htaccess, помогло изменение порядка правил.

Просмотр 7 ответов — с 1 по 7 (всего 7)
  • Тема «Проблема с robots.txt» закрыта для новых ответов.