Поддержка Проблемы и решения проблема с robots.txt и индексацией

  • Помогите, пожалуйста, решить проблему с индексацией сайта.

    Моему сайту 4 года и раньше страницы индексировались нормально. Мой файл robots.txt имеет вид:

    
    User-agent: *
    Disallow: /wp-login.php
    Disallow: /wp-register.php
    Disallow: /feed/
    Disallow: /cgi-bin
    Disallow: /wp-admin
    Disallow: /wp-includes
    Disallow: /wp-content/plugins
    Disallow: /wp-content/cache
    Disallow: /wp-content/themes
    Disallow: /trackback
    Disallow: */comments
    Disallow: /category/*/*
    Disallow: */trackback
    Disallow: */*/trackback
    Disallow: */*/feed/*/
    Disallow: */feed
    Disallow: /*?*
    Disallow: /?s=
     
    User-agent: Yandex
    Disallow: /wp-login.php
    Disallow: /wp-register.php
    Disallow: /feed/
    Disallow: /cgi-bin
    Disallow: /wp-admin
    Disallow: /wp-includes
    Disallow: /wp-content/plugins
    Disallow: /wp-content/cache
    Disallow: /wp-content/themes
    Disallow: /trackback
    Disallow: */comments
    Disallow: /category/*/*
    Disallow: */trackback
    Disallow: */*/trackback
    Disallow: */*/feed/*/
    Disallow: */feed
    Disallow: /*?*
    Disallow: /?s=
    Host: elenachistyakova.ru
     
    Sitemap: http://elenachistyak.../sitemap.xml.gz
    Sitemap: http://elenachistyakova.ru/sitemap.xml
    

    Чуть больше месяца назад по необходимости поменяла тему сайта. С тех пор из индексации стали постепенно выпадать страницы (может со сменой темы это и не связано). Из примерно 50 осталось 20.
    Провожу анализ robots.txt сервисом Яндекс Вебмастер и получаю такое сообщение:

    1: User-agent: * Обнаружена неизвестная директива
    2: Disallow: Перед правилом нет директивы User-agent

    Как с этим бороться? Пожалуйста, подскажите.

Просмотр 1 ответа (всего 1)
  • Anonymous User 17160716

    (@anonymized-17160716)

    lena220678, приветствую. Чаще всего это случается из-за неправильной кодировки. У вас основная кодировка файла сейчас — utf-8. Пересохраните файл в utf-8 без BOM и посмотрите, решит ли это проблему с Яндексом.

Просмотр 1 ответа (всего 1)
  • Тема «проблема с robots.txt и индексацией» закрыта для новых ответов.