Поддержка Разное Подскажите пожалуйста по robots.txt

  • Добрый день подскажите пожалуйста не закрыта ли у меня индексация сайт от Яндекс
    почему то все внутренние ссылки не про индексированные
    User-agent: *
    Disallow: /wp-admin/
    Allow: /wp-admin/admin-ajax.php

    User-agent: Yandex
    Disallow: /cgi-bin
    Disallow: /wp-admin
    Disallow: /wp-includes
    Disallow: /wp-content/plugins
    Disallow: /wp-content/cache
    Disallow: /wp-content/themes
    Disallow: /trackback
    Disallow: */trackback
    Disallow: */*/trackback
    Disallow: */*/feed/*/
    Disallow: */feed
    Disallow: /tag
    Host: prudmaster24.ru

    • Тема изменена 3 года, 10 месяцев назад пользователем SeVlad. Причина: перенос в подходящий раздел
    • Тема изменена 3 года, 10 месяцев назад пользователем Yui.
Просмотр 6 ответов — с 1 по 6 (всего 6)
  • Модератор Yui

    (@fierevere)

    ゆい

    не нужно закрывать папки с файлами стилей и скриптов (.css .js)

    
    Disallow: /wp-includes
    Disallow: /wp-content/plugins
    
    Disallow: /wp-content/themes

    это у вас явно лишнее

    • Ответ изменён 3 года, 10 месяцев назад пользователем Yui.

    Не подскажите, их просто нужно удалить из файла или исправить на allow?

    Лучше просто удалить.

    Спасибо большое, можно ещё один вопрос Карта сайта от еост сео будет достаточно или сделать другую

    Удалить нужно весь тот хлам в секции яндекса, а писать только то что нужно конкретному сайту.
    Читайте документацию ПС.

    Это вообще вопросы не по ВП.

    Модератор Yui

    (@fierevere)

    ゆい

    XML карты сайта от Yoast или All In One SEOP — достаточно
    только пропишите ее директиву в robots тоже

Просмотр 6 ответов — с 1 по 6 (всего 6)
  • Тема «Подскажите пожалуйста по robots.txt» закрыта для новых ответов.