Поддержка Проблемы и решения В целом вопросы о robots.txt

  • Я тут себе сайт уже сделал, статьи залил, и хочу кидать в индекс гугла и яши, но такое дело, мне нужно, что бы дерьмо в индексе не плавало, помню еще сайта на другом двиге кидал в индекс, и там категории заиндексировались, и прочий шлак, потом прямо выбить это из индекса неудавалось. В той CMS я решение нашел, а тут не могу, погуглив немного я нашел лишь блокирование разделов типа /wp-admin и т.д, да и там текста очень много. В той же CMS (это DLE) я как делал, перенаправлял robots.txt на (не помню какой) .php файл, и там уже были условия, что индексировать, что нет, и очень очень развернуто. Как в WP сделать так, что бы категории сайта не летели в индекс?

    Да и вобще хочу поднять тему, что лучше не давать индексировать, и как лучше это реализовать? Нагугленные статьи не понравились, тут явно сидят люди поумней, надеюсь.

Просмотр 2 ответов — с 16 по 17 (всего 17)
  • Disallow: /wp-includes/
    Disallow: /wp-content/plugins/
    Disallow: /wp-content/cache/
    Disallow: /wp-content/themes/

    это сразу надо исключить из robots.txt
    стили и картинки это важно, а вы их не даете индексировать.

    Спасибо. Сам то не разбираюсь, х*рни бы понаделал.

Просмотр 2 ответов — с 16 по 17 (всего 17)
  • Тема «В целом вопросы о robots.txt» закрыта для новых ответов.