В целом вопросы о robots.txt
-
Я тут себе сайт уже сделал, статьи залил, и хочу кидать в индекс гугла и яши, но такое дело, мне нужно, что бы дерьмо в индексе не плавало, помню еще сайта на другом двиге кидал в индекс, и там категории заиндексировались, и прочий шлак, потом прямо выбить это из индекса неудавалось. В той CMS я решение нашел, а тут не могу, погуглив немного я нашел лишь блокирование разделов типа /wp-admin и т.д, да и там текста очень много. В той же CMS (это DLE) я как делал, перенаправлял robots.txt на (не помню какой) .php файл, и там уже были условия, что индексировать, что нет, и очень очень развернуто. Как в WP сделать так, что бы категории сайта не летели в индекс?
Да и вобще хочу поднять тему, что лучше не давать индексировать, и как лучше это реализовать? Нагугленные статьи не понравились, тут явно сидят люди поумней, надеюсь.
- Тема «В целом вопросы о robots.txt» закрыта для новых ответов.