Нужно удалить весь сайт? Тогда:
User-agent: *
Disallow: /
Будет выпадать из индекса постепенно, страница за страницей. Процесс может затянуться на 2-3 месяца.
Нет полностью сайт не надо, только некоторые страницы например у меня вылез в результатах, консоль( личный так сказать кабинет моего сайта,его надо срочно удалить, и страница с прошлыми записями сейчас другое наполнение а старое надо удалить. Как это зделать?
Модератор
Юрій
(@yube)
Спасибо всем!, буду пробовать.
Скажите можно составить робота вот таким образом?
User-agent: Yandex
Disallow: /wp-admin
Disallow: /?page_id=8
Disallow: /?cat=1
Disallow: /?p=15
и если я его так составлю не придется мне его после удаления изменять, или потом надо будет убрать записи в роботе которые писал для удаления кроме если я правильно понимаю этого Disallow: /wp-admin
Если такое написание пойдет, то может что то не хватает или на оборот лишнее? вот например User-agent: Yandex ,это значит он будет работать только с яндексом, или с любыми поискавиками? если только с яндексом то как сделать что бы со всеми работал?
Только с Яндексом.
Для индексирования запрещен файл «page.htm», находящийся в корневом каталоге и файл «page2.htm», располагающийся в директории «dir»:
Disallow: /page.htm
Disallow: /dir/page2.htm
Для индексирования запрещены директории «cgi-bin» и «forum» и, следовательно, всё содержимое данной директории:
Disallow: /cgi-bin/
Disallow: /forum
Мне сейчас надо удолить из поисковика то что составлено в роботе, правильно ли я составил его? и как сделать что бы со всеми поискавиками работал работал?
Можете упростить себе задачу и не «страдать» с robots.txt а внести эти строчки в header.php активной темы:
<?php if(is_404() || is_search() || is_archive()) { ?>
<meta name="googlebot" content="noindex,noarchive,follow,noodp" />
<meta name="robots" content="noindex,follow" />
<meta name="msnbot" content="noindex,follow" />
<?php }?>
То есть из результатов поиска будут исключаться страницы 404, поиска и архивы. Можно попробовать добавить в условие is_admin() || перед 404, возможно и админпанель пропадет из результатов поиска. Не проверял..
Спасибо огромное всем что не оставили в беде! все таки добился настройки робота, когда поймешь как делать, так кажется что тут сложного!Еще раз спасибо!
Нет, робота написал, потом с Гугла удалил что надо, а после удаления изменил робота и оставил запрет только на админку и все. У меня только в Гугле были они проиндексированы на остальных ещо в очереди, при указании в роботе страниц, какие нужно удалить, удаляются в течении от 12 до 24 часов.
