Поддержка Проблемы и решения Переименовано: robots.txt

  • Здравствуйте, скажите какие параметры в роботе писать для удаления с поисковых систем результаты поиска? я посмотрел там есть запрет как писать на определенные страницы, если это и есть то что надо писать тогда как узнать с чего начинается у меня страница? вот что там написано: Disallow: /cgi-bin # блокирует доступ к страницам #начинающимся с ‘/cgi-bin’ . Я зашел в корневую папку public_html потом в папку cgi-bin , а она пуста. Помогите разобратся ато я в этом новичок и желательно поподробнее, или может есть легче путь удаления страниц с поисковых систем, без написания робота, или он хоть как нужен?

Просмотр 11 ответов — с 1 по 11 (всего 11)
  • Нужно удалить весь сайт? Тогда:

    User-agent: *
    Disallow: /

    Будет выпадать из индекса постепенно, страница за страницей. Процесс может затянуться на 2-3 месяца.

    Нет полностью сайт не надо, только некоторые страницы например у меня вылез в результатах, консоль( личный так сказать кабинет моего сайта,его надо срочно удалить, и страница с прошлыми записями сейчас другое наполнение а старое надо удалить. Как это зделать?

    Модератор Yuri

    (@yube)

    ато я в этом новичок

    Значит, надо учиться, учиться и еще раз учиться.

    robots.txt — Википедия
    Яндекс.Помощь: Вебмастер — Использование robots.txt
    Search Engine Optimization for WordPress « WordPress Codex

    Спасибо всем!, буду пробовать.

    Скажите можно составить робота вот таким образом?
    User-agent: Yandex
    Disallow: /wp-admin
    Disallow: /?page_id=8
    Disallow: /?cat=1
    Disallow: /?p=15
    и если я его так составлю не придется мне его после удаления изменять, или потом надо будет убрать записи в роботе которые писал для удаления кроме если я правильно понимаю этого Disallow: /wp-admin

    Если такое написание пойдет, то может что то не хватает или на оборот лишнее? вот например User-agent: Yandex ,это значит он будет работать только с яндексом, или с любыми поискавиками? если только с яндексом то как сделать что бы со всеми работал?

    Только с Яндексом.
    Для индексирования запрещен файл «page.htm», находящийся в корневом каталоге и файл «page2.htm», располагающийся в директории «dir»:
    Disallow: /page.htm
    Disallow: /dir/page2.htm
    Для индексирования запрещены директории «cgi-bin» и «forum» и, следовательно, всё содержимое данной директории:
    Disallow: /cgi-bin/
    Disallow: /forum

    Мне сейчас надо удолить из поисковика то что составлено в роботе, правильно ли я составил его? и как сделать что бы со всеми поискавиками работал работал?

    Можете упростить себе задачу и не «страдать» с robots.txt а внести эти строчки в header.php активной темы:

    <?php if(is_404() || is_search() || is_archive()) { ?>
        <meta name="googlebot" content="noindex,noarchive,follow,noodp" />
        <meta name="robots" content="noindex,follow" />
        <meta name="msnbot" content="noindex,follow" />
    <?php }?>

    То есть из результатов поиска будут исключаться страницы 404, поиска и архивы. Можно попробовать добавить в условие is_admin() || перед 404, возможно и админпанель пропадет из результатов поиска. Не проверял..

    Спасибо огромное всем что не оставили в беде! все таки добился настройки робота, когда поймешь как делать, так кажется что тут сложного!Еще раз спасибо!

    Atrax

    (@atrax)

    Ethical engineer

    Тему переименовал.

    Нет, робота написал, потом с Гугла удалил что надо, а после удаления изменил робота и оставил запрет только на админку и все. У меня только в Гугле были они проиндексированы на остальных ещо в очереди, при указании в роботе страниц, какие нужно удалить, удаляются в течении от 12 до 24 часов.

Просмотр 11 ответов — с 1 по 11 (всего 11)
  • Тема «Переименовано: robots.txt» закрыта для новых ответов.