• Добрый день. Скажите верно ли в в файле robots.txt прописана команда на запрет по индексации определенной страницы сайта.
    Disallow: /http://payture.com/ru/kompania/#partners ?
    Подправьте, плиз, как правильно.
    Спасибо за скорейший ответ.

Просмотр 13 ответов — с 1 по 13 (всего 13)
  • неверно.
    правильно:

    Disallow: /ru/kompania/#partners

    только через # это не настоящая ссылка, это якорь и вполне возможно, что поисковики проигнорируют такой запрет. для них есть ссылка http://payture.com/ru/kompania/ — а все остальное это уже не ссылки.

    как тогда быть в этом случае, хотелось бы, чтобы эта и другие такие страницы с # не индексировались поисковым роботом. есть решение для данного конкретного случая?
    Спасибо.

    vgrebenyuk, робот 100% проигнорирует значок # в robots.txt
    лично я вижу несколько вариантов решения проблемы:
    1) Реализовать эти страницы отдельными URL’ами без # и закрыть в robots.txt

    2) Использование тега <noindex>, где вы закрываете только то, что вы не хотите видеть проиндексированным.

    Пример:
    <noindex>Привет мир!</noindex>

    Подробнее — https://help.yandex.ru/webmaster/controlling-robot/html.xml#noindex

    Модератор Юрій

    (@yube)

    /ru/kompania/#partners и /ru/kompania/ — одна и та же страница. #partners всего лишь указывает браузеру как какому элементу скролить страницу после загрузки.

    2) Использование тега <noindex>, где вы закрываете только то, что вы не хотите видеть проиндексированным.

    noindex понимает только яндекс.

    # это не настоящая ссылка, это якорь

    В роботсе это комментарий.

    совет — все команды в этом файле писать маленькими буквами + обратить внимание на его кодировку и возможность «читать всем» в правах. во всяком случае мне помогло. был похожий глюк

    был похожий глюк

    человек спрашивает про правила запрета, а вы ему «похожий глюк».

    разница какая. у меня разрешения не отрабатывали. зеркальный вариант.
    потом, не известно, чем он его редактирует. разные редакторы при копи-пасте себя по разному ведут. оптимально создавать с нуля руками или постоянно следить что кодировка та и при пасте не вставились лишние невидимые символы, на которые ap оч.чуствителен на что я попал.

    правильность синтаксиса запрета и «глюк» вещи разные.

    Дело в том, что я не программист. Если верно понял из примера, то для моей страницы это выглядеть будет так:

    disallow: <noindex>/ru/kompania/</noindex>

    скорректируйте, плиз.
    Спасибо.

    скорректируйте, плиз.

    неправильно. он имеет ввиду на самой странице прописывать noindex, чтобы куски текста не индексировались. но это бессмысленно, так как noindex понимает только яндекс.

    нет этого я не знаю.

Просмотр 13 ответов — с 1 по 13 (всего 13)
  • Тема «по файлу robots.txt» закрыта для новых ответов.