Помогите разобраться с robots.txt

  • Решено kitaedz

    (@kitaedz)


    15 лет, 1 месяц назад

    Всем добрый день.
    Вопрос в следующем, никак не могу разобраться, все говорят, что хорошо бы закрыть дублирующийся контент и предлагают варианты файла robots.txt. У меня настроены ЧПУ вида сайт/год/месяц/название, со всех «дублирующих» страниц идет обычная ЧПУ ссылка, без добавок т.е. откуда бы я не хотел попасть в статью адрес один и тот же, значит дублируется только анонс до тэга more, а не сами статьи? Или нет? Предложенные варианты robots закрывают страницы (page), категории, архивы, тэги. Вопрос, если поисковик не успел проиндексировать статью с главной страницы, то как он ее найдет тогда, все-таки что должно быть открыто? Что лучше? Я склоняюсь к архивам, но так, чтобы там только названия статей оставались без анонсов.

Просмотр 4 ответов — с 16 по 19 (всего 19)
1 2
  • yurim

    (@yurim)

    14 лет, 11 месяцев назад

    Произвольная структура
    Можно поменять под себя. Например из День и Название удалить День. Останется только название.

    robots.txt
    Использую рекомендованный для WP файл с небольшими отклонениями (примеры в сети есть). Все работает.

    uspspeli

    (@uspspeli)

    14 лет, 11 месяцев назад

    Номер с картой сайта не прошел. Я скопировала — всё славно показывалось, но эта карта не меняется по мере наполнения сайта. поэтому вернула плагин Dagon на место.
    Файл роботс я и так взяла готовый с инета, специально заточенный под WP, причём внизу коменты были. Тут дело в чём-то другом. Покумекать нужно будет.
    Ссылки настроила под названия, но при нажатии на название статьи выходит ошибка страницы, причём я и старые переименовывала таким образом и для примера новую создала, всё-равно почему то не открываются страницы нормально.
    Может нужно код настраивать, как написано внизу в настройках ссылок:
    Если ваш .htaccess файл открыт для записи, это сделается автоматически, но если запись запрещена, то вы должны иметь правила mod_rewrite в вашем файле.htaccess. Щелкните в это поле и нажмите CTRL + a чтобы выбрать весь код.

    Atrax

    (@atrax)

    Ethical engineer

    14 лет, 11 месяцев назад

    Я скопировала — всё славно показывалось, но эта карта не меняется по мере наполнения сайта.

    Само собой:) вы чего-то другого ожидали? Это ж статика…

    uspspeli

    (@uspspeli)

    14 лет, 11 месяцев назад

    я поняла это уже. 🙂

Просмотр 4 ответов — с 16 по 19 (всего 19)
1 2
  • Тема «Помогите разобраться с robots.txt» закрыта для новых ответов.