Поддержка → Разное → Что писать в файл роботс тхт?

Что писать в файл роботс тхт?

  • Решено grimm022

    (@grimm022)


    7 лет, 2 месяца назад

    Всем привет. Заметил, что быстро робот яндекса стал редко заходить на сайт http://sportrezult.ru/, хоть статей в день добавляется более 50. Дайте пример правильного файла роботс тхт для ворпресс сайта.

Просмотр 3 ответов — с 1 по 3 (всего 3)
  • Flector

    (@flector)

    7 лет, 2 месяца назад

    ну /wp-includes это вы зря — нынче поисковики требуют, чтобы скрипты, используемые на странице были доступны боту. аналогично с Disallow: /wp-content/plugins и Disallow: /wp-content/themes.

    а вот остальное зависит от ЧПУ и от того, что там у вас с индексом творится. стоит зайти в яндекс.вебмастер и внимательно его изучить на предмет левых дублирующих страниц.

    Автор grimm022

    (@grimm022)

    7 лет, 2 месяца назад

    Спасибо

    Модератор Yui

    (@fierevere)

    永子

    7 лет, 2 месяца назад

    можете ничего не писать , при отсутствии файла robots.txt
    wordpress будет отдавать виртуальный, там все что надо есть, если стоят SEO плагины, то их директивы тоже туда добавляются

Просмотр 3 ответов — с 1 по 3 (всего 3)
  • Тема «Что писать в файл роботс тхт?» закрыта для новых ответов.

Просмотр