Поддержка Разное robots.txt настройка

  • Решено oriont1000

    (@oriont1000)


    правильный ли робот.? спасибо.
    адрес к карте сайта указал на латинице это правильно?

    
    User-agent: *
    Disallow: /wp-login.php
    Disallow: /wp-register.php
    Disallow: /feed/
    Disallow: /cgi-bin
    Disallow: /wp-admin
    Disallow: /wp-includes
    Disallow: /wp-content/plugins
    Disallow: /wp-content/cache
    Disallow: /wp-content/themes
    Disallow: /trackback
    Disallow: */comments
    Disallow: /category/*/*
    Disallow: */trackback
    Disallow: */*/trackback
    Disallow: */*/feed/*/
    Disallow: */feed
    Disallow: /*?*
    Disallow: /?s=
    User-agent: Yandex
    Disallow: /wp-login.php
    Disallow: /wp-register.php
    Disallow: /feed/
    Disallow: /cgi-bin
    Disallow: /wp-admin
    Disallow: /wp-includes
    Disallow: /wp-content/plugins
    Disallow: /wp-content/cache
    Disallow: /wp-content/themes
    Disallow: /trackback
    Disallow: */comments
    Disallow: /category/*/*
    Disallow: */trackback
    Disallow: */*/trackback
    Disallow: */*/feed/*/
    Disallow: */feed
    Disallow: /*?*
    Disallow: /?s=
    Host: volgograd-advokat-rf
    Sitemap: http://volgograd-advokat-rf/sitemap.xml.gz
    Sitemap: http://volgograd-advokat-rf/sitemap.xml
    
    • Тема изменена 7 лет назад пользователем SeVlad. Причина: перенос в подходящий раздел
Просмотр 15 ответов — с 1 по 15 (всего 15)
  • Модератор Yui

    (@fierevere)

    永子

    много мусора
    в том числе не только не нужного, но и вредного
    к тому же дублирующегося, ПС хотят видеть ваши js и css

    Disallow: /wp-includes
    Disallow: /wp-content/plugins
    Disallow: /wp-content/themes

    Host и Sitemap заданы неверно
    раз уж вам повезло иметь кириллический домен, то используйте punycode

    XN—-7SBBAGDDAKC1ED2BCHZ7B.XN—P1AI

    
    Host: XN----7SBBAGDDAKC1ED2BCHZ7B.XN--P1AI
    Sitemap: http://XN----7SBBAGDDAKC1ED2BCHZ7B.XN--P1AI/sitemap.xml

    Yui Вопрос по вашему ответу. 🙂

    Ту часть файла, что вы написали, это что? То, что достаточно иметь в robots.txt или то, что у топик-стартера лишнее?

    (Отредактировал по п.2. Просто за 19 лет в инете и разных форумах привык, что там модераторы наоборот, наказывают (и сам наказывал) за то, что плодят темы. А тут наоборот… Извините.)

    • Ответ изменён 7 лет назад пользователем ezdiumno_ru.
    • Ответ изменён 7 лет назад пользователем ezdiumno_ru. Причина: Приведение к правилам форума
    Модератор Yui

    (@fierevere)

    永子

    Автор oriont1000

    (@oriont1000)

    Спасибо за домен поменял. Скопируйте пожалуйста роботс с правильными изменениями если возможно. Спасибо.

    Модератор Yui

    (@fierevere)

    永子

    при отсутствии robots.txt на диске, wordpress генерирует и отдает свой robots.txt
    с дополнениями директив от SEO плагинов, я считаю что то, что он отдает — необходимо и достаточно

    Автор oriont1000

    (@oriont1000)

    То есть мне убрать из корневого каталога роботс фаил и Как я увижу созданный WP.?
    Не сочтите за грубость можно этот изменить.

    Модератор Yui

    (@fierevere)

    永子

    Автор oriont1000

    (@oriont1000)

    Модератор Yui

    (@fierevere)

    永子

    похоже вы решили проигнорировать указание на то, что ПС хотят видеть все ваши js и css

    Disallow: /wp-includes
    Disallow: /wp-content/plugins
    Disallow: /wp-content/themes

    вот это надо убрать из Disallow

    Автор oriont1000

    (@oriont1000)

    Извините за мою темноту — я не знаю, что такое js и css. То есть если я уберу
    Disallow: /wp-includes
    Disallow: /wp-content/plugins
    Disallow: /wp-content/themes

    То все вопросы снимутся с моего робота включая и js и css. Спасибо.

    Модератор Yui

    (@fierevere)

    永子

    js / css — файлы с соответствующими расширениями,
    ява скрипт и CSS соответственно, обрабатываются как браузером, так теперь и поисковыми роботами, блокировка доступа к стилям и скриптам отрицательно сказывается на индексации и ранжировке, ПС хотят видеть страницы так, как видит их посетитель.

    Автор oriont1000

    (@oriont1000)

    Как открыть роботам путь к js / css файлам.?

    Модератор Yui

    (@fierevere)

    永子

    посмотреть чуть выше и убрать этот фрагмент, который закрывает ПС доступ к ним в папках wp-includes а также тем и плагинов

    Автор oriont1000

    (@oriont1000)

    Автор oriont1000

    (@oriont1000)

    User-agent: *
    Disallow: /wp-login.php
    Disallow: /wp-register.php
    Disallow: /feed/
    Disallow: /cgi-bin
    Disallow: /wp-admin
    Disallow: /wp-content/cache
    Disallow: /trackback
    Disallow: */comments
    Disallow: /category/*/*
    Disallow: */trackback
    Disallow: */*/trackback
    Disallow: */*/feed/*/
    Disallow: */feed
    Disallow: /*?*
    Disallow: /?s=
    User-agent: Yandex
    Disallow: /wp-login.php
    Disallow: /wp-register.php
    Disallow: /feed/
    Disallow: /cgi-bin
    Disallow: /wp-admin
    Disallow: /wp-content/cache
    Disallow: /trackback
    Disallow: */comments
    Disallow: /category/*/*
    Disallow: */trackback
    Disallow: */*/trackback
    Disallow: */*/feed/*/
    Disallow: */feed
    Disallow: /*?*
    Disallow: /?s=
    Host: xn—-7sbbagddakc1ed2bchz7b.xn--p1ai
    Sitemap: http://xn—-7sbbagddakc1ed2bchz7b.xn--p1ai/sitemap.xml.gz
    Sitemap: http://xn—-7sbbagddakc1ed2bchz7b.xn--p1ai/sitemap.xml

Просмотр 15 ответов — с 1 по 15 (всего 15)
  • Тема «robots.txt настройка» закрыта для новых ответов.