Поддержка Разное Помощь по robots

  • Хотелось бы узнать мнение нормального специалиста и человека связанного непосредственного с wordpress.
    Узнать о правильном robots.txt, а именно технической части. Одни пишут одни, другие пишут другое.
    Нужно ли закрывать от индексации плагины, скрипты и стили.
    Disallow: /wp-content/plugins
    Disallow: /wp-content/themes
    Disallow: /wp-includes/
    Disallow: /wp-content/cache

    На данный момент мой robots.txt
    User-agent: *
    Disallow: /cgi-bin
    Disallow: */?
    Disallow: /wp-
    Disallow: *?s=
    Disallow: /search
    Disallow: /*print=
    Disallow: /author/
    Disallow: /tag/
    Disallow: */trackback
    Disallow: */comments
    Disallow: /20*
    Disallow: /forgot-your-password/
    Disallow: /user/
    Disallow: /edit-profile/
    Disallow: /my-account/
    Disallow: /contact/
    Allow: *.js
    Allow: *.css
    Allow: /wp-content/uploads/*
    Allow: /wp-content/uploads/2020/02/favicon.ico

    User-agent: Yandex
    Disallow: /cgi-bin
    Disallow: */?
    Disallow: /wp-
    Disallow: *?s=
    Disallow: /search
    Disallow: /*print=
    Disallow: /author/
    Disallow: */amp
    Disallow: /tag/
    Disallow: */trackback
    Disallow: */comments
    Disallow: /20*
    Disallow: /forgot-your-password/
    Disallow: /user/
    Disallow: /edit-profile/
    Disallow: /my-account/
    Disallow: /contact/
    Allow: *.js
    Allow: *.css
    Allow: /wp-content/uploads/*
    Allow: /wp-content/uploads/2020/02/favicon.ico
    Sitemap: https://hotskidki.by/sitemap_index.xml
    Host: https://hotskidki.by

Просмотр 4 ответов — с 1 по 4 (всего 4)
  • Модератор Yui

    (@fierevere)

    永子

    Нужно ли закрывать от индексации плагины, скрипты и стили.

    не нужно. гугль вас накажет за закрытие индексации скриптов и стилей

    у вас слишком много записей, не нужных совершенно,
    все что должно быть закрыто (страницы профилей пользователей к примеру) и так закрыто мета-тегами (втч и через настройки SEO плагинов)
    /cgi-bin/ вообще пережиток непонятный, не будите древнее зло)

    Да и в целом очень смешно, как тут пытаются мериться длиной robots.txt внося туда все, что соберут в окрестностях интернета

    Нет нормальной статьи, где было все описано. Один пишет так, другой противоречит ему.
    Хотелось бы раз и навсегда разобраться в данной теме. Даже на официальном блоге wordpress нет четкой информации по данному вопросу.

    Не могли бы вы скинуть пример, какого-нибудь своего robots?

    Модератор Yui

    (@fierevere)

    永子

    Модератор Sergey Biryukov

    (@sergeybiryukov)

    Live and Learn

    Не могли бы вы скинуть пример

    https://yoast.com/robots.txt
    https://yoast.com/wordpress-robots-txt-example/

Просмотр 4 ответов — с 1 по 4 (всего 4)
  • Тема «Помощь по robots» закрыта для новых ответов.