• Закрывать индексацию категорий или нет если главная страница ведет только на категории? Как должен выглядеть файл robot.txt для моего сайта http://vorota-perm.ru/? Яндекс загрузил только одну страницу и на этом остановился, может причина в запрете?
    Сегодня мой файл robots.txt выглядит так:

    User-agent: *
    Disallow: /cgi-bin
    Disallow: /wp-admin/
    Disallow: /wp-includes/
    Disallow: /wp-content/plugins/
    Disallow: /wp-content/cache/
    Disallow: /wp-content/themes/
    Disallow: /wp-trackback
    Disallow: /wp-feed
    Disallow: /wp-comments
    Disallow: /category/
    Disallow: /author/
    Disallow: /page/
    Disallow: /tag/
    Disallow: /feed/
    Disallow: */feed
    Disallow: */trackback
    Disallow: */comments
    Disallow: /*?
    Disallow: /*?*
    Disallow: /*.php
    Sitemap: http://vorota-perm.ru/sitemap.xml
    
    User-agent: Yandex
    Disallow: /cgi-bin
    Disallow: /wp-admin/
    Disallow: /wp-includes/
    Disallow: /wp-content/plugins/
    Disallow: /wp-content/cache/
    Disallow: /wp-content/themes/
    Disallow: /wp-trackback
    Disallow: /wp-feed
    Disallow: /wp-comments
    Disallow: /category/
    Disallow: /author/
    Disallow: /page/
    Disallow: /tag/
    Disallow: /feed/
    Disallow: */feed
    Disallow: */trackback
    Disallow: */comments
    Disallow: /*?
    Disallow: /*?*
    Disallow: /*.php
    Host: vorota-perm.ru
    Sitemap: http://vorota-perm.ru/sitemap.xml

Просмотр 1 ответа (всего 1)
  • Проанализировать файл и проверить доступность ссылок для роботов можно здесь. О причинах ограничения индексации вашего сайта следует узнать в службе поддержки поисковика. То, какие страницы закрывать от индексации, а какие нет, решать только вам. Всё зависит от желаемого результата.

    На этом форуме обсуждаются вопросы, напрямую связанные с WordPress. Вопросы о работе поисковых систем следует задавать на соответствующих сайтах.

    Happy blogging!

Просмотр 1 ответа (всего 1)
  • Тема «Закрывать индексацию категорий если главная страница» закрыта для новых ответов.