Закрывать индексацию категорий если главная страница
-
Закрывать индексацию категорий или нет если главная страница ведет только на категории? Как должен выглядеть файл robot.txt для моего сайта http://vorota-perm.ru/? Яндекс загрузил только одну страницу и на этом остановился, может причина в запрете?
Сегодня мой файл robots.txt выглядит так:User-agent: * Disallow: /cgi-bin Disallow: /wp-admin/ Disallow: /wp-includes/ Disallow: /wp-content/plugins/ Disallow: /wp-content/cache/ Disallow: /wp-content/themes/ Disallow: /wp-trackback Disallow: /wp-feed Disallow: /wp-comments Disallow: /category/ Disallow: /author/ Disallow: /page/ Disallow: /tag/ Disallow: /feed/ Disallow: */feed Disallow: */trackback Disallow: */comments Disallow: /*? Disallow: /*?* Disallow: /*.php Sitemap: http://vorota-perm.ru/sitemap.xml User-agent: Yandex Disallow: /cgi-bin Disallow: /wp-admin/ Disallow: /wp-includes/ Disallow: /wp-content/plugins/ Disallow: /wp-content/cache/ Disallow: /wp-content/themes/ Disallow: /wp-trackback Disallow: /wp-feed Disallow: /wp-comments Disallow: /category/ Disallow: /author/ Disallow: /page/ Disallow: /tag/ Disallow: /feed/ Disallow: */feed Disallow: */trackback Disallow: */comments Disallow: /*? Disallow: /*?* Disallow: /*.php Host: vorota-perm.ru Sitemap: http://vorota-perm.ru/sitemap.xml
Просмотр 1 ответа (всего 1)
Просмотр 1 ответа (всего 1)
- Тема «Закрывать индексацию категорий если главная страница» закрыта для новых ответов.