дубли в карте sitemap
-
Что прописать в robots.txt или это делается в плагине All in One Seo Pack? что то не закрыл наверное и на карте sitemap дубли страниц ведущие на главную например http://masters32.ru/773f79_l и http://masters32.ru/2015fg777
Прописывал в robots.txt код
Clean-Param: utm_source&utm_medium&utm_campaign
Clean-Param: openstat
но гугл что то заругался на данный код — невозможно не помню что, вроде распознать…
Сейчас выглядит так:User-agent: * Disallow: /cgi-bin Disallow: /? Disallow: /admin/ Disallow: /login/ Disallow: /wp- Disallow: *?p= Disallow: *?s= Disallow: *&s= Disallow: /search/ Disallow: /archive/ Disallow: /author/ Disallow: /users/ Disallow: */trackback Disallow: */feed/ Disallow: */rss/ Disallow: */embed Disallow: */wlwmanifest.xml Disallow: /xmlrpc.php Disallow: *utm= Disallow: *openstat= Allow: */uploads User-agent: GoogleBot Disallow: /cgi-bin Disallow: /? Disallow: /admin/ Disallow: /login/ Disallow: /wp- Disallow: *?p= Disallow: *?s= Disallow: *&s= Disallow: /search/ Disallow: /archive/ Disallow: /author/ Disallow: /users/ Disallow: */trackback Disallow: */feed/ Disallow: */rss/ Disallow: */embed Disallow: */wlwmanifest.xml Disallow: /xmlrpc.php Disallow: *utm= Disallow: *openstat= Allow: */uploads Allow: /*/*.js Allow: /*/*.css Allow: /wp-*.png Allow: /wp-*.jpg Allow: /wp-*.jpeg Allow: /wp-*.gif Allow: /wp-admin/admin-ajax.php User-agent: Yandex Disallow: /cgi-bin Disallow: /? Disallow: /admin/ Disallow: /login/ Disallow: /wp- Disallow: *?p= Disallow: *?s= Disallow: *&s= Disallow: /search/ Disallow: /archive/ Disallow: /author/ Disallow: /users/ Disallow: */trackback Disallow: */feed/ Disallow: */rss/ Disallow: */embed Disallow: */wlwmanifest.xml Disallow: /xmlrpc.php Allow: */uploads Allow: /*/*.js Allow: /*/*.css Allow: /wp-*.png Allow: /wp-*.jpg Allow: /wp-*.jpeg Allow: /wp-*.gif Allow: /wp-admin/admin-ajax.php Sitemap: http://masters32.ru/sitemap.xml Sitemap: http://masters32.ru/sitemap.xml.gz Host: masters32.ru
-
Понял.
User-agent: * Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-content/plugins Disallow: /wp-content/cache Disallow: /wp-json/ Disallow: /xmlrpc.php Disallow: /readme.html Disallow: /*? Disallow: /?s= Allow: /*.css Allow: /*.js Host: masters32.ru Sitemap: http://masters32.ru/sitemap.xmlТак лучше наверное будет
я вам, по большому секрету, скажу, что если на диске файла robots.txt нет,
то WordPress совместно с SEO плагином отдают виртуальный файл, его конечно стоит перепроверить на корректность, но обычно в нем необходимо и достаточно правил для сайта.запреты на индексацию и просмотр URL должны управляться не в robots.txt
А SEO плагином (на уровне мета-тегов страниц)
или плагином «безопасности», который не позволит «шерстить», допустим, страницы авторов, и не просто на рекомендательном уровне, на который боты чихать хотели, а настоящей блокировкой
- Тема «дубли в карте sitemap» закрыта для новых ответов.