Поддержка Проблемы и решения дубли в карте sitemap

  • Что прописать в robots.txt или это делается в плагине All in One Seo Pack? что то не закрыл наверное и на карте sitemap дубли страниц ведущие на главную например http://masters32.ru/773f79_l и http://masters32.ru/2015fg777
    Прописывал в robots.txt код
    Clean-Param: utm_source&utm_medium&utm_campaign
    Clean-Param: openstat
    но гугл что то заругался на данный код — невозможно не помню что, вроде распознать…
    Сейчас выглядит так:

    User-agent: *
    Disallow: /cgi-bin
    Disallow: /?
    Disallow: /admin/
    Disallow: /login/
    Disallow: /wp-
    Disallow: *?p=
    Disallow: *?s=
    Disallow: *&s=
    Disallow: /search/
    Disallow: /archive/
    Disallow: /author/
    Disallow: /users/
    Disallow: */trackback
    Disallow: */feed/
    Disallow: */rss/
    Disallow: */embed
    Disallow: */wlwmanifest.xml
    Disallow: /xmlrpc.php
    Disallow: *utm=
    Disallow: *openstat=
    Allow: */uploads
    
    User-agent: GoogleBot
    Disallow: /cgi-bin
    Disallow: /?
    Disallow: /admin/
    Disallow: /login/
    Disallow: /wp-
    Disallow: *?p=
    Disallow: *?s=
    Disallow: *&s=
    Disallow: /search/
    Disallow: /archive/
    Disallow: /author/
    Disallow: /users/
    Disallow: */trackback
    Disallow: */feed/
    Disallow: */rss/
    Disallow: */embed
    Disallow: */wlwmanifest.xml
    Disallow: /xmlrpc.php
    Disallow: *utm=
    Disallow: *openstat=
    Allow: */uploads
    Allow: /*/*.js
    Allow: /*/*.css
    Allow: /wp-*.png
    Allow: /wp-*.jpg
    Allow: /wp-*.jpeg
    Allow: /wp-*.gif
    Allow: /wp-admin/admin-ajax.php
    
    User-agent: Yandex
    Disallow: /cgi-bin
    Disallow: /?
    Disallow: /admin/
    Disallow: /login/
    Disallow: /wp-
    Disallow: *?p=
    Disallow: *?s=
    Disallow: *&s=
    Disallow: /search/
    Disallow: /archive/
    Disallow: /author/
    Disallow: /users/
    Disallow: */trackback
    Disallow: */feed/
    Disallow: */rss/
    Disallow: */embed
    Disallow: */wlwmanifest.xml
    Disallow: /xmlrpc.php
    Allow: */uploads
    Allow: /*/*.js
    Allow: /*/*.css
    Allow: /wp-*.png
    Allow: /wp-*.jpg
    Allow: /wp-*.jpeg
    Allow: /wp-*.gif
    Allow: /wp-admin/admin-ajax.php
    
    Sitemap: http://masters32.ru/sitemap.xml
    Sitemap: http://masters32.ru/sitemap.xml.gz
    Host: masters32.ru
Просмотр 11 ответов — с 1 по 11 (всего 11)
  • Что прописать

    Для начала расставить знаки препинания, чтобы можно было прочитать и понять этот поток сознания.

    дубли страниц ведущие на главную

    Это не дубли, а редирект.

    Не читайте говнобложики и будет Вам счастье.

    Модератор Yui

    (@fierevere)

    ゆい

    Не читайте говнобложики и будет Вам счастье.

    я бы добавила конкретики: не нужно тащить всякие непонятные тексты и коды, а также сомнительные рецепты себе на сайт, если вы не уверены в том, что они делают

    Ну а сам роботс годится?

    Ну а сам роботс годится?

    Бредовый. В нём должно быть только то, что РЕАЛЬНО нужно закрыть на ВАШЕМ сайте.
    Но это уже вопросы по СЕО, а не ВП.

    Понял.

    User-agent: *
    Disallow: /wp-admin
    Disallow: /wp-includes
    Disallow: /wp-content/plugins
    Disallow: /wp-content/cache
    Disallow: /wp-json/
    Disallow: /xmlrpc.php
    Disallow: /readme.html
    Disallow: /*?
    Disallow: /?s=
    Allow: /*.css
    Allow: /*.js
    Host: masters32.ru
    Sitemap: http://masters32.ru/sitemap.xml

    Так лучше наверное будет

    • Ответ изменён 4 года, 7 месяцев назад пользователем debryansk32.
    Модератор Yui

    (@fierevere)

    ゆい

    по части дублей и карты сайта XML важно не городить вавилоны безумных правил в robots.txt, а правильно настроить (так как вам нужно) SEO плагин и (если он отдельный) плагин создания карты сайта XML

    важно не городить вавилоны безумных правил в robots.txt

    Выше написал какой поставлю наверное. отдать сайт надо мастеру бывшему, остался только файл поправить этот и хотел уже отдавать

    Модератор Yui

    (@fierevere)

    ゆい

    я вам, по большому секрету, скажу, что если на диске файла robots.txt нет,
    то WordPress совместно с SEO плагином отдают виртуальный файл, его конечно стоит перепроверить на корректность, но обычно в нем необходимо и достаточно правил для сайта.

    запреты на индексацию и просмотр URL должны управляться не в robots.txt
    А SEO плагином (на уровне мета-тегов страниц)
    или плагином «безопасности», который не позволит «шерстить», допустим, страницы авторов, и не просто на рекомендательном уровне, на который боты чихать хотели, а настоящей блокировкой

    • Ответ изменён 4 года, 7 месяцев назад пользователем Yui.

    Спасибо оставлю последний

    Так лучше наверное будет

    Лучше чем было, но всё равно..
    Зачем показывать внутренности сайта, которые никак не индексируются?
    Более того — их запрет не позволит индексировать графику и скрипты, которые зачем-то нужны гуглу.
    Host уже не актуально, а вот ссылка на сжатую карту не помешает.

    Учите матчасть, а не читайте столетние ГСы https://yandex.ru/support/webmaster/controlling-robot/

    Оставил такой

    User-agent: *
    Disallow: /wp-admin
    Disallow: /wp-includes
    Disallow: /wp-content/plugins
    Disallow: /wp-content/cache
    Disallow: /wp-json/
    Disallow: /xmlrpc.php
    Disallow: /readme.html
    Disallow: /*?
    Disallow: /?s=
    Allow: /*.css
    Allow: /*.js
    Host: masters32.ru
    Sitemap: http://masters32.ru/sitemap.xml
    Sitemap: http://masters32.ru/sitemap.xml.gz
Просмотр 11 ответов — с 1 по 11 (всего 11)
  • Тема «дубли в карте sitemap» закрыта для новых ответов.