Robots.txt под WP и Яша

  • Решено taktomedia

    (@taktomedia)


    14 лет, 1 месяц назад

    Добрый вечер. Хотелось бы попросит людей, которые соображают в конструкциях роботс.тхт для вп.
    Ситуация такая — в своем роботсе я уверен, думаю что составил правильно. Наклонил его на другие сайты которые были в индексе Яши, и теперь, по этим сайтам активно ходит робот, но страницы выпали из индекса.

    Думаю это не в силу некачественных ресурсов, все сдл. Для моего спокойствия, прокомментируйте пожалуйста ниже выложенный роботс. Буду очень благодарен.

    User-agent: *
    Disallow: /cgi-bin
    Disallow: /wp-admin
    Disallow: /wp-includes
    Disallow: /wp-content/plugins
    Disallow: /wp-content/cache
    Disallow: /wp-content/themes
    Disallow: /trackback
    Disallow: /feed
    Disallow: /comments
    Disallow: */trackback
    Disallow: */feed
    Disallow: */comments
    Sitemap: http://www.opticstoday.com/sitemap.xml

    User-agent: Yandex
    Disallow: /cgi-bin
    Disallow: /wp-admin
    Disallow: /wp-includes
    Disallow: /wp-content/plugins
    Disallow: /wp-content/cache
    Disallow: /wp-content/themes
    Disallow: /trackback
    Disallow: /feed
    Disallow: /comments
    Disallow: */trackback
    Disallow: */feed
    Disallow: */comments
    Sitemap: http://www.opticstoday.com/sitemap.xml

    # Google Image
    User-agent: Googlebot-Image
    Disallow:
    Allow: /*

    # Google AdSense
    User-agent: Mediapartners-Google*
    Disallow:
    Allow: /*

    # Internet Archiver Wayback Machine
    User-agent: ia_archiver
    Disallow: /

    # digg mirror
    User-agent: duggmirror
    Disallow: /

Просмотр 3 ответов — с 1 по 3 (всего 3)
  • wicked_kiD

    (@wicked_kid)

    14 лет, 1 месяц назад

    Яндекс может читать первый абзац, так что второй можно убрать, хотя если его оставить — никакой разницы не будет, а страницы из индекса выпали потому, что роботс.тхт это и делат, запрещает индексировать их, чтобы не дублировать контент, либо чтобы он не индексировал ненужные пользователю страницы. Вот мой, вдруг пригодится.

    User-Agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: /feed
Disallow: */feed
Disallow: /*?*
Disallow: /*?
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Host: урл.сайта
    Автор taktomedia

    (@taktomedia)

    14 лет, 1 месяц назад

    спасибо, я понял, из индекса выпал именно контент, который не запрещен в роботсе.

    Модератор Sergey Biryukov

    (@sergeybiryukov)

    Live and Learn

    14 лет, 1 месяц назад

    Возможно, на форуме о поисковых системах ответят подробнее.

Просмотр 3 ответов — с 1 по 3 (всего 3)
  • Тема «Robots.txt под WP и Яша» закрыта для новых ответов.

Метки