• Всем привет!
    Ребята имеет мой робот вот такое содержание:

    User-agent: *
    Disallow: /cgi-bin
    Disallow: /wp-admin
    Disallow: /wp-includes
    Disallow: /wp-content/plugins
    Disallow: /wp-content/cache
    Disallow: /wp-content/themes
    Disallow: /trackback
    Disallow: */trackback
    Disallow: */*/trackback
    Disallow: */*/feed/*/
    Disallow: */feed
    Disallow: /*?*
    Disallow: /tag
    Allow: /wp-content/uploads
    
    User-agent: Yandex
    Disallow: /cgi-bin
    Disallow: /wp-admin
    Disallow: /wp-includes
    Disallow: /wp-content/plugins
    Disallow: /wp-content/cache
    Disallow: /wp-content/themes
    Disallow: /trackback
    Disallow: */trackback
    Disallow: */*/trackback
    Disallow: */*/feed/*/
    Disallow: */feed
    Disallow: /*?*
    Disallow: /tag
    Allow: /wp-content/uploads
    Host: lifeact.ru
    Sitemap: http://lifeact.ru/sitemap.xml.gz
    Sitemap: http://lifeact.ru/sitemap.xml

    уже год он такой, на каком-то форуме его увидел, специально для ВП….

    а вот теперь услышал по поводу этого роботса вот что — После Allow: / далее все Disallow: / считаются недействительными.

    и что это значит, как его перестроить?

    Проверял поботс в панели яндекса… он его просто загружает и все… никаких рекомендаций….

Просмотр 4 ответов — с 1 по 4 (всего 4)
  • Модератор Yuri

    (@yube)

    После Allow: / далее все Disallow: / считаются недействительными.

    Ну, допустим. И где у Вас Disallow после Allow?

    Видимо, речь об этом:

    Allow: /wp-content/uploads

    User-agent: Yandex
    Disallow: /cgi-bin

    Строчка User-agent: Yandex запускает новый отсчёт правил. Поэтому в данном случае это нельзя считать «Disallow после Allow».

    Строчка User-agent: Yandex запускает новый отсчёт правил. Поэтому в данном случае это нельзя считать «Disallow после Allow».

    спасибо большое

    Пожалуйста. =)

Просмотр 4 ответов — с 1 по 4 (всего 4)
  • Тема «Файл Robots.txt» закрыта для новых ответов.