• Добрый день еще раз. Может не по теме но решить не могу. Столкнулся с таков проблемой очень по мне так неприятной.Google принял мой Robots.txt как-то непонятно. Вот что он выдал после индексации: Показать URL-адреса: В файле Sitemap ‎(11)‎ | Заблокирован файлом robots.txt ‎(9)‎ | Не найдено ‎(6)‎ | Недоступен ‎(1)‎ | Переход не выполнен ‎(3)‎. т.е те ссылки которые нормальные рабочие он пишет (URL, запрещенный файлом robots.txt) Кто что может подсказать плохо это тлт хорошо.
    Мой сайт вот http://kronshtain.ru/
    Мой роботс:
    User-agent: *

    Sitemap: http://kronshtain.ru/sitemap.xml

    sitemap: http://kronshtain.ru/montazh-2

    Disallow: /wp-admin
    Disallow: /wp-includes
    Disallow: /wp-content/plugins
    Disallow: /wp-content/cache
    Disallow: /wp-content/themes
    Disallow: /trackback
    Disallow: /feed
    Disallow: /comments
    Disallow: /*trackback
    Disallow: /*feed
    Disallow: /*comments

    User-agent: Yandex
    Disallow: /wp-admin
    Disallow: /wp-includes
    Disallow: /wp-content/plugins
    Disallow: /wp-content/cache
    Disallow: /wp-content/themes
    Disallow: /trackback
    Disallow: /feed
    Disallow: /comments
    Disallow: /*trackback
    Disallow: /*feed
    Disallow: /*comments

Просмотр 4 ответов — с 1 по 4 (всего 4)
  • User-Agent: *
    Disallow: /cgi-bin
    Disallow: /wp-admin
    Disallow: /wp-includes
    Disallow: /wp-content/plugins
    Disallow: /wp-content/cache
    Disallow: /wp-content/themes
    Disallow: /trackback
    Disallow: */trackback
    Disallow: /feed
    Disallow: */feed
    Disallow: /*?*
    Disallow: /*?
    Disallow: /wp-login.php
    Disallow: /wp-register.php
    Disallow: /xmlrpc.php
    Disallow: /goto/
    Host: wickedblog.ru
    Sitemap: http://wickedblog.ru/sitemap.xml.gz

    вот с таким у меня все работает хорошо…

    А зачем вставлять Host??? Никак не могу понять.

    Модератор Юрій

    (@yube)

    Чтобы Яшке сделать приятное 🙂

    А можно вставить допустим помимо страницы с картой сайта еще дргугю страницу??? Робота поменял скажу что изменится после индексации.

Просмотр 4 ответов — с 1 по 4 (всего 4)
  • Тема «Проблемы с Robots.txt для WordPress» закрыта для новых ответов.