Robots.txt

  • djstrab

    (@djstrab)


    11 лет, 8 месяцев назад

    Здравствуйте, у меня новый сайт, уже как 5 дней прошло с момента заливки контента и размещения внешней ссылки на него но ни одной проиндексированной яндексом страницы нет(((, в логах тоже ни одного бота от яндекса небыло, ни плохого ни хорошего(((, что делать? Может что то не так в robots.txt? Вот собственно он сам

    User-agent: *
    Disallow: /wp-admin
    Disallow: /wp-login
    Disallow: /wp-includes
    Disallow: /wp-content/plugins/
    Disallow: /wp-content/cache
    Disallow: /wp-content/themes
    Disallow: /xmlrpc.php
    Disallow: /*?*
    Disallow: /*attachment*
    Disallow: /trackback/
    Disallow: /tag/
    Sitemap: http://тут мой сайт, пока не хочу его всем показывать/sitemap.xml.gz
    Sitemap: http://тут мой сайт, пока не хочу его всем показывать/sitemap.xml

    User-agent: Yandex
    Disallow: /wp-admin
    Disallow: /wp-login
    Disallow: /wp-includes
    Disallow: /wp-content/plugins/
    Disallow: /wp-content/cache
    Disallow: /wp-content/themes
    Disallow: /xmlrpc.php
    Disallow: /*?*
    Disallow: /*%*
    Disallow: /*attachment*
    Disallow: /trackback/
    Disallow: /tag/
    Host: тут мой сайт, пока не хочу его всем показывать.ru

Просмотр 8 ответов — с 1 по 8 (всего 8)
  • Budun

    (@budun)

    11 лет, 8 месяцев назад

    Убери эту строку Disallow: /*?*
    Из моей переписки с Платоном:
    Прошу прощения за столь длительную задержку с ответом.
    Ранее индексирование указанных страниц было запрещено правилом Disallow: /*?* в Вашем robots.txt.
    Так как сейчас этот запрет отсутствует, робот уже обошёл их, и, скорее всего, некоторые из них появятся в выдаче уже после очередного обновления поисковых баз. Это должно произойти в течение недели.

    Автор djstrab

    (@djstrab)

    11 лет, 8 месяцев назад

    Ок, спс, попробую, хм тем неменее гуглу это не мешало в индексации…

    Автор djstrab

    (@djstrab)

    11 лет, 8 месяцев назад

    Убрал эту злейшую строку еще 2 дня назад, боты стали приходить, а конкретно — YandexBot/3.0; +http://yandex.com/bots, на сколько я знаю это основной индексирующий бот. Но по прежнему в индесе ни одной страницы… Подскажите пожалуйста в чем еще может быть проблема. Контент заливал уникальный, читабельный. Перелинковку сделал (вроде грамотно, по три анонса в каждой статье), сайт мап.хмл тоже сделал, шаблон уникальный, через яндекс адурилку не добавлял сайт, а купил внешнюю ссылку на морде норм сайта, ссылка эта норм распознается, то есть не в ноиндексе, ключевики стронгом и тайтл выделял + через сео все в одном плагин делал доболнительный тайтл, дискрипшн и кейвордс (с ключевиками естесно). Может все таки еще что нибудь не так в роботсе? или что, я незнаю уже в чем проблема, подскажите добрые люди!!!!

    ps: почему-то бешеный гугл из возможных максимум 100+ страниц проиндексировал 32800 страниц, да, именно тысяч!

    LadyN

    (@ladyn)

    11 лет, 8 месяцев назад

    «ps: почему-то бешеный гугл из возможных максимум 100+ страниц проиндексировал 32800 страниц, да, именно тысяч! «
    Скорее всего, у Вас проиндексированы дубликаты страниц.

    Автор djstrab

    (@djstrab)

    11 лет, 8 месяцев назад

    Вроде как дубли закрыты в noindex. Да и даже если так, то сколько этж дублей…

    alexpts

    (@alexpts)

    11 лет, 8 месяцев назад

    У многих встречается последнее время правило Disallow: /*?*, у кого вы их необдуманно копируете?

    Автор djstrab

    (@djstrab)

    11 лет, 8 месяцев назад

    Вот после того как выучил на зубок все основные заперты роботс’а, написал его сам, ибо robots.txt оч оч важная и нужная штукенция…

    SeVlad

    (@sevlad)

    11 лет, 8 месяцев назад

    ибо robots.txt оч оч важная и нужная штукенция…

    угу 🙂

Просмотр 8 ответов — с 1 по 8 (всего 8)
  • Тема «Robots.txt» закрыта для новых ответов.