Поддержка Разное Robots.txt

Просмотр 10 ответов — с 1 по 10 (всего 10)
  • Модератор Yui

    (@fierevere)

    永子

    любой проходящий валидацию на яндекс/гугль 😀

    в принципе файл может и отсутствовать, вп в таком случае будет выдавать виртуальный, который вполне сойдет

    Ребят,подскажите—какой правильный должен быть Robots.txt

    Используйте самый популярный плагин для оптимизации сайта ALL IN SEO PACK и вы вполне обойдетесь без робот-текста.

    плагин для оптимизации сайта ALL IN SEO PACK и вы вполне обойдетесь без робот-текста.

    1. Не для «оптимизации», а для СЕО. Т.е. «оптимизации» для поисковых систем.
    2. Необходимость наличия роботса и его содержимое полностью зависит от сайта и целей, преследуемых его владельцем. Тут не может быть категоричных и однозначных советов. Нет и не может быть универсального роботса.

    Вопросы по роботсу не относятся к данному форуму и их лучше задавать (искать ответы) на спец. ресурсах. Например тут.

    SeVlad

    Вопросы по роботсу не относятся к данному форуму и их лучше задавать (искать ответы) на спец. ресурсах.

    Да, Вы правы, хотя позвольте все-таки возразить:
    Konstantin:

    Используйте самый популярный плагин для оптимизации сайта ALL IN SEO PACK и вы вполне обойдетесь без робот-текста.

    Потому как плагин-то Вордпрессовский, а, значит, тема имеет какое-то отношение к этому форуму. И пусть даже этот плагин будет Yoast by SEO — что это меняет?
    Дело в том, что загрузила сегодня на Гугл вебмастер карту своего сайта, а Гугл возьми да и выдай:

    Доступ к URL заблокирован в файле robots.txt.
    Файл Sitemap содержит URL, доступ к которым заблокирован в файле robots.txt.
    http://site.com/category-sitemap.xml
    http://site.com/page-sitemap.xml
    http://site.com/post-sitemap.xml

    То есть получается что заблокирован доступ ко ВСЕМУ сайту?!
    А вот часть этого роботса:

    User-agent: *
    Disallow: /wp-login.php
    Disallow: /wp-register.php
    Disallow: /webstat/
    Disallow: /feed/
    Disallow: */feed
    Disallow: /trackback
    Disallow: */trackback
    Disallow: /comments
    Disallow: */comments
    Disallow: /wp-comments
    Disallow: /wp-trackback
    Disallow: /wp-feed
    Disallow: /*?*
    Disallow: /*?
    Disallow: /category/*/*
    Disallow: /cgi-bin
    Disallow: /wp-content/plugins
    Disallow: /wp-content/themes
    Disallow: /wp-content/cache
    Disallow: /wp-admin/
    Disallow: /wp-includes/

    Я, конечно, дилетант, но как не смотрю, не могу понять — где тут ошибка. Но как раз перед отправкой карты Гуглу обновила плагин Yoast by SEO. Неужели он глючит?

    Потому как плагин-то Вордпрессовский, а, значит, тема имеет какое-то отношение к этому форуму. И пусть даже этот плагин будет Yoast by SEO — что это меняет?

    Плагины помогают реализовать какой-то функционал. (И форум может помочь в решении проблем в работе с плагинами)
    А вот что и как именно настраивать\заполнять — дело сугубо владельца. Попробуйте ещё раз перечитать (и понять) что я писал выше.

    Yui

    в принципе файл может и отсутствовать, вп в таком случае будет выдавать виртуальный, который вполне сойдет

    Интересно! А все-таки как он примерно выглядит «на бумаге», этот самый файл? Что в нем прописано? А еще вопрос: если на сайте есть какие-то файлы и директории, которые Ворпрессу неизвестны, т.к. их создавал/устанавливал сам владелец, то как с ними будет?

    Yui

    в принципе файл может и отсутствовать, вп в таком случае будет выдавать виртуальный, который вполне сойдет

    Интересно! А как он все-таки будет выглядеть «на бумаге», этот самый файл? Что именно в нем прописано? И еще вопрос: а как он будет воспринимать файлы и директории, которые ему незнакомы, потому что он добавил сам вебмастер сайта?

    Модератор Yuri

    (@yube)

    А как он все-таки будет выглядеть «на бумаге», этот самый файл? Что именно в нем прописано?

    А ввести в адресной строке хттп://домен/robots.txt и посмотреть — не царское дело? 🙂

    Юрий, ну конечно, «царевна» это может сделать:). Но речь тут шла о ВИРТУАЛЬНОМ роботсе, о существовании которого упомянул(а) Yui. Впрочем, что это я? Взять временно удалить реальный роботс и посмотреть через хттп://домен/robots.txt, как Вы советуете:). Спасибо!

    SeVlad

    Плагины помогают реализовать какой-то функционал. (И форум может помочь в решении проблем в работе с плагинами)
    А вот что и как именно настраивать\заполнять — дело сугубо владельца. Попробуйте ещё раз перечитать (и понять) что я писал выше.

    Да, разумеется, Вы правы. Ведь ТС начал свою тему так

    Ребят,подскажите—какой правильный должен быть Robots.txt

    А уж эта тема никак непосредственно к ВП не относится. Это, можно сказать, общая или базовая, или глобальная что-ли тема. Просто тут упомянули вордпрессовский плагин, а так верно.

Просмотр 10 ответов — с 1 по 10 (всего 10)
  • Тема «Robots.txt» закрыта для новых ответов.