Поддержка Проблемы и решения В целом вопросы о robots.txt

  • Я тут себе сайт уже сделал, статьи залил, и хочу кидать в индекс гугла и яши, но такое дело, мне нужно, что бы дерьмо в индексе не плавало, помню еще сайта на другом двиге кидал в индекс, и там категории заиндексировались, и прочий шлак, потом прямо выбить это из индекса неудавалось. В той CMS я решение нашел, а тут не могу, погуглив немного я нашел лишь блокирование разделов типа /wp-admin и т.д, да и там текста очень много. В той же CMS (это DLE) я как делал, перенаправлял robots.txt на (не помню какой) .php файл, и там уже были условия, что индексировать, что нет, и очень очень развернуто. Как в WP сделать так, что бы категории сайта не летели в индекс?

    Да и вобще хочу поднять тему, что лучше не давать индексировать, и как лучше это реализовать? Нагугленные статьи не понравились, тут явно сидят люди поумней, надеюсь.

Просмотр 15 ответов — с 1 по 15 (всего 17)
  • Модератор Yui

    (@fierevere)

    ゆい

    https://wordpress.org/plugins/all-in-one-seo-pack/

    или

    https://wordpress.org/plugins/wordpress-seo/

    используете настройки плагина

    Ой не хочу плагины юзать, эта дрянь ужасно затупляет сайт, нет разве способа руками сделать?

    заюзайте любой стандартный robots.txt, благо гуглятся они на ура.

    Модератор Yui

    (@fierevere)

    ゆい

    Ой не хочу плагины юзать,

    это wordpress, тут на (почти) любой чих ставится плагин

    эта дрянь ужасно затупляет сайт,

    если наставить кучу — да

    нет разве способа руками сделать?

    вносить в robots.txt каждую рубрику , архив по датам и теги? да пожалуйста… Но плагин для SEO все же гораздо удобнее, sitemap.xml , canonical и ключевые слова для каждой записи бонусом

    >это wordpress, тут на (почти) любой чих ставится плагин
    Чёрт знает, я уже сделал полностью работоспособный сайт и обошелся без единого плагина, всё ручками.

    >вносить в robots.txt каждую рубрику , архив по датам и теги?
    Да почему каждую? Просто добавить правило, которое запрещало бы индексировать все рубрики, разве такого нет? А архивом по датам и тегами я не пользуюсь. Просто ой как не хочеться пихать плагин ради одного этого.

    >Но плагин для SEO все же гораздо удобнее, sitemap.xml , canonical и ключевые слова для каждой записи бонусом
    Всё это я делаю руками, серьезно, не вижу надобности

    Еще один вопрос пожалуйста. Я сделал себе такой robots.txt, но гугл принял ссылки, которые только я дал ему в sitemap.xml, а все остальные поисковики просто не принимают к себе сайт, что не так? Вот robots —

    User-agent: Yandex
    Disallow: /cgi-bin
    Disallow: /wp-admin
    Disallow: /wp-includes
    Disallow: /wp-content/plugins
    Disallow: /wp-content/cache
    Disallow: /wp-content/themes
    Disallow: /wp-trackback
    Disallow: /wp-feed
    Disallow: /wp-comments
    Disallow: */trackback
    Disallow: */feed
    Disallow: */comments
    Host: site.ru
    
    User-agent: *
    Disallow: /cgi-bin
    Disallow: /wp-admin
    Disallow: /wp-includes
    Disallow: /wp-content/plugins
    Disallow: /wp-content/cache
    Disallow: /wp-content/themes
    Disallow: /wp-trackback
    Disallow: /wp-feed
    Disallow: /wp-comments
    Disallow: */trackback
    Disallow: */feed
    Disallow: */comments
    Sitemap: http://site.ru/sitemap.xml

    Не путайте гугл и другие поисковики. Если в поиске гугла новая статья может появиться через несколько часов — то к примеру в яндексе — в лучшем случае через несколько дней….

    Всё это я делаю руками, серьезно, не вижу надобности

    Как следует из из этой вашей темы надобность есть….

    Вы бы действительно не чудили и поставили SEO плагин. И тогда голова болеть не будет ни за sitemap.xml ни за robots.txt. ни за другие приятные и полезные фишки. Только надо по уму настроить плагин. Будет вам и динамическая карта и легко редактируемый роботс….
    Вот пример карты сайта, создаваемой самым популярным seo плагином

    Кстати seo плагины не из той категории, которые реально тормозят сайт….

    Модератор Yui

    (@fierevere)

    ゆい

    Disallow: /wp-includes

    как минимум гугл теперь за такое штрафанет,
    они хотят доступ к js и css сайта, чтобы оценивать его вид и удобство использования. втч для мобильных устр-в

    как минимум гугл теперь за такое штрафанет,

    не штрафанет. ему по большому счету на это побоку.
    а мобильный вид настраивается в css, который не закрыт.

    Модератор Yui

    (@fierevere)

    ゆい

    и что с того?
    там даже скрин приведен сайта без css файлов.
    причем тут js-скрипты?

    если вид сайта полностью не зависит от jquery, то гуглу побоку имеет он доступ к этому скрипту или нет.

    >>Не путайте гугл и другие поисковики. Если в поиске гугла новая статья может появиться через несколько часов — то к примеру в яндексе — в лучшем случае через несколько дней….
    Все мои сайты поисковики брали МАКСИМУМ за день, при том, что они были в хлам убожеские, этот же более менее оптимизировал и настроил. Дело в том, что гугл вроде взял все страницы указанные в sitemap.xml НО в Индекс Google > Статус индексирования указано, такая тема Проиндексировано всего 0 … Может все же есть проблемы?

    что вы хотите услышать? что до этого вам везло?
    у меня сейчас сайты ждут индексации новых страниц в яндексе уже второй месяц — яндекс сейчас вообще непонятно чем занимается.

    а гугл — причем тут sitemap.xml? запрос попробуйте по site:домен — гугл вебмастер может обновляться куда дольше, чем реальный индекс.

    Бред какой-то, что бы так сильно везло.. Ну ладно, подожду в таком случае, может действительно тупят поисковики.

    Да и я тут robots.txt переделал, такой не убьет индексацию? Оцените пожалуйста.

    User-agent: *
    Allow: /wp-content/uploads/
    Disallow: /cgi-bin
    Disallow: /wp-admin/
    Disallow: /wp-includes/
    Disallow: /wp-content/plugins/
    Disallow: /wp-content/cache/
    Disallow: /wp-content/themes/
    Disallow: /wp-trackback
    Disallow: /wp-feed
    Disallow: /wp-comments
    Disallow: /category/
    Disallow: /author/
    Disallow: /page/
    Disallow: /tag/
    Disallow: /feed/
    Disallow: */feed
    Disallow: */trackback
    Disallow: */comments
    Disallow: /*?
    Disallow: /*?*
    Disallow: /*.php
    
    User-agent: Yandex
    Allow: /wp-content/uploads/
    Disallow: /cgi-bin
    Disallow: /wp-admin/
    Disallow: /wp-includes/
    Disallow: /wp-content/plugins/
    Disallow: /wp-content/cache/
    Disallow: /wp-content/themes/
    Disallow: /wp-trackback
    Disallow: /wp-feed
    Disallow: /wp-comments
    Disallow: /category/
    Disallow: /author/
    Disallow: /page/
    Disallow: /tag/
    Disallow: /feed/
    Disallow: */feed
    Disallow: */trackback
    Disallow: */comments
    Disallow: /*?
    Disallow: /*?*
    Disallow: /*.php
    
    Host: site.ru
    Sitemap: http://site.ru/sitemap.xml

    Спасибо

Просмотр 15 ответов — с 1 по 15 (всего 17)
  • Тема «В целом вопросы о robots.txt» закрыта для новых ответов.