Поддержка → Проблемы и решения → В целом вопросы о robots.txt

В целом вопросы о robots.txt

  • anon337

    (@anon337)


    8 лет, 10 месяцев назад

    Я тут себе сайт уже сделал, статьи залил, и хочу кидать в индекс гугла и яши, но такое дело, мне нужно, что бы дерьмо в индексе не плавало, помню еще сайта на другом двиге кидал в индекс, и там категории заиндексировались, и прочий шлак, потом прямо выбить это из индекса неудавалось. В той CMS я решение нашел, а тут не могу, погуглив немного я нашел лишь блокирование разделов типа /wp-admin и т.д, да и там текста очень много. В той же CMS (это DLE) я как делал, перенаправлял robots.txt на (не помню какой) .php файл, и там уже были условия, что индексировать, что нет, и очень очень развернуто. Как в WP сделать так, что бы категории сайта не летели в индекс?

    Да и вобще хочу поднять тему, что лучше не давать индексировать, и как лучше это реализовать? Нагугленные статьи не понравились, тут явно сидят люди поумней, надеюсь.

Просмотр 15 ответов — с 1 по 15 (всего 17)
1 2
  • Модератор Yui

    (@fierevere)

    永子

    8 лет, 10 месяцев назад

    https://wordpress.org/plugins/all-in-one-seo-pack/

    или

    https://wordpress.org/plugins/wordpress-seo/

    используете настройки плагина

    Автор anon337

    (@anon337)

    8 лет, 10 месяцев назад

    Ой не хочу плагины юзать, эта дрянь ужасно затупляет сайт, нет разве способа руками сделать?

    Flector

    (@flector)

    8 лет, 10 месяцев назад

    заюзайте любой стандартный robots.txt, благо гуглятся они на ура.

    Модератор Yui

    (@fierevere)

    永子

    8 лет, 10 месяцев назад

    Ой не хочу плагины юзать,

    это wordpress, тут на (почти) любой чих ставится плагин

    эта дрянь ужасно затупляет сайт,

    если наставить кучу — да

    нет разве способа руками сделать?

    вносить в robots.txt каждую рубрику , архив по датам и теги? да пожалуйста… Но плагин для SEO все же гораздо удобнее, sitemap.xml , canonical и ключевые слова для каждой записи бонусом

    Автор anon337

    (@anon337)

    8 лет, 10 месяцев назад

    >это wordpress, тут на (почти) любой чих ставится плагин
    Чёрт знает, я уже сделал полностью работоспособный сайт и обошелся без единого плагина, всё ручками.

    >вносить в robots.txt каждую рубрику , архив по датам и теги?
    Да почему каждую? Просто добавить правило, которое запрещало бы индексировать все рубрики, разве такого нет? А архивом по датам и тегами я не пользуюсь. Просто ой как не хочеться пихать плагин ради одного этого.

    >Но плагин для SEO все же гораздо удобнее, sitemap.xml , canonical и ключевые слова для каждой записи бонусом
    Всё это я делаю руками, серьезно, не вижу надобности

    Автор anon337

    (@anon337)

    8 лет, 10 месяцев назад

    Еще один вопрос пожалуйста. Я сделал себе такой robots.txt, но гугл принял ссылки, которые только я дал ему в sitemap.xml, а все остальные поисковики просто не принимают к себе сайт, что не так? Вот robots —

    User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Host: site.ru

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Sitemap: http://site.ru/sitemap.xml

    1596754as98

    (@adminstrelok)

    8 лет, 10 месяцев назад

    Не путайте гугл и другие поисковики. Если в поиске гугла новая статья может появиться через несколько часов — то к примеру в яндексе — в лучшем случае через несколько дней….

    1596754as98

    (@adminstrelok)

    8 лет, 10 месяцев назад

    Всё это я делаю руками, серьезно, не вижу надобности

    Как следует из из этой вашей темы надобность есть….

    Вы бы действительно не чудили и поставили SEO плагин. И тогда голова болеть не будет ни за sitemap.xml ни за robots.txt. ни за другие приятные и полезные фишки. Только надо по уму настроить плагин. Будет вам и динамическая карта и легко редактируемый роботс….
    Вот пример карты сайта, создаваемой самым популярным seo плагином

    Кстати seo плагины не из той категории, которые реально тормозят сайт….

    Модератор Yui

    (@fierevere)

    永子

    8 лет, 10 месяцев назад

    Disallow: /wp-includes

    как минимум гугл теперь за такое штрафанет,
    они хотят доступ к js и css сайта, чтобы оценивать его вид и удобство использования. втч для мобильных устр-в

    Flector

    (@flector)

    8 лет, 10 месяцев назад

    как минимум гугл теперь за такое штрафанет,

    не штрафанет. ему по большому счету на это побоку.
    а мобильный вид настраивается в css, который не закрыт.

    Модератор Yui

    (@fierevere)

    永子

    8 лет, 10 месяцев назад

    https://yoast.com/google-panda-robots-css-js/

    https://core.trac.wordpress.org/changeset/28794
    https://core.trac.wordpress.org/ticket/28604

    Flector

    (@flector)

    8 лет, 10 месяцев назад

    и что с того?
    там даже скрин приведен сайта без css файлов.
    причем тут js-скрипты?

    если вид сайта полностью не зависит от jquery, то гуглу побоку имеет он доступ к этому скрипту или нет.

    Автор anon337

    (@anon337)

    8 лет, 10 месяцев назад

    >>Не путайте гугл и другие поисковики. Если в поиске гугла новая статья может появиться через несколько часов — то к примеру в яндексе — в лучшем случае через несколько дней….
    Все мои сайты поисковики брали МАКСИМУМ за день, при том, что они были в хлам убожеские, этот же более менее оптимизировал и настроил. Дело в том, что гугл вроде взял все страницы указанные в sitemap.xml НО в Индекс Google > Статус индексирования указано, такая тема Проиндексировано всего 0 … Может все же есть проблемы?

    Flector

    (@flector)

    8 лет, 10 месяцев назад

    что вы хотите услышать? что до этого вам везло?
    у меня сейчас сайты ждут индексации новых страниц в яндексе уже второй месяц — яндекс сейчас вообще непонятно чем занимается.

    а гугл — причем тут sitemap.xml? запрос попробуйте по site:домен — гугл вебмастер может обновляться куда дольше, чем реальный индекс.

    Автор anon337

    (@anon337)

    8 лет, 10 месяцев назад

    Бред какой-то, что бы так сильно везло.. Ну ладно, подожду в таком случае, может действительно тупят поисковики.

    —

    Да и я тут robots.txt переделал, такой не убьет индексацию? Оцените пожалуйста.

    User-agent: *
Allow: /wp-content/uploads/
Disallow: /cgi-bin
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: /category/
Disallow: /author/
Disallow: /page/
Disallow: /tag/
Disallow: /feed/
Disallow: */feed
Disallow: */trackback
Disallow: */comments
Disallow: /*?
Disallow: /*?*
Disallow: /*.php

User-agent: Yandex
Allow: /wp-content/uploads/
Disallow: /cgi-bin
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: /category/
Disallow: /author/
Disallow: /page/
Disallow: /tag/
Disallow: /feed/
Disallow: */feed
Disallow: */trackback
Disallow: */comments
Disallow: /*?
Disallow: /*?*
Disallow: /*.php

Host: site.ru
Sitemap: http://site.ru/sitemap.xml

    Спасибо

Просмотр 15 ответов — с 1 по 15 (всего 17)
1 2
  • Тема «В целом вопросы о robots.txt» закрыта для новых ответов.

Метки темы

Просмотр