Robots.txt
-
любой проходящий валидацию на яндекс/гугль 😀
в принципе файл может и отсутствовать, вп в таком случае будет выдавать виртуальный, который вполне сойдет
Ребят,подскажите—какой правильный должен быть Robots.txt
Используйте самый популярный плагин для оптимизации сайта ALL IN SEO PACK и вы вполне обойдетесь без робот-текста.
плагин для оптимизации сайта ALL IN SEO PACK и вы вполне обойдетесь без робот-текста.
1. Не для «оптимизации», а для СЕО. Т.е. «оптимизации» для поисковых систем.
2. Необходимость наличия роботса и его содержимое полностью зависит от сайта и целей, преследуемых его владельцем. Тут не может быть категоричных и однозначных советов. Нет и не может быть универсального роботса.Вопросы по роботсу не относятся к данному форуму и их лучше задавать (искать ответы) на спец. ресурсах. Например тут.
SeVlad
Вопросы по роботсу не относятся к данному форуму и их лучше задавать (искать ответы) на спец. ресурсах.
Да, Вы правы, хотя позвольте все-таки возразить:
Konstantin:Используйте самый популярный плагин для оптимизации сайта ALL IN SEO PACK и вы вполне обойдетесь без робот-текста.
Потому как плагин-то Вордпрессовский, а, значит, тема имеет какое-то отношение к этому форуму. И пусть даже этот плагин будет Yoast by SEO — что это меняет?
Дело в том, что загрузила сегодня на Гугл вебмастер карту своего сайта, а Гугл возьми да и выдай:Доступ к URL заблокирован в файле robots.txt.
Файл Sitemap содержит URL, доступ к которым заблокирован в файле robots.txt.
http://site.com/category-sitemap.xml
http://site.com/page-sitemap.xml
http://site.com/post-sitemap.xmlТо есть получается что заблокирован доступ ко ВСЕМУ сайту?!
А вот часть этого роботса:User-agent: *
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /webstat/
Disallow: /feed/
Disallow: */feed
Disallow: /trackback
Disallow: */trackback
Disallow: /comments
Disallow: */comments
Disallow: /wp-comments
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /*?*
Disallow: /*?
Disallow: /category/*/*
Disallow: /cgi-bin
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-content/cache
Disallow: /wp-admin/
Disallow: /wp-includes/Я, конечно, дилетант, но как не смотрю, не могу понять — где тут ошибка. Но как раз перед отправкой карты Гуглу обновила плагин Yoast by SEO. Неужели он глючит?
Потому как плагин-то Вордпрессовский, а, значит, тема имеет какое-то отношение к этому форуму. И пусть даже этот плагин будет Yoast by SEO — что это меняет?
Плагины помогают реализовать какой-то функционал. (И форум может помочь в решении проблем в работе с плагинами)
А вот что и как именно настраивать\заполнять — дело сугубо владельца. Попробуйте ещё раз перечитать (и понять) что я писал выше.Yui
в принципе файл может и отсутствовать, вп в таком случае будет выдавать виртуальный, который вполне сойдет
Интересно! А все-таки как он примерно выглядит «на бумаге», этот самый файл? Что в нем прописано? А еще вопрос: если на сайте есть какие-то файлы и директории, которые Ворпрессу неизвестны, т.к. их создавал/устанавливал сам владелец, то как с ними будет?
Yui
в принципе файл может и отсутствовать, вп в таком случае будет выдавать виртуальный, который вполне сойдет
Интересно! А как он все-таки будет выглядеть «на бумаге», этот самый файл? Что именно в нем прописано? И еще вопрос: а как он будет воспринимать файлы и директории, которые ему незнакомы, потому что он добавил сам вебмастер сайта?
А как он все-таки будет выглядеть «на бумаге», этот самый файл? Что именно в нем прописано?
А ввести в адресной строке хттп://домен/robots.txt и посмотреть — не царское дело? 🙂
Юрий, ну конечно, «царевна» это может сделать:). Но речь тут шла о ВИРТУАЛЬНОМ роботсе, о существовании которого упомянул(а) Yui. Впрочем, что это я? Взять временно удалить реальный роботс и посмотреть через хттп://домен/robots.txt, как Вы советуете:). Спасибо!
SeVlad
Плагины помогают реализовать какой-то функционал. (И форум может помочь в решении проблем в работе с плагинами)
А вот что и как именно настраивать\заполнять — дело сугубо владельца. Попробуйте ещё раз перечитать (и понять) что я писал выше.Да, разумеется, Вы правы. Ведь ТС начал свою тему так
Ребят,подскажите—какой правильный должен быть Robots.txt
А уж эта тема никак непосредственно к ВП не относится. Это, можно сказать, общая или базовая, или глобальная что-ли тема. Просто тут упомянули вордпрессовский плагин, а так верно.
- Тема «Robots.txt» закрыта для новых ответов.