robots.txt в плагине Yoast SEO
-
Приветствую подскажите как сделать нормальный роботс.У меня щас смотрю в плагине так
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.phpЧто обозначает строчка Allow: /wp-admin/admin-ajax.php я в поисковике нашёл. Непойму только нужна она в роботсе или нет. И как вообще прописать robots. правильно, рубрики у меня в самом плагине закрыты от индексации.
-
Вот так если сделать нормаль будет
User-agent: * # Для всех поисковых систем, кроме Яндекса и Гугла Disallow: /cgi-bin Disallow: /? Disallow: /wp- Disallow: *?s= Disallow: *&s= Disallow: /search/ Disallow: /author/ Disallow: /users/ Disallow: */trackback Disallow: */feed Disallow: */rss Disallow: */embed Disallow: /xmlrpc.php Disallow: *utm= Disallow: *openstat= Disallow: /tag/ # Закрываем метки Disallow: /readme.html # Закрываем бесполезный мануал по установке WordPress (лежит в корне) Disallow: *?replytocom Allow: */uploads User-agent: GoogleBot # Для Гугла Disallow: /cgi-bin Disallow: /? Disallow: /wp- Disallow: *?s= Disallow: *&s= Disallow: /search/ Disallow: /author/ Disallow: /users/ Disallow: */trackback Disallow: */feed Disallow: */rss Disallow: */embed Disallow: /xmlrpc.php Disallow: *utm= Disallow: *openstat= Disallow: /tag/ # Закрываем метки Disallow: /readme.html Disallow: *?replytocom Allow: */uploads Allow: /*/*.js Allow: /*/*.css Allow: /wp-*.png Allow: /wp-*.jpg Allow: /wp-*.jpeg Allow: /wp-*.gif Allow: /wp-admin/admin-ajax.php User-agent: Yandex # Для Яндекса Disallow: /cgi-bin Disallow: /? Disallow: /wp- Disallow: *?s= Disallow: *&s= Disallow: /search/ Disallow: /author/ Disallow: /users/ Disallow: */trackback Disallow: */feed Disallow: */rss Disallow: */embed Disallow: /xmlrpc.php Disallow: /tag/ # Закрываем метки Disallow: /readme.html Disallow: *?replytocom Allow: */uploads Allow: /*/*.js Allow: /*/*.css Allow: /wp-*.png Allow: /wp-*.jpg Allow: /wp-*.jpeg Allow: /wp-*.gif Allow: /wp-admin/admin-ajax.php Clean-Param: utm_source&utm_medium&utm_campaign Clean-Param: openstat Sitemap: https://site.com/sitemap_index.xml # Карта сайта, меняем site.com на нужный адрес.
И как вообще прописать robots. правильно
Не надо делать никаких robots.txt Это все вчерашний день и ненужные телодвижения. В корне сайта физический robots.txt никому не нужен. Он сейчас генерируется на лету автоматически и согласно ваших настроек сео плагина. Все что в нем долно быть прописано уже прописано. А то вы своими неумелыми руками наоборот дров наломаете. Забудьте про это. Лучше досконально разберитесь в настройках сео плагина.
-
Ответ изменён 5 лет, 9 месяцев назад пользователем
O.
Не надо делать никаких robots.txt Это все вчерашний день и ненужные телодвижения. В корне сайта физический robots.txt никому не нужен. Он сейчас генерируется на лету автоматически и согласно ваших настроек сео плагина.
Интересно а на вашем сайте тоже роботса нету.
такая портянка, без ее понимания, определенно только во вред.
Больше — не значит лучше.строчка Allow: /wp-admin/admin-ajax.php я в поисковике нашёл. Непойму только нужна она в роботсе или нет
если тема сайта (или плагины) использует Ajax — эта строка нужна, чтобы разрешить его для поисковиков, они не любят если им закрывают js,css и ajax
-
Ответ изменён 5 лет, 9 месяцев назад пользователем
Yui.
Интересно а на вашем сайте тоже роботса нету
О каком сайте речь?
такая портянка, без ее понимания, определенно только во вред.
Больше — не значит лучше.Я проанализировал первую двадцатку в выдаче яндекса ни укого такого нет. Увсех по проще.
если тема сайта (или плагины) использует Ajax — эта строка нужна, чтобы разрешить его для поисковиков, они не любят если им закрывают js,css и ajax
А как определить это, использует или нет? Где смотреть, или может просто разрешить?
А как определить это, использует или нет? или может просто разрешить?
Ну и разрешите. Хуже не будет в любом случае. Но не на том вы зациклились. Потратьте свое время и энергию на другие, более полезные дела в работе над своим сайтом.
Потратьте свое время и энергию на другие, более полезные дела в работе над своим сайтом.
Да их много полезных, я уже не знаю за что хвататься, но с чего-то начинать надо. Меня всё беспокоит Вебмастер со своими непонятными исключёнными страницами. Я вот такие типа этих /wp-json/ и /feed/ хочу в роботсе исключить. И ещё пару штук. Пишет /wp-json/ неподдерживаемый формат.
Что обозначает строчка Allow: /wp-admin/admin-ajax.php я в поисковике нашёл. Непойму только нужна она в роботсе или нет.
Нужна, иначе по умолчанию её бы не было:
Many themes also use asynchronous JavaScript requests — so-called AJAX — to add content to web pages. WordPress used to block Google from this by default, so I created a ticket to update WordPress Core to allow Google to crawl the
admin-ajax.php
URL inwp-admin
. This was fixed in WordPress 4.4.WordPress robots.txt An example for great SEO [yoast.com]
Disallow: /wp-
Сюда попадал бы и каталог
wp-includes
, который исключать не нужно:Previous best practice of blocking access to your
wp-includes
directory and your plugins directory viarobots.txt
is no longer valid, which is why, in WordPress 4.0, I opened the issue and wrote the patch to removewp-includes/.*
from the default WordPressrobots.txt
.WordPress robots.txt An example for great SEO [yoast.com]
Пишет /wp-json/ неподдерживаемый формат.
Адрес
/wp-json/
закрыт от индексации три года назад. Если Яндекс продолжает ругаться — это предупреждение, но не ошибка. ЗаголовокX-Robots-Tag: noindex
он должен учитывать.Вот такой простенький пойдёт
User-agent: *
Disallow: /wp-admin/
Disallow: /author/
Disallow: /wp-json/
Disallow: */feed
Disallow: */rss
Allow: /wp-admin/admin-ajax.phpSitemap: https://site.ru/sitemap_index.xml
Host: https://site.ru
И как правильно вписать туда /wp-includes/wlwmanifest.xml или я так понял что лучше это не исключать. Просто не хочется чтобы боты свои силы тратили на то что не нужно. -
Ответ изменён 5 лет, 9 месяцев назад пользователем
- Тема «robots.txt в плагине Yoast SEO» закрыта для новых ответов.