Title: robots.txt в плагине Yoast SEO Last modified: 05.05.2019 --- # robots.txt в плагине Yoast SEO * [metridat](https://ru.wordpress.org/support/users/metridat/) * (@metridat) * [7 лет, 5 месяцев назад](https://ru.wordpress.org/support/topic/robots-txt-%d0%b2-%d0%bf%d0%bb%d0%b0%d0%b3%d0%b8%d0%bd%d0%b5-yoast-seo/) * Приветствую подскажите как сделать нормальный роботс.У меня щас смотрю в плагине так * User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php * Что обозначает строчка Allow: /wp-admin/admin-ajax.php я в поисковике нашёл. Непойму только нужна она в роботсе или нет. И как вообще прописать robots. правильно, рубрики у меня в самом плагине закрыты от индексации. Просмотр 10 ответов — с 1 по 10 (всего 10) * Автор [metridat](https://ru.wordpress.org/support/users/metridat/) * (@metridat) * [7 лет, 5 месяцев назад](https://ru.wordpress.org/support/topic/robots-txt-%d0%b2-%d0%bf%d0%bb%d0%b0%d0%b3%d0%b8%d0%bd%d0%b5-yoast-seo/#post-323056) * Вот так если сделать нормаль будет * ``` User-agent: * # Для всех поисковых систем, кроме Яндекса и Гугла Disallow: /cgi-bin Disallow: /? Disallow: /wp- Disallow: *?s= Disallow: *&s= Disallow: /search/ Disallow: /author/ Disallow: /users/ Disallow: */trackback Disallow: */feed Disallow: */rss Disallow: */embed Disallow: /xmlrpc.php Disallow: *utm= Disallow: *openstat= Disallow: /tag/ # Закрываем метки Disallow: /readme.html # Закрываем бесполезный мануал по установке WordPress (лежит в корне) Disallow: *?replytocom Allow: */uploads User-agent: GoogleBot # Для Гугла Disallow: /cgi-bin Disallow: /? Disallow: /wp- Disallow: *?s= Disallow: *&s= Disallow: /search/ Disallow: /author/ Disallow: /users/ Disallow: */trackback Disallow: */feed Disallow: */rss Disallow: */embed Disallow: /xmlrpc.php Disallow: *utm= Disallow: *openstat= Disallow: /tag/ # Закрываем метки Disallow: /readme.html Disallow: *?replytocom Allow: */uploads Allow: /*/*.js Allow: /*/*.css Allow: /wp-*.png Allow: /wp-*.jpg Allow: /wp-*.jpeg Allow: /wp-*.gif Allow: /wp-admin/admin-ajax.php User-agent: Yandex # Для Яндекса Disallow: /cgi-bin Disallow: /? Disallow: /wp- Disallow: *?s= Disallow: *&s= Disallow: /search/ Disallow: /author/ Disallow: /users/ Disallow: */trackback Disallow: */feed Disallow: */rss Disallow: */embed Disallow: /xmlrpc.php Disallow: /tag/ # Закрываем метки Disallow: /readme.html Disallow: *?replytocom Allow: */uploads Allow: /*/*.js Allow: /*/*.css Allow: /wp-*.png Allow: /wp-*.jpg Allow: /wp-*.jpeg Allow: /wp-*.gif Allow: /wp-admin/admin-ajax.php Clean-Param: utm_source&utm_medium&utm_campaign Clean-Param: openstat Sitemap: https://site.com/sitemap_index.xml # Карта сайта, меняем site.com на нужный адрес. ``` * [O](https://ru.wordpress.org/support/users/perdyllo/) * (@perdyllo) * [7 лет, 5 месяцев назад](https://ru.wordpress.org/support/topic/robots-txt-%d0%b2-%d0%bf%d0%bb%d0%b0%d0%b3%d0%b8%d0%bd%d0%b5-yoast-seo/#post-323066) * > И как вообще прописать robots. правильно * Не надо делать никаких robots.txt Это все вчерашний день и ненужные телодвижения. В корне сайта физический robots.txt никому не нужен. Он сейчас генерируется на лету автоматически и согласно ваших настроек сео плагина. Все что в нем долно быть прописано уже прописано. А то вы своими неумелыми руками наоборот дров наломаете. Забудьте про это. Лучше досконально разберитесь в настройках сео плагина. - Ответ изменён 7 лет, 5 месяцев назад пользователем [O](https://ru.wordpress.org/support/users/perdyllo/). * Автор [metridat](https://ru.wordpress.org/support/users/metridat/) * (@metridat) * [7 лет, 5 месяцев назад](https://ru.wordpress.org/support/topic/robots-txt-%d0%b2-%d0%bf%d0%bb%d0%b0%d0%b3%d0%b8%d0%bd%d0%b5-yoast-seo/#post-323068) * > Не надо делать никаких robots.txt Это все вчерашний день и ненужные телодвижения. > В корне сайта физический robots.txt никому не нужен. Он сейчас генерируется > на лету автоматически и согласно ваших настроек сео плагина. * Интересно а на вашем сайте тоже роботса нету. * Модератор [Yui](https://ru.wordpress.org/support/users/fierevere/) * (@fierevere) * 永子 * [7 лет, 5 месяцев назад](https://ru.wordpress.org/support/topic/robots-txt-%d0%b2-%d0%bf%d0%bb%d0%b0%d0%b3%d0%b8%d0%bd%d0%b5-yoast-seo/#post-323070) * такая портянка, без ее понимания, определенно только во вред. Больше — не значит лучше. * > строчка Allow: /wp-admin/admin-ajax.php я в поисковике нашёл. Непойму только > нужна она в роботсе или нет * если тема сайта (или плагины) использует Ajax — эта строка нужна, чтобы разрешить его для поисковиков, они не любят если им закрывают js,css и ajax - Ответ изменён 7 лет, 5 месяцев назад пользователем [Yui](https://ru.wordpress.org/support/users/fierevere/). * [O](https://ru.wordpress.org/support/users/perdyllo/) * (@perdyllo) * [7 лет, 5 месяцев назад](https://ru.wordpress.org/support/topic/robots-txt-%d0%b2-%d0%bf%d0%bb%d0%b0%d0%b3%d0%b8%d0%bd%d0%b5-yoast-seo/#post-323074) * > Интересно а на вашем сайте тоже роботса нету * О каком сайте речь? * Автор [metridat](https://ru.wordpress.org/support/users/metridat/) * (@metridat) * [7 лет, 5 месяцев назад](https://ru.wordpress.org/support/topic/robots-txt-%d0%b2-%d0%bf%d0%bb%d0%b0%d0%b3%d0%b8%d0%bd%d0%b5-yoast-seo/#post-323077) * > такая портянка, без ее понимания, определенно только во вред. > Больше — не > значит лучше. * Я проанализировал первую двадцатку в выдаче яндекса ни укого такого нет. Увсех по проще. * > если тема сайта (или плагины) использует Ajax — эта строка нужна, чтобы разрешить > его для поисковиков, они не любят если им закрывают js,css и ajax * А как определить это, использует или нет? Где смотреть, или может просто разрешить? * [O](https://ru.wordpress.org/support/users/perdyllo/) * (@perdyllo) * [7 лет, 5 месяцев назад](https://ru.wordpress.org/support/topic/robots-txt-%d0%b2-%d0%bf%d0%bb%d0%b0%d0%b3%d0%b8%d0%bd%d0%b5-yoast-seo/#post-323078) * > А как определить это, использует или нет? или может просто разрешить? * Ну и разрешите. Хуже не будет в любом случае. Но не на том вы зациклились. Потратьте свое время и энергию на другие, более полезные дела в работе над своим сайтом. * Автор [metridat](https://ru.wordpress.org/support/users/metridat/) * (@metridat) * [7 лет, 5 месяцев назад](https://ru.wordpress.org/support/topic/robots-txt-%d0%b2-%d0%bf%d0%bb%d0%b0%d0%b3%d0%b8%d0%bd%d0%b5-yoast-seo/#post-323079) * > Потратьте свое время и энергию на другие, более полезные дела в работе над > своим сайтом. * Да их много полезных, я уже не знаю за что хвататься, но с чего-то начинать надо. Меня всё беспокоит Вебмастер со своими непонятными исключёнными страницами. Я вот такие типа этих /wp-json/ и /feed/ хочу в роботсе исключить. И ещё пару штук. Пишет /wp-json/ неподдерживаемый формат. - Ответ изменён 7 лет, 5 месяцев назад пользователем [metridat](https://ru.wordpress.org/support/users/metridat/). - Ответ изменён 7 лет, 5 месяцев назад пользователем [metridat](https://ru.wordpress.org/support/users/metridat/). * Модератор [Sergey Biryukov](https://ru.wordpress.org/support/users/sergeybiryukov/) * (@sergeybiryukov) * Live and Learn * [7 лет, 5 месяцев назад](https://ru.wordpress.org/support/topic/robots-txt-%d0%b2-%d0%bf%d0%bb%d0%b0%d0%b3%d0%b8%d0%bd%d0%b5-yoast-seo/#post-323092) * > Что обозначает строчка Allow: /wp-admin/admin-ajax.php я в поисковике нашёл. > Непойму только нужна она в роботсе или нет. * Нужна, иначе по умолчанию её бы не было: * > Many themes also use asynchronous JavaScript requests — so-called AJAX — to > add content to web pages. WordPress used to block Google from this by default, > so I created [a ticket](https://core.trac.wordpress.org/ticket/33156) to update > WordPress Core to allow Google to crawl the `admin-ajax.php` URL in `wp-admin`. > This was fixed in WordPress 4.4. * [_WordPress robots.txt_ An example for great SEO](https://yoast.com/wordpress-robots-txt-example/)[ yoast.com] * > Disallow: /wp- * Сюда попадал бы и каталог `wp-includes`, который исключать не нужно: * > Previous best practice of blocking access to your `wp-includes` directory and > your plugins directory via `robots.txt` is no longer valid, which is why, in > WordPress 4.0, I [opened the issue and wrote the patch](https://core.trac.wordpress.org/ticket/28604) > to remove `wp-includes/.*` from the default WordPress `robots.txt`. * [_WordPress robots.txt_ An example for great SEO](https://yoast.com/wordpress-robots-txt-example/)[ yoast.com] * > Пишет /wp-json/ неподдерживаемый формат. * Адрес `/wp-json/` [закрыт от индексации](https://core.trac.wordpress.org/ticket/36390) три года назад. Если Яндекс продолжает ругаться — это предупреждение, но не ошибка. Заголовок `X-Robots-Tag: noindex` он [должен учитывать](https://yandex.ru/support/webmaster/controlling-robot/meta-robots.html). * Автор [metridat](https://ru.wordpress.org/support/users/metridat/) * (@metridat) * [7 лет, 5 месяцев назад](https://ru.wordpress.org/support/topic/robots-txt-%d0%b2-%d0%bf%d0%bb%d0%b0%d0%b3%d0%b8%d0%bd%d0%b5-yoast-seo/#post-323150) * Вот такой простенький пойдёт User-agent: * Disallow: /wp-admin/ Disallow: /author/ Disallow: /wp-json/ Disallow: */feed Disallow: */rss Allow: /wp-admin/admin-ajax. php * Sitemap: [https://site.ru/sitemap_index.xml](https://site.ru/sitemap_index.xml) * Host: [https://site.ru](https://site.ru) И как правильно вписать туда /wp-includes/ wlwmanifest.xml или я так понял что лучше это не исключать. Просто не хочется чтобы боты свои силы тратили на то что не нужно. - Ответ изменён 7 лет, 5 месяцев назад пользователем [metridat](https://ru.wordpress.org/support/users/metridat/). - Ответ изменён 7 лет, 5 месяцев назад пользователем [metridat](https://ru.wordpress.org/support/users/metridat/). Просмотр 10 ответов — с 1 по 10 (всего 10) Тема «robots.txt в плагине Yoast SEO» закрыта для новых ответов. ## Метки * [robots.txt](https://ru.wordpress.org/support/topic-tag/robots-txt/) * Форум: [Проблемы и решения](https://ru.wordpress.org/support/forum/how-to-and-troubleshooting/) * 10 ответов * 4 участника * Последний ответ: [metridat](https://ru.wordpress.org/support/users/metridat/) * Последняя активность: [7 лет, 5 месяцев назад](https://ru.wordpress.org/support/topic/robots-txt-%d0%b2-%d0%bf%d0%bb%d0%b0%d0%b3%d0%b8%d0%bd%d0%b5-yoast-seo/#post-323150) * Статус: нерешённая ## Темы ### Самые популярные темы ### Темы без ответов ### Без вопроса ### Решённые ### Нерешённые ### Все темы