Поддержка Проблемы и решения robots.txt в плагине Yoast SEO

  • Приветствую подскажите как сделать нормальный роботс.У меня щас смотрю в плагине так

    User-agent: *
    Disallow: /wp-admin/
    Allow: /wp-admin/admin-ajax.php

    Что обозначает строчка Allow: /wp-admin/admin-ajax.php я в поисковике нашёл. Непойму только нужна она в роботсе или нет. И как вообще прописать robots. правильно, рубрики у меня в самом плагине закрыты от индексации.

Просмотр 10 ответов — с 1 по 10 (всего 10)
  • Вот так если сделать нормаль будет

    
    User-agent: * # Для всех поисковых систем, кроме Яндекса и Гугла   
    Disallow: /cgi-bin          
    Disallow: /?                
    Disallow: /wp-              
    Disallow: *?s=              
    Disallow: *&s=             
    Disallow: /search/  
    Disallow: /author/
    Disallow: /users/      
    Disallow: */trackback                     
    Disallow: */feed            
    Disallow: */rss             
    Disallow: */embed          
    Disallow: /xmlrpc.php      
    Disallow: *utm=            
    Disallow: *openstat=  
    Disallow: /tag/ # Закрываем метки
    Disallow: /readme.html # Закрываем бесполезный мануал по установке WordPress (лежит в корне)
    Disallow: *?replytocom
    Allow: */uploads   
    
    User-agent: GoogleBot # Для Гугла
    Disallow: /cgi-bin
    Disallow: /?
    Disallow: /wp-
    Disallow: *?s=
    Disallow: *&s=
    Disallow: /search/
    Disallow: /author/
    Disallow: /users/
    Disallow: */trackback
    Disallow: */feed
    Disallow: */rss
    Disallow: */embed
    Disallow: /xmlrpc.php
    Disallow: *utm=
    Disallow: *openstat=
    Disallow: /tag/ # Закрываем метки
    Disallow: /readme.html
    Disallow: *?replytocom
    Allow: */uploads
    Allow: /*/*.js           
    Allow: /*/*.css           
    Allow: /wp-*.png          
    Allow: /wp-*.jpg
    Allow: /wp-*.jpeg
    Allow: /wp-*.gif
    Allow: /wp-admin/admin-ajax.php
    
    User-agent: Yandex # Для Яндекса
    Disallow: /cgi-bin
    Disallow: /?
    Disallow: /wp-
    Disallow: *?s=
    Disallow: *&s=
    Disallow: /search/
    Disallow: /author/
    Disallow: /users/
    Disallow: */trackback
    Disallow: */feed
    Disallow: */rss
    Disallow: */embed
    Disallow: /xmlrpc.php
    Disallow: /tag/ # Закрываем метки
    Disallow: /readme.html
    Disallow: *?replytocom
    Allow: */uploads
    Allow: /*/*.js
    Allow: /*/*.css
    Allow: /wp-*.png
    Allow: /wp-*.jpg
    Allow: /wp-*.jpeg
    Allow: /wp-*.gif
    Allow: /wp-admin/admin-ajax.php
    Clean-Param: utm_source&utm_medium&utm_campaign                          
    Clean-Param: openstat
    
    Sitemap: https://site.com/sitemap_index.xml # Карта сайта, меняем site.com на нужный адрес.
    

    И как вообще прописать robots. правильно

    Не надо делать никаких robots.txt Это все вчерашний день и ненужные телодвижения. В корне сайта физический robots.txt никому не нужен. Он сейчас генерируется на лету автоматически и согласно ваших настроек сео плагина. Все что в нем долно быть прописано уже прописано. А то вы своими неумелыми руками наоборот дров наломаете. Забудьте про это. Лучше досконально разберитесь в настройках сео плагина.

    • Ответ изменён 3 нед. назад пользователем  Spectrum.

    Не надо делать никаких robots.txt Это все вчерашний день и ненужные телодвижения. В корне сайта физический robots.txt никому не нужен. Он сейчас генерируется на лету автоматически и согласно ваших настроек сео плагина.

    Интересно а на вашем сайте тоже роботса нету.

    Модератор Yui

    (@fierevere)

    ゆい にゃん子

    такая портянка, без ее понимания, определенно только во вред.
    Больше — не значит лучше.

    строчка Allow: /wp-admin/admin-ajax.php я в поисковике нашёл. Непойму только нужна она в роботсе или нет

    если тема сайта (или плагины) использует Ajax — эта строка нужна, чтобы разрешить его для поисковиков, они не любят если им закрывают js,css и ajax

    • Ответ изменён 3 нед. назад пользователем  Yui.

    Интересно а на вашем сайте тоже роботса нету

    О каком сайте речь?

    такая портянка, без ее понимания, определенно только во вред.
    Больше — не значит лучше.

    Я проанализировал первую двадцатку в выдаче яндекса ни укого такого нет. Увсех по проще.

    если тема сайта (или плагины) использует Ajax — эта строка нужна, чтобы разрешить его для поисковиков, они не любят если им закрывают js,css и ajax

    А как определить это, использует или нет? Где смотреть, или может просто разрешить?

    А как определить это, использует или нет? или может просто разрешить?

    Ну и разрешите. Хуже не будет в любом случае. Но не на том вы зациклились. Потратьте свое время и энергию на другие, более полезные дела в работе над своим сайтом.

    Потратьте свое время и энергию на другие, более полезные дела в работе над своим сайтом.

    Да их много полезных, я уже не знаю за что хвататься, но с чего-то начинать надо. Меня всё беспокоит Вебмастер со своими непонятными исключёнными страницами. Я вот такие типа этих /wp-json/ и /feed/ хочу в роботсе исключить. И ещё пару штук. Пишет /wp-json/ неподдерживаемый формат.

    • Ответ изменён 3 нед. назад пользователем  metridat.
    • Ответ изменён 3 нед. назад пользователем  metridat.
    Модератор Sergey Biryukov

    (@sergeybiryukov)

    Live and Learn

    Что обозначает строчка Allow: /wp-admin/admin-ajax.php я в поисковике нашёл. Непойму только нужна она в роботсе или нет.

    Нужна, иначе по умолчанию её бы не было:

    Many themes also use asynchronous JavaScript requests — so-called AJAX — to add content to web pages. WordPress used to block Google from this by default, so I created a ticket to update WordPress Core to allow Google to crawl the admin-ajax.php URL in wp-admin. This was fixed in WordPress 4.4.

    WordPress robots.txt An example for great SEO [yoast.com]

    Disallow: /wp-

    Сюда попадал бы и каталог wp-includes, который исключать не нужно:

    Previous best practice of blocking access to your wp-includes directory and your plugins directory via robots.txt is no longer valid, which is why, in WordPress 4.0, I opened the issue and wrote the patch to remove wp-includes/.* from the default WordPress robots.txt.

    WordPress robots.txt An example for great SEO [yoast.com]

    Пишет /wp-json/ неподдерживаемый формат.

    Адрес /wp-json/ закрыт от индексации три года назад. Если Яндекс продолжает ругаться — это предупреждение, но не ошибка. Заголовок X-Robots-Tag: noindex он должен учитывать.

    Вот такой простенький пойдёт
    User-agent: *
    Disallow: /wp-admin/
    Disallow: /author/
    Disallow: /wp-json/
    Disallow: */feed
    Disallow: */rss
    Allow: /wp-admin/admin-ajax.php

    Sitemap: https://site.ru/sitemap_index.xml

    Host: https://site.ru
    И как правильно вписать туда /wp-includes/wlwmanifest.xml или я так понял что лучше это не исключать. Просто не хочется чтобы боты свои силы тратили на то что не нужно.

    • Ответ изменён 2 нед., 6 дн. назад пользователем  metridat.
    • Ответ изменён 2 нед., 6 дн. назад пользователем  metridat.
Просмотр 10 ответов — с 1 по 10 (всего 10)