используется плагин на All in One SEO + by Yoast
Глупее этого быть ничего не может. Кто вас надоумил ставить сразу два плагина для SEO? А почему тогда не три или не четыре?
Вам не пришло в голову, что два медведя в одной берлоге не уживаются? Или вы думаете чем больше плагинов для одной той же цели — тем лучше?
P.S. Я уже рассказывал как один мой знакомый поставил два плагина для кэширования — «Чтобы сильнее кэшировалось» …. Кэшировалось у него так сильно. что вообще сайт не работал.
помогите пожалуйста с инфой по даному файлу
robots.txt
Только не надо копировать какой-нибудь готовый. Сначала изучите и проанализируйте этот вопрос и создайте свой robots.txt
Модератор
Yui
(@fierevere)
永子
можно не создавать
у wp есть свой виртуальный на этот случай
Yui ゆい
у wp есть свой виртуальный на этот случай
Можно ссылочку? использую этот, что скажите :
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: /category/*/*
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Allow: /wp-content/uploads
# Google Image
User-agent: Googlebot-Image
Disallow:
Allow: /*
# Google AdSense
User-agent: Mediapartners-Google*
Disallow:
Allow: /*
# Internet Archiver Wayback Machine
User-agent: ia_archiver
Disallow: /
# digg mirror
User-agent: duggmirror
Disallow: /
Sitemap: http://www.games-finders.info/sitemap.xml
User-agent: Yandex
Crawl-delay: 5
Disallow: /tag
Глупее этого быть ничего не может. Кто вас надоумил ставить сразу два плагина для SEO? А почему тогда не три или не четыре?
Вам не пришло в голову, что два медведя в одной берлоге не уживаются? Или вы думаете чем больше плагинов для одной той же цели — тем лучше?
P.S. Я уже рассказывал как один мой знакомый поставил два плагина для кэширования — «Чтобы сильнее кэшировалось» …. Кэшировалось у него так сильно. что вообще сайт не работал.
Благодаою за критику, исправил, All in ONE удалил, кэш очистил так как Yoast сильнее по всем параметрам.
пысы : ставил 2 потому что где то нашел что они «дружелюбны» друг к другу =)
Модератор
Yui
(@fierevere)
永子
Можно ссылочку?
удаляете или переименовываете свой robots.txt на диске
заходите на http://свой.сайт/robots.txt
на диске его нет, но в браузере (и для поисковых систем) он все равно открывается. генерируется ВП совместно с seo плагином
использую этот, что скажите :
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
скажу что это закрывать не надо
а еще я бы добавила это
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-json/
а также директиву Host:
еще у вас в начале отсутствует User-agent: *
и непонятно почему crawl-delay задан только для яндекс и в остальном выглядит как какие-то откуда-то взятые куски
Yui ゆい
так Вы девушка.. ниче се)
Прошу прощения не полностью скопировал свой файл.
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: /category/*/*
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Allow: /wp-content/uploads
# Google Image
User-agent: Googlebot-Image
Disallow:
Allow: /*
# Google AdSense
User-agent: Mediapartners-Google*
Disallow:
Allow: /*
# Internet Archiver Wayback Machine
User-agent: ia_archiver
Disallow: /
# digg mirror
User-agent: duggmirror
Disallow: /
Sitemap: http://www.games-finders.info/sitemap.xml
User-agent: Yandex
Crawl-delay: 5
Disallow: /tag
а также директиву Host:
а можно подробней ? ) немножко не понимаю )
и непонятно почему crawl-delay задан только для яндекс и в остальном выглядит как какие-то откуда-то взятые куски
честно говоря я тоже не совсем это понимаю.. только учусь. Этот файл рекомендовал популярный инфобизнесмен. Но было это года 3-4 назад. А это в данной индустрии как вечность
Примерно так (Для Яндекса всегда прописывается тоже самое, но отдельно!)
User-agent: *
Crawl-delay: 5
Allow: /wp-content/uploads
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-json/
Disallow: /wp-content/cache
Disallow: /cgi-bin/
Disallow: /wp-admin
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed
Disallow: */feed
Disallow: /*?*
Disallow: /tag
Disallow: /category/
Disallow: /author/
Disallow: */comment-page-*
Disallow: /xmlrpc.php
User-agent: Yandex#
Crawl-delay: 5
Allow: /wp-content/uploads
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-json/
Disallow: /wp-content/cache
Disallow: /cgi-bin/
Disallow: /wp-admin
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed
Disallow: */feed
Disallow: /*?*
Disallow: /tag
Disallow: /category/
Disallow: /author/
Disallow: */comment-page-*
Host: ваш сайт
Sitemap: http://ваш сайт/sitemap_index.xml
Модератор
Yui
(@fierevere)
永子
Для Яндекса всегда прописывается тоже самое, но отдельно
зачем? если всё то же самое ?
зачем? если всё то же самое ?
Несколько лет назад во всех рекомендациях по robots.txt и их примерах подчеркивалось именно это. (Причем касательно не только WP) Почему так — сам не знаю, но предполагаю что Яндекс имеет некую свою специфику и думаю что и в настоящее время это актуально.
Только что провел эксперимент в проверке RT в Яндексе. Одну из страниц своего сайта запретил к индексации для всех агентов Disallow: /obratnaya-svyaz/ , Но не стал её закрывать отдельно для Яндекса. В результате Яндекс «увидел» эту страницу.
http://prntscr.com/aleipf
Как только запрет на её индексацию добавил и для Яндекса Disallow: /obratnaya-svyaz/ — она «спряталась» и от Яндекса.
Так что это все и правда не совсем понятно и спорно… Короче говоря я пишу для Яндекса отдельно. Надеюсь это тот самый случай, когда «кашу маслом не испортишь» ))))
Yui ゆい
уважаемый модератор, так что мне в своем коде убрать что я скинул ?
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
вот это удалить ? что-то еще ? по тому коду что я скинул. как у меня сейчас стоит.
Хоть я и не модератор, но чуть выше дал вам образец robots.txt с учетом пожеланий Yui ゆい
Или для вас теперь только модераторы в авторитете? :))
по тому коду что я скинул. как у меня сейчас стоит.
А ваш RT из каких то кусков и отрывков вообще никуда не годится.
Konstantin
Скоро станете значит если захотите ) спасибо
Или для вас теперь только модераторы в авторитете? :))
для меня в авторитете мнение каждого кто знает эту область лучше меня , а таких много =))
пысы: ваш кэшовый плагин мне пришелся по душе )
ваш кэшовый плагин мне пришелся по душе
И «крякозябры» сами собой исчезли при переносе на реальный хостинг?
