Anonymous User 14379775
(@anonymized-14379775)
ну в роботс закрой лишнее и жди пока обойдет снова поисковик. Ну и 100% страниц в поиске никто не гарантирует. Если разбираешься, то чего раньше не закрыл?
ты мало знаешь о поисковом продвижении
Чувствую скоро в этой теме начнется очередной SEO-бред (((
бред может быть только от делетантов)
Модератор
Yui
(@fierevere)
永子
ввиду того что в рамках вп тема исчерпана, отдельное спасибо Сергею за тикет по роботс.
тут уже предлагают и политику пообсуждать и чем-то помериться и мифы и предания о СЕО…
пора закрывать.
Модератор
Yui
(@fierevere)
永子
@peterwilsoncc
Google, etc, need to crawl it for sites loading content via the API using JavaScript. This prevents it from being included in robots.txt.
Perhaps an X-Robots-Tag: noindex header on the API end-points to prevent the duplicate content penalties.
из тикета, по сути: не рекомендуется запрет через robots.txt для сайтов использующих ajax и rest api, возможно в будущем решат это включением мета-тега noindex
хотя навряд ли у здесь присутствующих сайт использует этот случай, так что пока баним в robots.txt и спим спокойно.
