Поддержка Проблемы и решения Страницы с адресами /wp-json/ ?

  • 1.Достаточно ли их запретить в robots.txt
    2.Если кроме запрещения требуется убирать то как лучше кодом, который кочует по сайтам или плагином, скажем Disable REST API
    3.Вообще это когда нибудь прекратится (в какой нибудь версии)?

    • Тема изменена 4 года, 9 месяцев назад пользователем selftrips-ru.
    • Тема изменена 4 года, 9 месяцев назад пользователем selftrips-ru.
Просмотр 14 ответов — с 1 по 14 (всего 14)
  • 1. да
    2. нет
    3. нет

    1. да

    А смысл? Зачем заведомо «палить» пути (да, кто знает тот знает, но всё же)?

    Модератор Yui

    (@fierevere)

    ゆい

    запрещать их не надо и вообще оставьте REST API в покое,
    индексироваться оно не будет т.к. там есть мета
    X-Robots-Tag: noindex
    так что robots.txt однозначно излишен

    отключать REST API не рекомендуется, он активно используется сейчас и плагинами и темами

    3.Вообще это когда нибудь прекратится (в какой нибудь версии)?

    что прекратится?

    индексироваться оно не будет т.к. там есть мета
    X-Robots-Tag: noindex

    Справедливости ради — яндекс на этот заголовок плевать хотел (было в 2010 но ничего вроде бы не изменилось). Но в данном случае он то ли слушается, то ли ещё как-то определяет, но по факту в выдаче этого нет.

    Модератор Yui

    (@fierevere)

    ゆい

    плевали или нет, но могли просто с учетом того что WP далеко не последняя CMS добавить в свои исключения ) В любом случае, нет нужды добавлять /wp-json/ в robots.txt

    В любом случае, нет нужды добавлять /wp-json/ в robots.txt

    Я лично категорически с этим согласен 🙂
    Я вообще сторонник не пихать в него ничего (кроме host и сайтмапов) до тех пор, пока в этом не появится реальная необходимость (или специфика сайта потребует)

    еще как есть нужда.
    яндекс «ест» эти дубли за милую душу.
    господи, ну неужели вы никогда не сталкивались с левыми страницами wp-json в вебмастере?

    я когда первый раз увидел в вебмастере тысячи страниц wp-json, влетевших в индекс — моментально пробежался во всем сайтам и везде запретил их индексацию.

    Я вообще сторонник не пихать в него ничего

    до первого АГС, схваченного из-за десятков дублей по /tag/ ссылкам.

    ЗЫ и то, что яндекс может их не добавлять в индекс вовсе не означает, что он их не будет регулярно запрашивать. когда на сайте десятки тысяч страниц яндекс выступает в роли ддосера, запрашивая wp-json — а потом либо выплевывая их из индекса, либо добавляя — у него это в вебмастере очень хорошо логируется.

    • Ответ изменён 4 года, 9 месяцев назад пользователем Flector.

    В ЯВМ у меня в структуре сайта эти страницы находятся

    яндекс «ест» эти дубли за милую душу.

    Я Вам показал выдачу яндекса. Я вижу, что она пустая. А Вы покажите в выдаче эти «страницы»?

    до первого АГС, схваченного из-за десятков дублей по /tag/ ссылкам.

    Эти сеошные.. ммм фантазии мне мало интересны 🙂 Я оперирую подтверждёнными фактами или как минимум документацией.
    Чтобы было понятно: если на КОНКРЕТНОМ сайте я не захочу видеть в индексе архив меток — я приму к этому меры.

    что яндекс может их не добавлять в индекс вовсе не означает, что он их не будет регулярно запрашивать.

    Запреты в роботсе так же не означают запрет для сканирования ботами.

    Я Вам показал выдачу яндекса. Я вижу, что она пустая. А Вы покажите в выдаче эти «страницы»?

    хм, зачем? память у меня хорошая, прекрасно помню, как при выходе wordpress 4.4 (или когда там rest api появился) яндекс схавал тысячи страниц wp-json и добавил их к списку проиндексированных. если сейчас он научился выплевывать страницы из-за noindex в header — это абсолютно ничего не значит.

    Эти сеошные.. ммм фантазии мне мало интересны

    это не seo-шные фантазии, а причина получения лично мной АГС на одном из моих сайтов — и на дубли /tag/ мне указал платон. поэтому ваши слова мной воспринимаются как фантазии любителя, у которого банально нет своих сайтов.

    Запреты в роботсе так же не означают запрет для сканирования ботами.

    запрет в robots.txt запрещает боту сканировать эти страницы. проверено. и опять же — запросы страниц ботов логгируются в яндекс.вебмастере — есть запрет в robots.txt — страницы wp-json не запрашиваются — нет запрета — запрашиваются, а потом выплевываются из индекса:

    
    Дата обхода
    URL
    Было
    Стало
    18.02.2018	
    /wp-json/oembed/1.0/embed?url=http://www.testwp.ru/tru/la/la/guetzli.html/attachment/00008_guetzli
    N / a	200OK
    06.02.2018	
    /wp-json/oembed/1.0/embed?url=http://www.testwp.ru/misc/cool-image-share.html
    N / a	200OK
    /wp-json/oembed/1.0/embed?url=http://www.testwp.ru/misc/cool-image-share.html&format=xml
    N / a	N / aURL запрещён к индексированию тегом noindex
    

    вот реально. SeVlad, у вас хоть один сайт в вебмастере есть? судя по всему нет. потому что иначе бы вы эту гадость в «истории обхода» заметили бы.

    а все туда же, млин — советовать.

    хм, зачем?

    Странный вопрос, от того, кто рассказывает по «СЕО» 🙂
    Наверно потому что я показал РЕАЛЬНУЮ выдачу, а не чьи-то фантазии.

    запрет в robots.txt запрещает боту сканировать эти страницы

    Сканировать — не запрещает. Роботс вообще ничего не запрещает. Он рекомендует. И рекомендует — не показывать в выдаче (точнее не индексировать, но и этого они не слушаются — индексят, но как правило не показывают. Бывает, что и плюют на роботс.)

    Если бы Вы смотрели акцесс-логи сервера на НОВОМ сайте — Вы бы это увидели.

    и на дубли /tag/ мне указал платон.

    Да-да.. Читал я и про такое на сёрче. при ближайшем рассмотрении оказывалось, что проблема вовсе не в этом.
    Но вот совсем нет ни желания ни возможность с этим спорить.
    Вы уверены что ИЗ-ЗА архивных страниц у Вас проблемы, я уверен что не из-за этого. Останемся при своих, ОК?
    Ну т.е. не сам механизм архивных страниц — первичная причина проблем. (хотя бы потому, что озабоченных «сео» среди сайтоделателей далеко не 100% и даже наверное не 50. А есть ещё вп.ком и др сервисы. И не только на ВП)

    вот реально. SeVlad, у вас хоть один сайт в вебмастере есть?

    Есть с десяток клиентских (и экс-клиентских. 🙂 ).
    На некоторых да, помню что в роботсе есть и wp-json, и много другой ереси «из интернетов». На других просто не помню — при случае посмотрю конечно же. Но нигде я не помню, чтобы видел wp-json. Я не утверждаю, что нет, я говорю что когда смотрел — не видел. Вот сегодня- завтра специально прошерстю все.

    Я со своей стороны
    1. не все понимаю о чем вы говорить
    2. wp-json появился у меня в структуре сайта

    Что делать то??????????????????

    Да-да.. Читал я и про такое на сёрче. при ближайшем рассмотрении оказывалось, что проблема вовсе не в этом.

    вы как маленький.
    про /tag/ мне ответил платон.
    платон это официальная информация из первых рук — это уже не домыслы сеошников.

    Сканировать — не запрещает. Роботс вообще ничего не запрещает.

    и опять же — после скандалов с тем, что яндекс съедает служебные документы, которые попадают в выдачу тот же яндекс вполне официально заявил, что запреты в robots.txt он уважает. да и опять же — по логам сервера это легко проверяется.

    Странный вопрос, от того, кто рассказывает по «СЕО» 🙂
    Наверно потому что я показал РЕАЛЬНУЮ выдачу, а не чьи-то фантазии.

    вы забываетесь. тут не ересь сеошников, мнимая или настоящая — а факты. а факты таковы, что тысячи проиндексированных страниц wp-json я видел в вебмастере своими собственными глазами.

    Вот сегодня- завтра специально прошерстю все.

    Значится докладаю.

    Нашел 2 экс-клиентских сайта, где в роботсе нет wp-json (клиенты давали доступы, но так и не убрали их). Один из них и в вебмастере и в метрике, один только в метрике.
    На одном всякая ересь в роботсе, на др — дефолтный ВПшный.
    Вот пытался найти заходы на эту страницу — нет, не нахожу. Может не там смотрю?
    АПД. А хотя нашел.. На одном, первом. Скачал историю обхода — последний заход на wp-json в конце 2016. Всего 6 вхождений с 2013г по 2016.

    И так сложилось, что позавчера я запустил ещё один клиентский сайт. В роботсе — только host и сайтмап. ВСЁ.

    Сегодня уже есть заходы с выдачи. Тоже не вижу никаких wp-json. Но буду ещё наблюдать — этот сайт пока полностью под моим управлением. (Этот сайт — участник эксперимента двухпротокольного безредиректного сайта.)

    про /tag/ мне ответил платон.
    платон это официальная информация из первых рук — это уже не домыслы сеошников

    Вы как маленький (ц) 🙂 Оперировать автоответами бота как последней инстанцией 🙂 … Ида я об этом и говорил:

    Да-да.. Читал я и про такое на сёрче. при ближайшем рассмотрении оказывалось, что проблема вовсе не в этом.

    Это как раз и про ответы платона и про причины АГС.

    • Ответ изменён 4 года, 9 месяцев назад пользователем SeVlad. Причина: АПД
Просмотр 14 ответов — с 1 по 14 (всего 14)
  • Тема «Страницы с адресами /wp-json/ ?» закрыта для новых ответов.