Поддержка → Проблемы и решения → archive.org игнорирует запрет в robots.txt

archive.org игнорирует запрет в robots.txt

  • shinkareff

    (@shinkareff)


    8 лет, 10 месяцев назад

    Стандартный robots.txt работает на десятке сайтов, на одном хостинге. Все сайты на ВП, версии, набор плагинов, настройки — одинаковы. Все сайты запрещены к архивации пауком archive.org. На всех запрет работает, кроме одного.

    В чём может быть дело?

Просмотр 5 ответов — с 1 по 5 (всего 5)
  • Flector

    (@flector)

    8 лет, 10 месяцев назад

    ну вы не привели ни robots.txt, ни урл сайта.
    что вы хотите услышать?
    что бот archive.org сошел с ума?

    Автор shinkareff

    (@shinkareff)

    8 лет, 10 месяцев назад

    Да, поспешил, извините. Содержимое robots.txt проблемного сайта.

    Flector

    (@flector)

    8 лет, 10 месяцев назад

    да все верно вроде бы http://archive.org/about/exclude.php
    ждите когда до бота «дойдет».

    многие почему-то считают, что robots.txt имеет приказной порядок для ботов. а вот и ни хрена. это лишь рекомендации, на которые боты могут начхать. гугл, например, очень любит игнорировать запреты в robots.txt.

    Автор shinkareff

    (@shinkareff)

    8 лет, 10 месяцев назад

    Благодарю. Буду ждать.

    Автор shinkareff

    (@shinkareff)

    8 лет, 10 месяцев назад

    Ещё бы хорошо понять, сколько это ожидание может длиться: неделю, месяц, год? Написал в их Твиттер-аккаунт, на всякий случай. Странно то, что на полусотне сайтов проверил — на всех запрет работает, кроме одного.

Просмотр 5 ответов — с 1 по 5 (всего 5)
  • Тема «archive.org игнорирует запрет в robots.txt» закрыта для новых ответов.

Метки темы

Просмотр