archive.org игнорирует запрет в robots.txt
-
Стандартный robots.txt работает на десятке сайтов, на одном хостинге. Все сайты на ВП, версии, набор плагинов, настройки — одинаковы. Все сайты запрещены к архивации пауком archive.org. На всех запрет работает, кроме одного.
В чём может быть дело?
Просмотр 5 ответов — с 1 по 5 (всего 5)
Просмотр 5 ответов — с 1 по 5 (всего 5)
- Тема «archive.org игнорирует запрет в robots.txt» закрыта для новых ответов.