Плагин от ботов
-
Здравствуйте. Боты нагружают сайт и яндекс жалуется на скорость доступа.
Прошу помочь подобрать плагин. – Блокируем ботов, особенно тех, которые маскируются под ботов яндекса и прочие официальные сервисы, НО не блокируем настоящих от яндекса и т.п.Почитал тут:
yandex.ru/support/webmaster/robot-workings/check-yandex-robots.html
их можно отличать.Топ User-agent-ов запросов за сегодня:
812 "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)" 364 "Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)" 102 "Mozilla/5.0 (compatible; YandexMetrika/2.0; +http://yandex.com/bots yabs01)" 97 "Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/2.0; +http://go.mail.ru/help/robots)" 88 "Mozilla/5.0 (compatible; AhrefsBot/6.1; +http://ahrefs.com/robot/)" 83 "Wget/1.20.1 (linux-gnu)" 71 "Mozilla/5.0 (Linux; Android 7.0;) AppleWebKit/537.36 (KHTML, like Gecko) Mobile Safari/537.36 (compatible; AspiegelBot)" 71 "Mozilla/5.0 (compatible; SemrushBot/6~bl; +http://www.semrush.com/bot.html)" 49 "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.149 Safari/537.36" 47 "Mozilla/5.0 (compatible; YandexImages/3.0; +http://yandex.com/bots)"Статистика по домену сайт.ru:
Общее количество запросов к домену
6379
Наиболее активно обращавшиеся IP:
3031 178.154.171.153
2188 95.108.213.15
212 5.255.253.28
67 213.180.203.244
66 95.171.3.99
58 5.255.253.9
33 77.222.61.238
23 178.154.171.91
22 188.19.250.92
19 217.117.125.70
18 212.19.6.249
17 157.55.39.102
16 91.185.47.70
16 195.208.158.45
16 146.120.124.108
15 66.249.64.22
15 46.73.46.103
15 213.87.121.83
14 85.115.243.39
14 37.147.225.156
Часто запрашиваемые страницы:
67 /
50 /robots.txt
31 /wp-cron.php
===================Примеры запросов:
===================
сайт.ru 178.154.171.153 - - [27/Mar/2020:07:55:03 +0300] "GET /borid-nikelya/ HTTP/1.1" 200 47767 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)" "5.98" "-" "127.0.0.1:8087" сайт.ru 95.108.213.15 - - [27/Mar/2020:07:55:14 +0300] "GET /alyuminievyy-profil-dlya-fasadov/ HTTP/1.1" 200 47635 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)" "6.02" "-" "127.0.0.1:8087"- Тема изменена 5 лет, 10 месяцев назад пользователем .
- Тема изменена 5 лет, 10 месяцев назад пользователем . Причина: please use CODE button for code formatting
Страница, с которой нужна помощь: [войдите, чтобы увидеть ссылку]
Тема «Плагин от ботов» закрыта для новых ответов.