• Добрый день.

    Несколько дней назад сайт стал работать медленно, как внешняя часть, так и админка.
    Медленную работу внешней части скрыть от пользователей включением плагина WP Super Cash.
    Админка по-прежнему подтормаживает.

    Заглянула в файл log

    Увидела следующее:
    большое количество Get-запросов. С одного IP несколько одинаковых запросов в промежуток 1 минута.
    Предполагаю, это боты.
    Фрагмент файла:

    93.170.115.242 — — [13/Aug/2016:14:03:57 +0300] «GET /wp-content/uploads/2015/12/game-300×300.jpg HTTP/1.0» 200 21011 «http://mysite.ru/2016/08/03/obyasnyaem-zachem-sozdan-pokemon-go/» «Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/43.0.2357.132 Safari/537.36»
    93.170.115.242 — — [13/Aug/2016:14:03:57 +0300] «GET /wp-content/uploads/2015/12/phone2-300×300.jpg HTTP/1.0» 200 19871 «http://mysite.ru/2016/08/03/obyasnyaem-zachem-sozdan-pokemon-go/» «Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/43.0.2357.132 Safari/537.36»

    Содержание моего файла robots.txt

    User-agent: Yandex
    Crawl-delay: 10 #timeout for robots
    Disallow: /wp-admin
    Disallow: /wp-includes
    Disallow: /wp-comments
    Disallow: /wp-content/plugins
    Disallow: /wp-content/themes
    Disallow: /wp-login.php
    Disallow: /wp-register.php
    Disallow: /trackback
    Disallow: /feed
    Disallow: /cgi-bin
    Disallow: *?s=
    Host: mysite.ru
    
    User-agent: 
    Crawl-delay: 10 #timeout for robots
    Disallow: /wp-admin
    Disallow: /wp-includes
    Disallow: /wp-comments
    Disallow: /wp-content/plugins
    Disallow: /wp-content/themes
    Disallow: /wp-login.php
    Disallow: /wp-register.php
    Disallow: /trackback
    Disallow: /feed
    Disallow: /cgi-bin
    Disallow: ?s=
    Host: mysite.ru
    
    Sitemap: http://mysite.ru/sitemap.xml

    В .htaccess прописала

    # Bot Blocker
    <IfModule mod_setenvif.c>
    SetEnvIfNoCase User-Agent ^$ keep_out
    SetEnvIfNoCase User-Agent (pycurl|casper|cmsworldmap|diavol|dotbot) keep_out
    SetEnvIfNoCase User-Agent (flicky|ia_archiver|jakarta|kmccrew) keep_out
    SetEnvIfNoCase User-Agent (purebot|comodo|feedfinder|planetwork) keep_out
    <Limit GET POST PUT>
    Order Allow,Deny
    Allow from all
    Deny from env=keep_out
    </Limit>
    </IfModule>
    
    # END WordPress

    Еще в гугл рекомендуют прописывать запрет доступа по IP

    Order Allow,Deny
    Allow from all
    Deny from 94.125.184.50
    Deny from 46.39.239.151
    

    За 6 дней я насобирала 12 тыс уникальных IP

    Есть ли какой-то другой способ защиты от ботов, чем прописывание точных IP, чтобы не прописывать их тысячами в .htaccess?

    Нужно оставить доступ для поисковых ботов и отвадить всех остальных.

    Спасибо,
    Юлия

    • Тема изменена 7 лет, 10 месяцев назад пользователем juliajune.
Просмотр 6 ответов — с 1 по 6 (всего 6)
  • Модератор Yui

    (@fierevere)

    永子

    GET запросы на картинки с интервалом 1 минута и более не должны создавать проблем с работой сайта, они не грузят движок

    В .htaccess прописала

    Все дополнения в этот файл нужно вносить вне блока ВП

    Еще в гугл рекомендуют прописывать запрет доступа по IP

    В компании «гугл» такого не могли рекомендовать. А вот на всяких сайтиках недоучек — очень даже. Или же Вы не поняли что именно и для чего.

    Нужно оставить доступ для поисковых ботов и отвадить всех остальных.

    И пользователей? 🙂

    Но теперь самое главное.
    Если это не Ваша запись http://mysite.ru/2016/08/03/obyasnyaem-zachem-sozdan-pokemon-go/ то Ваш сайт вероятно взломан.

    • Ответ изменён 7 лет, 10 месяцев назад пользователем SeVlad.

    SeVlad,

    В компании «гугл» такого не могли рекомендовать. А вот на всяких сайтиках недоучек — очень даже. Или же Вы не поняли что именно и для чего.

    Google — поисковая система, а не компания. (Специально о ней упомянула, чтобы мне не советовали «спросить у гугла». Спрашивала.)
    Например, на этом сайте, который оказался в поисковой выдаче гугла.

    И пользователей?

    Внесу ясность. Оставить доступ для:
    поисковых ботов,
    пользователей.

    Закрыть для ботов. Пользователя, который в одну минуту отправляет от 30-ти одинаковых запросов GET, можно же называть ботами? Вот от таких хотелось бы избавиться

    Если это не Ваша запись http://mysite.ru/2016/08/03/obyasnyaem-zachem-sozdan-pokemon-go/ то Ваш сайт взломан.

    С сайтом всё в порядке. Я заменила реальный адрес на mysite.ru

    Выложила файлы логов на гугл драйв

    Get-запросы хорошо видны в файле *.access_log

    Кроме того, проскакивают запросы POST POST POST /wp-admin/admin-ajax.php
    Возможно, это есть причиной подтормаживания админки?

    Через инструменты разработчика в Хроме видно, что загрузка файла POST /wp-admin/admin-ajax.php иногда составляет около 2 секунд. Т.е, то около 500 мсек, то 1-2 сек

    • Ответ изменён 7 лет, 10 месяцев назад пользователем juliajune.
    Модератор Yui

    (@fierevere)

    永子

    Пользователя, который в одну минуту отправляет от 30-ти одинаковых запросов GET, можно же называть ботами?

    пользователь потыкавший на пару страниц вашего сайта, вполне способен выдать 30 GET’ов
    что никак не делает его ботом.

    POST /wp-admin/admin-ajax.php
    Возможно, это есть причиной подтормаживания админки?

    если сайт не использует AJAX в теме, такие запросы должны быть только от вас или других авторизованных пользователей, время исполнения зависит от загруженности сайта плагинами и производительности сервера хостинга, если время постоянно «скачет» — это скорее показатель перегрузки сервера хостинга

    Google — поисковая система, а не компания. (

    Гугл — это компания, а поисковая система — её продукт.
    Ни компания, ни поисковая систем Вам не могут что-то рекомендовать. Как не может рекомендовать ни столб на котором Вы увидели объявление, ни производители этого столба, бумаги и принтера.

    на этом сайте, который оказался в поисковой выдаче гугла.

    Так таки «рекомендовал» сайт, а не гугл. Какой-то левый ГС, которых полно в выдаче ПС и который оказался в Вашем компьютере 🙂 Вы же не говорите, что Вам рекомендовал Ваш монитор. 🙂

    Ок. Это было лирическое отступление.

    Оставить доступ для:
    поисковых ботов,
    пользователей.

    Удалить весь тот хлам. Можно запретить ИЗВЕСТНЫХ ненужных ботов.

    Я заменила реальный адрес на mysite.ru

    Вы не предоставляете, но я догадался 🙂
    Я Вам говорил, что если ВАШ сайт запрашивают по этому урлу (и он не один из двух известных гуглу и 5ти яндексу), то это подозрительно. И надо разбираться в причинах.

    Ну а остальное Вам Yui рассказала.

    Да, рискну показать плагин https://wordpress.org/plugins/query-monitor/ но только не спрашивайте как с ним работать.

    • Ответ изменён 7 лет, 10 месяцев назад пользователем SeVlad.
    • Ответ изменён 7 лет, 10 месяцев назад пользователем SeVlad.

    Yui, Sevlad, спасибо за полезную информацию.

    Да, рискну показать плагин https://wordpress.org/plugins/query-monitor/ но только не спрашивайте как с ним работать.

    Плагин нужный. Пока только прочитала описание. На практике не пробовала. Но обязательно поставлю.
    Спрашивать не буду, нужно детально изучить самой. Все вопросы, если будут, адресую в саппорт. Он жив и функционирует.

Просмотр 6 ответов — с 1 по 6 (всего 6)
  • Тема «Стал медленно работать сайт. Как лечить?» закрыта для новых ответов.