Незванные роботы нагружают сайт

  • rootey

    (@rootey)


    10 лет назад

    Здравствуйте, интересует такой вопрос: можно закрыть доступ к сайту всех роботов через файл .htaccess но разрешить поисковым роботам доступ к сайту? можно так сделать и как ?

    Также отпишите свои варианты как лучше бороться с незваными роботами

Просмотр 2 ответов — с 16 по 17 (всего 17)
1 2
  • Модератор Yui

    (@fierevere)

    永子

    10 лет назад

    awstats обьединяет по браузерам, в отличие от webalizer, я думаю админы хостинга слышали и знают, инструментов анализа логов для статистики не так уж и много

    кстати открывать статистику наверное не слишком разумно,
    как минимум конкурентам вашего сайта даете информацию по СЕО

    Автор rootey

    (@rootey)

    10 лет назад

    Статистику закрыл, после блокировки роботов нагрузка уменьшилась, только произошло это через сутки. Запросил отчет webalyzer вот, что отписали —
    «Предоставить отчет системой webalyzer с нашей стороны нет возможности, так как мы не знакомы с принципами ее работы.»

    Приходится просматривать огромный документ с логами. Спасибо за помощь.

Просмотр 2 ответов — с 16 по 17 (всего 17)
1 2
  • Тема «Незванные роботы нагружают сайт» закрыта для новых ответов.