• Помогите разобраться.
    Бот Яндекса второй день находит на блоге левые (несуществующие) страницы, вместо имеющихся 2500 выдает, что загрузил 107258 страниц. При переходе из вебмастера на новые страницы попадаю на главную.

    В логах вот что показывает

    178.154.243.111 - - [24/Nov/2013:08:47:51 +0400] "GET /?do=besplatniy-brauzer-dlya-mobilnogo-skachat.html&paged=406 HTTP/1.0" 200 16981 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)" CPU_TIME: 0.45
    178.154.243.111 - - [24/Nov/2013:08:47:48 +0400] "GET /?do=filmi-na-telefon-320h240.html&paged=426 HTTP/1.0" 200 16197 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)" CPU_TIME: 0.49
    178.154.243.111 - - [24/Nov/2013:08:47:55 +0400] "GET /?do=igra-na-telefon-wwe-2011.html&paged=414 HTTP/1.0" 200 15893 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)" CPU_TIME: 0.48
    178.154.243.111 - - [24/Nov/2013:08:47:56 +0400] "GET /?do=skachat-dlya-ayfona-igru.html&paged=11 HTTP/1.0" 200 11410 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)" CPU_TIME: 0.46
    178.154.243.111 - - [24/Nov/2013:08:48:01 +0400] "GET /?do=flash-dlya-iphone.html&paged=27 HTTP/1.0" 200 10746 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)" CPU_TIME: 0.45
    178.154.243.111 - - [24/Nov/2013:08:48:02 +0400] "GET /?do=igr-dlya-nokia-c7-00-hd.html&paged=364 HTTP/1.0" 200 16181 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)" CPU_TIME: 0.48
    178.154.243.111 - - [24/Nov/2013:08:47:59 +0400] "GET /?do=filmi-na-telefon-samsung-skachat-besplatno.html&paged=430 HTTP/1.0" 200 14732 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)" CPU_TIME: 0.51
    178.154.243.111 - - [24/Nov/2013:08:48:10 +0400] "GET /?do=prilozheniya-java-dlya-samsung.html&paged=46 HTTP/1.0" 200 11230 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)" CPU_TIME: 0.42
    178.154.243.111 - - [24/Nov/2013:08:48:07 +0400] "GET /?do=proshivki-dlya-ayfona-3gs.html&paged=423 HTTP/1.0" 200 14706 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)" CPU_TIME: 0.45
    178.154.243.111 - - [24/Nov/2013:08:48:09 +0400] "GET /?do=skachat-besplatno-dlya-mobilnogo-wave-252.html&paged=10 HTTP/1.0" 200 11201 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)" CPU_TIME: 0.44
    178.154.243.111 - - [24/Nov/2013:08:48:12 +0400] "GET /?do=videopleeri-dlya-nokia-5230.html&paged=428 HTTP/1.0" 200 16509 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)" CPU_TIME: 0.49
    178.154.224.114 - - [24/Nov/2013:08:48:12 +0400] "GET / HTTP/1.0" 200 11190 "-" "Mozilla/5.0 (compatible; YandexMetrika/2.0; +http://yandex.com/bots TEST)" CPU_TIME: 0.00
    178.154.243.111 - - [24/Nov/2013:08:48:17 +0400] "GET /?do=pesni-na-zvonok-telefona-2012-skachat.html&paged=432 HTTP/1.0" 200 15633 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)" CPU_TIME: 0.45
    178.154.243.111 - - [24/Nov/2013:08:48:14 +0400] "GET /?do=programmi-dlya-htc-touch-diamond2.html&paged=431 HTTP/1.0" 200 16384 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)" CPU_TIME: 0.47
    178.154.243.111 - - [24/Nov/2013:08:48:04 +0400] "GET /?do=instruktsiya-dlya-samsung-galaxy-tab-2-p5100.html&paged=400 HTTP/1.0" 200 19253 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)" CPU_TIME: 0.47
    178.154.243.111 - - [24/Nov/2013:08:48:19 +0400] "GET /?do=skachat-na-iphone.html&paged=382 HTTP/1.0" 200 18464 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)" CPU_TIME: 0.46
    178.154.243.111 - - [24/Nov/2013:08:48:22 +0400] "GET /?do=skachat-film-na-iphone.html&paged=435 HTTP/1.0" 200 13432 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)" CPU_TIME: 0.42
    178.154.243.111 - - [24/Nov/2013:08:48:25 +0400] "GET /?do=skachat-na-planshet-na-android-temi.html&paged=426 HTTP/1.0" 200 16208 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)" CPU_TIME: 0.47
    178.154.243.111 - - [24/Nov/2013:08:48:23 +0400] "GET /?do=kontakt-na-telefon.html&paged=359 HTTP/1.0" 200 12593 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)" CPU_TIME: 0.44
    178.154.243.111 - - [24/Nov/2013:08:48:28 +0400] "GET /?do=skachat-igru-na-telefon-volt.html&paged=397 HTTP/1.0" 200 18776 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)" CPU_TIME: 0.48
    178.154.243.111 - - [24/Nov/2013:08:48:43 +0400] "GET /?do=besplatniy-igri-dlya-nokia-c6-01.html&paged=427 HTTP/1.0" 200 16033 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)" CPU_TIME: 0.46
    178.154.243.111 - - [24/Nov/2013:08:48:41 +0400] "GET /?do=igri-dlya-nokia-s-5-03-skachat-besplatno.html&paged=382 HTTP/1.0" 200 18486 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)" CPU_TIME: 0.48
    178.154.243.111 - - [24/Nov/2013:08:49:03 +0400] "GET /?do=video-na-telefon-skachat-striptiz.html&paged=428 HTTP/1.0" 200 16512 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)" CPU_TIME: 0.46
    178.154.243.111 - - [24/Nov/2013:08:48:46 +0400] "GET /?do=pech-dlya-mobilnoy-bani.html&paged=37 HTTP/1.0" 200 10887 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)" CPU_TIME: 0.42

    Никаких программ и игр в блоге нет, и даже нет описаний и упоминаний, но всё же Яндекс откуда-то выдёргивает — «/?do=proshivka-dlya-nokia-lumia-800.html и т.п..»

    Как с этим бороться? Где их найти! Всю базу облазила, но так ничего и не нашла. Плагин WordPress File Monitor показывает что изменений нет.

    А блог из-за нагрузки на сервер практически постоянно лежит и если верить логам, то глушит его именно бот яндекса.

Просмотр 3 ответов — с 1 по 3 (всего 3)
  • Судя по запросам — у вас поселился «превеселенький» вирус который, который, мягко выражаясь, «ворует» у вас мобильный трафик. В такой ситуации только один совет — к доктору-вирусологу.

    Модератор Yui

    (@fierevere)

    永子

    то глушит его именно бот яндекса.

    1 запрос в 2-3 с ? это немного на самом деле, нагрузку конечно создает, но не настолько чтобы положить сайт

    проверьте robots.txt и .htaccess

    Плагин WordPress File Monitor показывает что изменений нет.

    Скорее всего он поставлен после того, как вирус у Вас прописался. Поэтому и не видит изменений. Их просто нет.

    К сказанному коллегами добавлю — ищите «левые» каталоги и\или файлы. Подобный дорвей как правило оставляет хорошую пачку файлов.

    И, конечно, удалить дорвей\вирус — мало. Надо устранить причину, позволившую ему поселиться.

    то глушит его именно бот яндекса.

    Это скорее всего последствия, а не причина. Вероятно дорвей плотно вошел в ТОП и теперь с Я на него идут переходы. В принципе это «звоночек», что бы задуматься о смене хостера.
    Хотя не исключены и др. причины активности яндекс-бота (или кого-то, выдающего за него)

Просмотр 3 ответов — с 1 по 3 (всего 3)
  • Тема «Яндекс находит левые страницы» закрыта для новых ответов.