Как настроить robots.txt и sitemap

recrut
(@recrut)

11 лет назад

Добрый день.
У меня такая проблема. На хостинг большая нагрузка, нагрузка с одного ip адреса (как говорят админы хостинга, -это IP поисковых роботов)
Наибольшее количество запросов поступает к несуществующим страницам /edit и скриптам админки, с ip-адресов 178.95.14.186, 178.95.37.107, 178.95.142.95 (они есть в списках projecthoneypot.org, фиксирующего рассылки спама, который может поступать с ip-адресов заражённых компьютеров).
Помогите настроить robots.txt и sitemap
Буду весьма благодарен

Просмотр 5 ответов — с 1 по 5 (всего 5)

wicked_kiD
(@wicked_kid)

11 лет назад

Sitemap вам не поможет, про robots.txt. Убедитесь что это адреса поисковых роботов, в чем я очень сомневаюсь, и если нет — закройте им доступ к сайту в файле .htaccess или при помощи какого-либо плагина (по идее должны такие быть).

Автор recrut
(@recrut)

11 лет назад

wicked_kiD, я спрашивал о закрытии тих ip у админов, хостинга, на что был дан ответ:-«Не думаю, так как это IP поисковых роботов.
Вам лучше настроить robots.txt и sitemap»

Закрыть корневои и wp-admin лучше или только корневой .htaccess

Автор recrut
(@recrut)

11 лет назад

Ну а вообще, надо блокировать в роботе
User-agent: *
Disallow: /edit
Disallow: */edit
Disallow: /wp-admin/admin-ajax.php
Disallow: */wp-admin/admin-ajax.php

зы: Так блокируется?

SeVlad
(@sevlad)

11 лет назад

Так блокируется?

robots.txt вообще НИЧЕГО не блокирует. Учите матчасть.

wicked_kiD
(@wicked_kid)

11 лет назад

Извините, но ваши админы очень некомпетентные люди, либо вы что-то недоговариваете. Ответ вам был дан, но вы его, почему-то, не хотите прочитать и воспринять — о чем тогда можно говорить… (там есть ссылка на статью что делает robots.txt и каким его сделать для WordPress, но там еще и написанно, чтобы вы заблокировали эти IP)

Просмотр 5 ответов — с 1 по 5 (всего 5)

Тема «Как настроить robots.txt и sitemap» закрыта для новых ответов.

Метки темы

Просмотр