Робот создает чрезмерную нагрузку на сайт или сервер

Индексирующий робот самостоятельно планирует посещение страниц сайта, регулируя нагрузку на сайт или сервер автоматически в зависимости от того, сколько новых или уже проиндексированных страниц сайта необходимо обойти.

Иногда количество обращений со стороны робота может резко увеличиваться, например, если робот узнал о новом разделе сайта или изменилась структура сайта и адреса его страниц. Чтобы снизить нагрузку со стороны робота, можно разместить в файле robots.txt директиву Crawl-delay с указанием интервала (в секундах) между окончанием индексирования одной страницы и началом посещения другой. Робот начнет использовать новые правила в течение суток.

Чтобы выяснить, к каким именно страницам происходят частые обращения, необходимо проверить логи сервера (для этого обратитесь к его администратору или хостинг-провайдеру). Если при анализе логов обнаружено, что робот обращается к служебным страницам сайта, их необходимо запретить в файле robots.txt. Проверить корректность установленных правил можно с помощью Анализатора robots.txt.