Робот создает чрезмерную нагрузку на сайт или сервер

Индексирующий робот самостоятельно планирует посещение страниц сайта, регулируя нагрузку на сайт или сервер автоматически в зависимости от того, сколько новых или уже проиндексированных страниц сайта необходимо обойти.

Иногда количество обращений робота может резко увеличиваться, например, если робот узнал о новом разделе сайта или изменилась структура и адреса его страниц. Чтобы снизить нагрузку на сервер, вы можете:
  • Проверить логи сервера и запретить индексирование служебных страниц с помощью директивы Disallow в файле robots.txt.
  • Разместить в файле robots.txt директиву Crawl-delay.
  • Изменить скорость обхода сайта в Яндекс.Вебмастере. При выборе этого способа робот не будет учитывать директиву Crawl-delay.

В сообщении обязательно укажите информацию о логах сервера. Это позволит быстрее разобраться с проблемой.