Мой сайт сильно нагружают поисковые боты. Что делать?

Поисковые системы могут вызвать большую нагрузку.
Для решения проблемы нужно указать в robots.txt директиву Crawl-delay.
Директива Crawl-delay указывает поисковому роботу, чтобы он загружал страницы вашего сайта с интервалом не менее 15 секунд, другими словами просто выдерживал паузу во время индексации страниц сайта.

Пример
В корне сайта создать файл robots.txt и записать в него:
User-agent: *
Crawl-delay: 15