Пошукові системи можуть створювати велике навантаження.
Для вирішення проблеми потрібно вказати в robots.txt директиву Crawl-delay.
Директива Crawl-delay вказує пошуковому роботу завантажувати сторінки вашого сайту з інтервалом не менше 15 секунд, іншими словами — просто витримувати паузу під час індексації сторінок сайту.
Приклад
У корені сайту створіть файл robots.txt і запишіть у нього:
User-agent: *
Crawl-delay: 15