Блокировка поисковых ботов Ahrefs Bot и Semrush Bot или как снизить нагрузку на сервер
На любимом хостинге, в моем недорогом тарифе есть ограничения по нагрузке на сервер, и в один прекрасный день мне пришло письмо от хостера, типа уменьшите нагрузку на сервер, проанализируйте логи, возможно какие-то скрипты работают неправильно. Странно подумал я, вроде ничего не менял, ранее хостер не жаловался на повышенную нагрузку. Думал может опять какой-нибудь вредоносный код теребит процессор, проверил ai-bolitом, вроде все нормально, ничего подозрительного не обнаружено. Полез в логи, как предлагал хостер. И там обнаружил, что очень много запросов от различных поисковых ботов, в том числе от каких то до селе неизвестных: Ahrefs Bot и Semrush Bot, количество запросов составляло до 40% от общего количества запросов. Да еще херовы хакеры ищут, удаленные ранее, вредоносные файлы, да еще с такой периодичностью, как будто бояться что-то пропустить)))
Почитал рекомендации, что с этим делать и вот что накопал:
