Как унять робота
Роботам мы, обычно, рады. Я не говорю сейчас о гражданке С. Коннор и постоянно надоедающих ей и ее малолетнему сыну киборгах-убийцах из альтернативного будущего. Я имею в виду наоборот, роботов поисковых систем, посещающих наши сайты. После визита робота на сайт обновляется информация в поисковиках, и наши странички появляются в выдаче. Потом из поиска приходит трафик, потом… ну вы все знаете, в идеале в конце цепочки появляются денежки, а за ними следуют блекджек и шлюхи.
Поскольку блекджек и шлюхи являются базовыми потребностями всех без исключения людей и большинства животных, то роботы поисковых систем - есть добро неописуемое, и мы их всячески должны загонять на сайт. Но эти роботы при своем визите, как и все гости, могут кое-что натворить.
Производительность робота очень велика, на то он и робот. Поэтому он иногда начинает нагружать сервер запросами с очень высокой интенсивностью. Если к таким действиям железного разума не подготовиться должным образом, то сайт с количеством страниц в несколько тысяч, легко может оказаться перегруженным и, впоследствии, справедливо отключенным хостером за перерасход процессороного времени. Причем, такую нагрузку не создаст даже близко никакое возможное нашествие естественных посетителей сайта.
Что же делать?