Как унять робота

поисковый роботРоботам мы, обычно, рады. Я не говорю сейчас о гражданке С. Коннор и постоянно надоедающих ей и ее малолетнему сыну киборгах-убийцах из альтернативного будущего. Я имею в виду наоборот, роботов поисковых систем, посещающих наши сайты. После визита робота на сайт  обновляется информация в поисковиках, и наши странички появляются в выдаче. Потом из поиска приходит трафик, потом… ну вы все знаете, в идеале в конце цепочки появляются денежки, а за ними следуют блекджек и шлюхи.
Поскольку блекджек и шлюхи являются базовыми потребностями всех без исключения людей и большинства животных, то роботы поисковых систем - есть добро неописуемое, и мы их всячески должны загонять на сайт. Но эти роботы при своем визите, как и все гости, могут кое-что натворить.
Производительность робота очень велика, на то он и робот. Поэтому он иногда начинает нагружать сервер запросами с очень высокой интенсивностью. Если к таким действиям железного разума не подготовиться должным образом, то сайт с количеством страниц в несколько тысяч, легко может оказаться перегруженным и, впоследствии, справедливо отключенным хостером за перерасход процессороного времени. Причем, такую нагрузку не создаст даже близко никакое возможное нашествие естественных посетителей сайта.

Что же делать?

Как защитить страницу паролем

Иногда требуется защитить некоторые страницы сайта паролем. Как это сделать? Способов масса, но предположим, что нас интересуют только способы быстрые, бесплатные и легкие. Да, и мы имеем дело с php. В таком случае поступаем вот как.

Ваше доменное имя в качестве идентификатора Open ID

Что такое OpenID?



OpenID — это открытая децентрализованная система единого входа, которая позволяет использовать один логин и пароль на большом количестве сайтов. На сайтах, поддерживающих OpenID, пользователям не приходится регистрироваться и помнить данные для каждого сайта. Вместо этого им достаточно быть зарегистрированными на сайте «провайдера идентификации» OpenID (предоставляющего идентификатор). Так как технология OpenID децентрализованная, то любой сайт может использовать программное обеспечение OpenID в качестве средства входа; OpenID решает проблему не полагаясь на централизованный сайт для подтверждения подлинности пользователя.