Mon site Web est DoS'ed par Google webspiders. Google est le bienvenu pour indexer mon site, mais parfois il interroge un tagcloud sur mon site plus rapidement que mon serveur Web ne peut produire les résultats, ce qui fait que mon serveur Web manque de ressources.
Comment puis-je limiter l'accès à mon serveur Web de manière à ce que les visiteurs normaux ne soient pas affectés?
robots.txt n'est pas une option car cela empêcherait l'indexation de l'ensemble du site.
iptables -m recent
est délicat, car certaines pages contiennent beaucoup d'images ou d'autres fichiers de données et des déclencheurs «récents» sur ceux-ci également (généralement mon agrégateur RSS, le chargement d'images et de flux).
iptables -m limit
a le même inconvénient et en plus de cela, je n'ai pas pu être sélectif par adresse source IP.
Comment puis-je limiter les visiteurs qui font augmenter la charge de mon serveur?
J'exécute apache2 sur le serveur Ubuntu dans une machine virtuelle VirtualBox.