Nous avons eu de graves problèmes avec l'araignée (incroyablement) mal écrite de Yahoo dans le passé , et en conséquence, nous les avons bloqués. Marco Arment de Tumblr a également partagé ses frustrations avec nous le 31/08/2009, ce qui nous a empêchés de les bloquer.
[Yahoo's Spider] nous inonde de 70 à 200 requêtes / seconde depuis environ 5 h 30 HNE. Je n'ai jamais rien vu de tel, même de leurs robots d'exploration "expérimentaux" qui nous ont maltraités dans le passé. L'interdiction de Robots.txt ne suffit pas: je dois les bloquer par IP au niveau de l'équilibreur de charge. Puisqu'ils ont abusé de Stack Overflow dans le passé, j'ai pensé que vous pourriez vouloir savoir.
Il semble que la recherche sur le Web de Yahoo soit "optimisée par Bing!" à présent. C'est bien, car nous n'avons jamais eu de problème avec l'araignée de Bing (alias MSNBOT).
Alors, la recherche de Yahoo est-elle la même que la recherche Bing maintenant, ou devrions-nous envisager de les débloquer potentiellement s'ils ont, contre toute attente, cessé de sucer si fort?