Questions marquées «web-crawler»

Une entreprise a-t-elle le droit implicite d'explorer mon site Web?

J'ai découvert que McAfee SiteAdvisor a signalé mon site Web comme "pouvant avoir des problèmes de sécurité" . Peu m'importe ce que McAfee pense de mon site Web (je peux le sécuriser moi-même et sinon, McAfee n'est certainement pas la société à laquelle je demanderais de l'aide, merci beaucoup). Ce …

30 web-crawler

Comment les sites détectent-ils les robots derrière les proxys ou les réseaux d'entreprise

Comment les grands sites (par exemple Wikipédia) traitent-ils les bots qui sont derrière d'autres masqueurs IP? Par exemple, dans mon université, tout le monde recherche sur Wikipedia, ce qui lui donne une charge importante. Mais, pour autant que je sache, Wikipédia ne peut connaître que l'IP du routeur universitaire, donc …

12 web-crawler

Recherche de toutes les plages IP appartenant à un FAI spécifique

J'ai un problème avec une certaine personne qui continue de gratter mon site de manière agressive; gaspillage de bande passante et de ressources CPU. J'ai déjà implémenté un système qui répertorie mes journaux d'accès au serveur Web, ajoute chaque nouvelle IP à une base de données, garde une trace du …

10 ip isp whois web-crawler ip-blocking

Comment ces «mauvais robots» trouvent-ils mon serveur Web fermé?

J'ai installé Apache il y a quelque temps, et un rapide coup d'œil à mon access.log montre que toutes sortes d'adresses IP inconnues se connectent, principalement avec un code d'état 403, 404, 400, 408. Je n'ai aucune idée de la façon dont elles trouvent mon adresse IP, car je ne …

8 apache-2.2 web-crawler

En utilisant notre site, vous reconnaissez avoir lu et compris notre politique liée aux cookies et notre politique de confidentialité.

Licensed under cc by-sa 3.0 with attribution required.