Dois-je bloquer les bots de mon site et pourquoi?

Mes journaux sont pleins de visiteurs de robots, souvent d'Europe de l'Est et de Chine. Les bots sont identifiés comme Ahrefs, Seznam, LSSRocketCrawler, Yandex, Sogou et ainsi de suite. Dois-je bloquer ces robots de mon site et pourquoi?

Lesquels ont un objectif légitime d'augmenter le trafic vers mon site? Beaucoup d'entre eux sont SEO.

Je dois dire que je vois moins de trafic, car les robots sont arrivés en grand nombre.

Il ne serait pas trop difficile de les bloquer car ils admettent tous dans leur agent utilisateur qu'ils sont des robots.

Vous pouvez bloquer les bots, mais cela dépend de ce que vous voulez pour votre site Web.

Vous pouvez bloquer les robots des moteurs de recherche si vous ne souhaitez pas voir votre site Web indexé dans un moteur de recherche particulier.
Exemple: Yandex est un moteur de recherche russe. Vous pouvez bloquer son bot si votre entreprise ne cible pas la Russie.

Vous pouvez bloquer les robots de référencement si vous ne souhaitez pas utiliser leur solution d'analyse Web.
Exemple: Ahrefs est une solution d'analyse Web. Vous pouvez bloquer son bot si vous n'utilisez pas cette solution d'analyse Web.

Raison de bloquer les bots:

• moins de robots accèdent à votre site Web et plus de bande passante est attribuée aux vrais visiteurs
• être à l'abri des malwares bots
• taille des journaux

Raison de ne pas bloquer les bots:

• les robots comme les robots des moteurs de recherche peuvent augmenter votre trafic en indexant votre site Web.

Vous pouvez en savoir plus sur les bots en lisant la FAQ de robotstxt.org .

Si vous souhaitez déterminer plusieurs robots à bloquer, vous pouvez vous inspirer de ce site robots.txt .

Attention, certains bots peuvent ignorer robots.txt , plus d'informations ici .

Conclusion : Vous pouvez rechercher sur la fonction des robots Internet pour déterminer si leur blocage peut être utile.

Alors que tenter de bloquer les bots peut aider à libérer des ressources et à nettoyer vos journaux, il est important de noter que robots.txt et même en utilisant la balise meta sur les pages noindex n'empêche pas réellement les bots de visiter votre site. Ils peuvent toujours explorer votre site de temps en temps pour voir si le refus des robots a été supprimé. De nombreux robots n'utilisent même pas d'agent utilisateur et utiliseront un agent utilisateur standard. Les robots auxquels je fais référence sont généralement des robots de collecte de données SEO qui recherchent des backlinks et non les robots généraux que vous trouvez dans les moteurs de recherche.

Plutôt que de bloquer les bots, vous devez simplement prendre en compte ces bots lors du décompte de vos visiteurs, après un certain temps à surveiller activement votre site, vous établissez un chiffre approximatif qui sont des bots. La plupart des gens se soucient des visites uniques et cela exclut les robots car ils reviennent constamment. De nos jours, il y a beaucoup de serveurs, un hébergement partagé qui peut gérer ces bots, donc à part les pages que vous ne voulez pas indexer, je ne vois aucune raison de bloquer ces types de bots. Bien sûr, vous avez également des robots nuisibles, mais ceux-ci n'utiliseront certainement pas d'agent utilisateur;).

Personnellement, je pense que bloquer les robots est une perte de temps car ils n'utilisent pas beaucoup de ressources du tout, les robots SEO peuvent vous aider car ils répertorient votre site sur les pages PR0, ce qui augmente bien sûr votre PageRank et automatisé afin que vous ne soyez pas puni par eux.

Problème de journaux

Vous devez utiliser une visionneuse de journaux appropriée qui vous permet de filtrer certaines demandes, ce qui facilite la consultation de vos journaux. Les bons téléspectateurs peuvent filtrer beaucoup de choses comme les visites normales, les 404, etc.