Sur un serveur Web, je dois maintenant admnistrer que j'ai remarqué que le fichier robots.txt est vide. Je me suis demandé s'il y avait une différence entre un fichier robots.txt vide et aucun fichier.
Les robots se comportent-ils différemment dans ces deux cas? Alors, est-il sûr de supprimer simplement un fichier robots.txt vide?
Réponses:
Les robots se comportent-ils différemment dans ces deux cas?
Un fichier robots.txt qui est vide n'est vraiment pas différent de celui qui est introuvable, les deux n'interdisent pas l'exploration.
Vous pouvez cependant recevoir de nombreuses 404erreurs dans vos journaux de serveur lorsque les robots d'exploration demandent le fichier robots.txt , comme indiqué dans cette question ici .
Alors, est-il sûr de supprimer simplement un fichier robots.txt vide?
Oui, avec la mise en garde ci-dessus.
Non, il n'y a aucune différence.
Vous obtiendriez 404 erreurs dans votre journal de serveur, et si vous êtes abonné à des outils tels que Google Web Master, cela pourrait vous indiquer que vous n'en avez pas, mais en termes de comportement du robot d'exploration - ils sont les mêmes pour n'importe quel robot qui vous tient à cœur.