J'ai exécuté un petit robot d'indexation Web et j'ai dû décider quel agent utilisateur utiliser pour cela. Les listes d'agents sur chenilles ainsi que Wikipedia suggèrent le format suivant:
examplebot/1.2 (+http://www.example.com/bot.html)
Cependant, certains robots omettent le signe plus devant l'URL. Et je me demande ce que cela signifie en premier lieu, mais je n'ai trouvé aucune explication. La RFC 2616 considère tout entre parenthèses comme un commentaire et ne restreint pas son format. Pourtant, il est courant pour les navigateurs d'avoir dans le commentaire une liste de jetons séparés par des points-virgules qui annoncent la version et les capacités du navigateur. Je ne pense pas que cela soit standardisé autrement que par la plupart des navigateurs le formatant de manière similaire. Et je n'ai rien trouvé concernant les URL dans le commentaire.
Ma question est: pourquoi le signe plus? En ai-je besoin?