Combinez les agents utilisateurs dans le fichier robots.txt

Les agents utilisateurs peuvent-ils être répertoriés ensemble, suivis de leurs règles communes comme dans un fichier robots.txt ?

User-agent: Googlebot
User-agent: ia_archiver #Alexa
User-agent: BingPreview #Microsoft
User-agent: bingbot #Microsoft
User-agent: MSNBot #Microsoft
User-agent: Slurp #Yahoo
User-agent: Ask Jeeves/Teoma #Ask
Disallow: /adm30_buds/

web-crawlers robots.txt user-agent

— davidcondrey
source

Y a-t-il une raison pour laquelle vous n'utilisez pas user-agent: *suivi du refus? La liste des agents utilisateurs "autorisés" est-elle plus longue que la liste que vous souhaitez interdire?

— Mike Hudson

Voir aussi sur SO: Est-il possible de lister plusieurs user-agents sur une seule ligne?

— unor

Oui. En supposant que les noms de vos agents sont correctement spécifiés, il semble que cela devrait fonctionner. Voici une ressource si vous souhaitez en savoir plus. https://developers.google.com/webmasters/control-crawl-index/docs/robots_txt

— placard
source

La spécification robots.txt d'origine est d' accord: "Si plusieurs champs User-agent sont présents, l'enregistrement décrit une politique d'accès identique pour plus d'un robot."

— Ilmari Karonen