Combinez les agents utilisateurs dans le fichier robots.txt


10

Les agents utilisateurs peuvent-ils être répertoriés ensemble, suivis de leurs règles communes comme dans un fichier robots.txt ?

User-agent: Googlebot
User-agent: ia_archiver #Alexa
User-agent: BingPreview #Microsoft
User-agent: bingbot #Microsoft
User-agent: MSNBot #Microsoft
User-agent: Slurp #Yahoo
User-agent: Ask Jeeves/Teoma #Ask
Disallow: /adm30_buds/

1
Y a-t-il une raison pour laquelle vous n'utilisez pas user-agent: *suivi du refus? La liste des agents utilisateurs "autorisés" est-elle plus longue que la liste que vous souhaitez interdire?
Mike Hudson

Réponses:


En utilisant notre site, vous reconnaissez avoir lu et compris notre politique liée aux cookies et notre politique de confidentialité.
Licensed under cc by-sa 3.0 with attribution required.