Questions marquées «user-agent»

Un champ d'en-tête http qui identifie le navigateur et le système d'exploitation.

3
Quel agent utilisateur dois-je définir?
Il y a Ask bot, qui définit cet en-tête: Mozilla/2.0 (compatible; Ask Jeeves/Teoma) Compte tenu de cela, j'ai les questions suivantes: Si j'écris un robot d'exploration nommé Goofy, quel agent utilisateur dois-je utiliser? Quelle est la différence si je mets Mozilla/2.0ou Mozilla/5.0? Toutes autres suggestions sur la façon de formater …
2
Dois-je bloquer les bots de mon site et pourquoi?
Mes journaux sont pleins de visiteurs de robots, souvent d'Europe de l'Est et de Chine. Les bots sont identifiés comme Ahrefs, Seznam, LSSRocketCrawler, Yandex, Sogou et ainsi de suite. Dois-je bloquer ces robots de mon site et pourquoi? Lesquels ont un objectif légitime d'augmenter le trafic vers mon site? Beaucoup …
4
Interprétation de l'agent utilisateur vide
Comment dois-je interpréter un User-agent vide? J'ai un code d'analyse personnalisé et ce code doit analyser uniquement le trafic humain. J'ai une liste de travail des agents utilisateurs indiquant le trafic humain et le trafic de robots, mais l'agent utilisateur vide s'avère problématique. Et je reçois beaucoup de trafic avec …
1
Combinez les agents utilisateurs dans le fichier robots.txt
Les agents utilisateurs peuvent-ils être répertoriés ensemble, suivis de leurs règles communes comme dans un fichier robots.txt ? User-agent: Googlebot User-agent: ia_archiver #Alexa User-agent: BingPreview #Microsoft User-agent: bingbot #Microsoft User-agent: MSNBot #Microsoft User-agent: Slurp #Yahoo User-agent: Ask Jeeves/Teoma #Ask Disallow: /adm30_buds/
2
Signe plus devant les URL dans les agents utilisateurs
J'ai exécuté un petit robot d'indexation Web et j'ai dû décider quel agent utilisateur utiliser pour cela. Les listes d'agents sur chenilles ainsi que Wikipedia suggèrent le format suivant: examplebot/1.2 (+http://www.example.com/bot.html) Cependant, certains robots omettent le signe plus devant l'URL. Et je me demande ce que cela signifie en premier …
3
Tactiques pour gérer les robots qui se conduisent mal
J'ai un site qui, pour des raisons réglementaires, peut ne pas être indexé ou recherché automatiquement. Cela signifie que nous devons éloigner tous les robots et les empêcher d'araignées sur le site. De toute évidence, nous avons eu un fichier robots.txt qui interdit tout de suite depuis le début. Cependant, …
4
User-Agent avec composant encodé en base64?
(Question de prime en bas) Je rencontre un problème avec un client accédant à notre site, et la cause principale est que le WAF (Web Application Firewall) n'aime pas sa chaîne User-Agent: User-Agent: Mozilla/5.0 (X11; Linux i686; rv:34.0; C7QcSBPWTsrpX5YLvVZMqiujEZLWPtOYk3tDZ9WhW18=) Gecko/20100101 Firefox/34.0 Dans ce cas, la chaîne encodée en base64 déclenche …
En utilisant notre site, vous reconnaissez avoir lu et compris notre politique liée aux cookies et notre politique de confidentialité.
Licensed under cc by-sa 3.0 with attribution required.