Questions marquées «web-crawlers»

Un programme informatique qui accède à des pages Web à des fins diverses (pour récupérer du contenu, pour fournir aux moteurs de recherche des informations sur votre site, etc.)

2
Disqus migration des threads. Gotchas?
J'ai migré un site vers un nouveau domaine. Le site lui-même est assez simple (il utilise Jekyll), et tout s'est bien passé - sauf la migration des threads Disqus. J'ai eu un succès partiel - certains fils ont migré avec succès, mais pas tous. J'ai essayé l'assistant de migration de …
2
Ask.com sitemap crawler down (pour de bon)?
J'utilise Ask.comcomme l'un des moteurs de recherche pour envoyer un ping à mon plan du site. Quand je suis allé cingler mon plan de site aujourd'hui pour faire réindexer mon plan de site, le site Web ( http://submissions.ask.com/ping ) dit qu'il n'existe plus? J'ai effectué une recherche DNS submissions.ask.comet il …
3
Tactiques pour gérer les robots qui se conduisent mal
J'ai un site qui, pour des raisons réglementaires, peut ne pas être indexé ou recherché automatiquement. Cela signifie que nous devons éloigner tous les robots et les empêcher d'araignées sur le site. De toute évidence, nous avons eu un fichier robots.txt qui interdit tout de suite depuis le début. Cependant, …
2
Quelle balise meta «robots» obtient la préférence?
Ma femme travaille dans un lycée en Allemagne. J'ai récemment remarqué qu'il est extrêmement difficile de trouver la page d'accueil de cette école en utilisant Google. J'ai regardé le code source de la page et je crois avoir trouvé la raison: il y a deux <meta name="robots">balises; l'un est <meta …
En utilisant notre site, vous reconnaissez avoir lu et compris notre politique liée aux cookies et notre politique de confidentialité.
Licensed under cc by-sa 3.0 with attribution required.