Webmasters web-crawlers

1

Demande Bingbot pour trafficbasedsspsitemap.xml qui n'existe pas

Cette question a été migrée à partir de Server Fault car il est possible d'y répondre sur Webmasters Stack Exchange. Migré il y a 6 ans . Les journaux d'un site Web que je gère montrent une demande de fichier inexistant par Bingbot. Les détails de la demande sont Chemin: …

28 bing logging web-crawlers

2

Existe-t-il une différence entre un fichier robots.txt vide et aucun fichier robots.txt?

Sur un serveur Web, je dois maintenant admnistrer que j'ai remarqué que le fichier robots.txt est vide. Je me suis demandé s'il y avait une différence entre un fichier robots.txt vide et aucun fichier. Les robots se comportent-ils différemment dans ces deux cas? Alors, est-il sûr de supprimer simplement un …

28 web-crawlers robots.txt webserver

8

Empêcher les robots d'explorer une partie spécifique d'une page

En tant que webmaster en charge d'un petit site disposant d'un forum, je reçois régulièrement des plaintes des utilisateurs selon lesquelles le moteur de recherche interne et les recherches externes (comme lors de l'utilisation de Google) sont totalement pollués par les signatures de mes utilisateurs (ils utilisent de longues signatures …

28 html search-engines forum web-crawlers

4

Yahoo Search est-il le même que Bing Search maintenant?

Nous avons eu de graves problèmes avec l'araignée (incroyablement) mal écrite de Yahoo dans le passé , et en conséquence, nous les avons bloqués. Marco Arment de Tumblr a également partagé ses frustrations avec nous le 31/08/2009, ce qui nous a empêchés de les bloquer. [Yahoo's Spider] nous inonde de …

25 user-agent bing yahoo web-crawlers

5

L'araignée Google rend-elle JavaScript?

Cette question a été migrée depuis Stack Overflow car il est possible d'y répondre sur Webmasters Stack Exchange. Migré il y a 9 ans . L'araignée Google sait-elle comment rendre JavaScript, ou seulement HTML?

22 javascript google seo web-crawlers

6

Bon outil pour explorer mon site et m'aider à trouver des liens morts et des fichiers non liés [fermé]

Fermé. Cette question est hors sujet . Il n'accepte pas actuellement les réponses. Vous souhaitez améliorer cette question? Mettez à jour la question afin qu'elle soit sur le sujet pour les webmasters Stack Exchange. Fermé il y a 6 ans . J'ai un site hérité assez grand avec littéralement des …

21 site-maintenance web-crawlers dead-links

3

Est-il possible de ralentir la fréquence d'exploration de Baiduspider?

On a beaucoup parlé de la fréquence d'exploration des araignées Baidu. C'est vrai: "Baiduspider rampe comme un fou." J'ai vécu ce phénomène sur des sites avec lesquels je travaille. Dans au moins un cas, j'ai constaté que Baiduspider rampe à peu près à la même fréquence que Googlebot, malgré le …

18 seo search-engines googlebot web-crawlers

3

Quel agent utilisateur dois-je définir?

Il y a Ask bot, qui définit cet en-tête: Mozilla/2.0 (compatible; Ask Jeeves/Teoma) Compte tenu de cela, j'ai les questions suivantes: Si j'écris un robot d'exploration nommé Goofy, quel agent utilisateur dois-je utiliser? Quelle est la différence si je mets Mozilla/2.0ou Mozilla/5.0? Toutes autres suggestions sur la façon de formater …

18 user-agent web-crawlers

3

SEO - Site Web réactif et menus dupliqués

Chaque fois que je crée un site Web réactif, je crée généralement 2 menus: 1 masqué et utilisé pour mobile et l'autre affiché comme menu principal, puis masqué pour afficher le menu mobile. Chaque fois qu'il s'agit de référencement et d'araignées naviguant sur le site Web, est-ce que je me …

16 seo web-crawlers googlebot navigation

3

Le fichier robots.txt peut-il se trouver dans le sous-répertoire d'un serveur?

J'ai un sous-répertoire que je voudrais cacher aux robots d'indexation des moteurs de recherche. Une façon de le faire est d'utiliser un robots.txtdans le répertoire racine du serveur (la manière standard). Cependant, toute personne connaissant l'URL du site Web et possédant des connaissances de base sur le Web peut accéder …

16 web-crawlers robots.txt

7

Comment bloquer les araignées baidu

La plupart de mes visites proviennent d'araignées baidu. Je ne pense pas que cela aide les moteurs de recherche, donc je pense à la façon de les bloquer. Cela pourrait-il être fait via iptables? J'utilise nginx comme serveur web.

15 traffic nginx web-crawlers baidu

3

Empêcher les robots malveillants de publier du spam

Je me souviens d' un site fermé en raison d'une mauvaise utilisation et je me demande si les bots en ont une partie. Si le bot POSTE quelque chose sur mon site, comment puis-je le combattre? Je pensais créer des cookies et les faire changer via JavaScript + horodatage et …

15 web-crawlers spam-prevention spam-bots

3

Comment Google trouve-t-il un domaine sans lien vers celui-ci?

J'ai récemment enregistré un nouveau domaine, l'ai dirigé vers mon serveur existant et mis en place une page minimale disant simplement "test" et rien d'autre. Je viens de découvrir ce soir que la page est déjà indexée dans Google! Il n'y a pas de lien vers le site (je n'ai …

13 search-engine-indexing domain-registration web-crawlers

2

Dois-je bloquer les bots de mon site et pourquoi?

Mes journaux sont pleins de visiteurs de robots, souvent d'Europe de l'Est et de Chine. Les bots sont identifiés comme Ahrefs, Seznam, LSSRocketCrawler, Yandex, Sogou et ainsi de suite. Dois-je bloquer ces robots de mon site et pourquoi? Lesquels ont un objectif légitime d'augmenter le trafic vers mon site? Beaucoup …

12 seo web-crawlers user-agent

1

Pourquoi baidu explore mon site comme un fou

Lorsque je vérifie mon journal Apache, je peux voir que baidu a exploré mon site Web 10 fois par jour au cours des 2 dernières semaines. Ce n'est pas que je m'en soucie beaucoup, mais je suis vraiment curieux de savoir pourquoi il fait ça. C'est un très petit site …

12 seo web-crawlers baidu

Questions marquées «web-crawlers»