Webmasters googlebot

1

Pourquoi mon adresse IP devient-elle l'adresse IP de Google lorsque j'utilise Chrome sur le mobile?

Je suis la géolocalisation de chaque membre (en utilisant db-ip) et tout va bien sauf les téléphones portables avec le navigateur Chrome. Ils me donnent toujours le résultat US Mountain View California ip:66.249.xxx.xxx. C'est Google; J'en suis sûr à 100%. Mais la personne qui visite le site Web est moi-même. …

27 googlebot mobile ip-address google-chrome

4

Empêcher les sitemaps XML de s'afficher dans les résultats de recherche Google

Comment puis-je empêcher mes fichiers de plan de site XML de s'afficher dans les résultats de recherche Google comme ce résultat d'une site:requête de recherche: Je ne comprends pas pourquoi Google choisirait d'abord d'afficher les fichiers de sitemap dans les résultats de recherche. Ces fichiers ne sont pas destinés à …

23 google sitemap search-engine-indexing googlebot xml-sitemap

3

Est-il possible de ralentir la fréquence d'exploration de Baiduspider?

On a beaucoup parlé de la fréquence d'exploration des araignées Baidu. C'est vrai: "Baiduspider rampe comme un fou." J'ai vécu ce phénomène sur des sites avec lesquels je travaille. Dans au moins un cas, j'ai constaté que Baiduspider rampe à peu près à la même fréquence que Googlebot, malgré le …

18 seo search-engines googlebot web-crawlers

7

Google cache-t-il le fichier robots.txt?

J'ai ajouté un fichier robots.txt à l'un de mes sites il y a une semaine, ce qui aurait dû empêcher Googlebot de tenter de récupérer certaines URL. Cependant, ce week-end, je peux voir Googlebot charger ces URL exactes. Google cache-t-il le fichier robots.txt et, dans l'affirmative, le devrait-il?

17 googlebot robots.txt google-cache

3

SEO - Site Web réactif et menus dupliqués

Chaque fois que je crée un site Web réactif, je crée généralement 2 menus: 1 masqué et utilisé pour mobile et l'autre affiché comme menu principal, puis masqué pour afficher le menu mobile. Chaque fois qu'il s'agit de référencement et d'araignées naviguant sur le site Web, est-ce que je me …

16 seo web-crawlers googlebot navigation

4

Googlebot prend-il en charge TLS v1.2? Sinon, à quoi ressemblera mon site TLS v1.2 uniquement?

Je redirige actuellement toutes les connexions non HTTPS vers HTTPS et je prends en charge TLS v1, TLS v1.1 et TLS v1.2. J'ai reconfiguré mon serveur de test pour n'accepter qu'une suite de chiffrement très limitée et sécurisée et TLSv1.2 uniquement. Lors de l'exécution du test SSL Labs, j'ai remarqué …

12 seo search-engines https googlebot bingbot

3

Pouvez-vous utiliser googleon et les commentaires googleoff pour empêcher Googlebot d'indexer une partie d'une page?

J'ai vu du code comme pour empêcher Google d'indexer une partie d'une page: <p>This is a paragraph that will be indexed by Google.</p>  <p>This is a paragraph that will NOT be indexed by Google.</p> <!--googleon: index> Est-ce que ça marche?

12 search-engine-indexing googlebot

2

Comment Googlebot trouve-t-il les URL qui ne sont visibles que par les utilisateurs authentifiés?

Voici l'un de mes clients, effectuant une action après s'être connecté à son compte. Le jeton unique est simplement un identifiant utilisateur chiffré + un horodatage. 94.254.xxx.xxx - - [02 / Jul / 2011: 22: 25: 46 +0200] "GET / some-action / unique-token-123abc HTTP / 1.1" 200 410 "-" "Mozilla …

12 google search-engines googlebot

4

Google n'analyse pas les fichiers CDN

J'ai remarqué que Google Webmaster Tools signale un grand nombre de ressources bloquées sur mon site Web. À l'heure actuelle, toutes les «ressources bloquées» sont les .css, .js et les images (.jpg, .png) que je sers depuis Cloudfront CDN. J'ai passé beaucoup de temps à tester et à essayer de …

11 google-search-console web-crawlers googlebot cdn amazon-cloudfront

2

Quels robots valent vraiment la peine d'être loués sur un site?

Après avoir écrit un certain nombre de bots et vu les quantités massives de bots aléatoires qui se trouvent sur un site, je me demande en tant que webmaster, quels bots valent vraiment la peine d'être loués sur un site? Ma première pensée est que le fait d'autoriser les bots …

11 seo web-crawlers robots.txt googlebot bingbot

1

lien rel = "alternatif", plusieurs langues et URL canoniques

Contexte: Nous avons un site Web disponible en plusieurs langues. Cependant, le contenu est le même. Chaque version traduite du site est disponible sur un sous-domaine distinct. Sur certaines pages, nous utilisons <link rel="canonical" />pour pointer vers la version canonique dans la même langue de la même page si nécessaire. …

11 seo google googlebot internationalization

1

Comment fonctionne «Noindex:» dans robots.txt?

J'ai parcouru cet article dans mes actualités SEO aujourd'hui. Cela semble impliquer que vous pouvez utiliser des Noindex:directives en plus des Disallow:directives standard dans robots.txt . Disallow: /page-one.html Noindex: /page-two.html Il semble que cela empêcherait les moteurs de recherche d'explorer la page un et les empêcherait d'indexer la page deux. …

10 web-crawlers robots.txt googlebot noindex

3

Est-ce que Search Engine Spider soumet des formulaires POST?

Si j'ai du contenu derrière un formulaire POST (une case de sélection, dans mon cas), Googlebot ou d'autres moteurs de recherche peuvent-ils explorer le contenu derrière ce formulaire? Par exemple, si je devais avoir 4 traductions d'une page et que la sélection de la langue était un formulaire POST vers …

10 seo googlebot forms multilingual

1

Comment Google a-t-il réussi à explorer mes 403 pages?

J'avais quelques fichiers privés dans un répertoire de mon dossier scolaire. Vous pouvez voir que les fichiers existaient en accédant à myschool.edu/myusername/myfolder, mais en essayant d'accéder aux fichiers eux-mêmes via myschool.edu/myusername/myfolder/myfile.html renvoie une erreur 403. Et pourtant, Google a réussi à récupérer le contenu de ces fichiers privés et à …

10 web-crawlers security googlebot

2

Faut-il abandonner le schéma d'exploration AJAX?

Alors maintenant, Google a déconseillé le schéma d'exploration AJAX . Ils disent de ne pas prendre la peine de l'implémenter dans de nouveaux sites Web, car il n'est plus nécessaire car Googlebot n'a plus de problème pour regarder le contenu dynamique. Faut-il immédiatement faire confiance à cette déclaration, ou mieux …

9 seo web-crawlers googlebot ajax

Questions marquées «googlebot»