Questions marquées «robots.txt»

Robots.txt est un fichier texte utilisé par les propriétaires de sites Web pour donner des instructions sur leur site aux robots Web. Fondamentalement, il indique aux robots quelles parties du site sont ouvertes et quelles parties sont fermées. C'est ce qu'on appelle le protocole d'exclusion des robots.

3
Google Preview obéit-il à Robots.txt?
Parce que ça ressemble à ça. Pour mes sites, nous interdisons le répertoire d'images et les aperçus sont toutes des images manquantes, ce qui donne au site un aspect bancal. Est-ce le cas et existe-t-il un moyen d'autoriser uniquement le bot de prévisualisation à accéder aux images à l'aide de …
1
Comment fonctionne «Noindex:» dans robots.txt?
J'ai parcouru cet article dans mes actualités SEO aujourd'hui. Cela semble impliquer que vous pouvez utiliser des Noindex:directives en plus des Disallow:directives standard dans robots.txt . Disallow: /page-one.html Noindex: /page-two.html Il semble que cela empêcherait les moteurs de recherche d'explorer la page un et les empêcherait d'indexer la page deux. …
2
Autoriser uniquement les robots Google et Bing à explorer un site
J'utilise le fichier robots.txt suivant pour un site: l'objectif est de permettre à googlebot et bingbot d'accéder au site à l'exception de la page /bedven/bedrijf/*et d'empêcher tous les autres bots d'explorer le site. User-agent: googlebot Disallow: /bedven/bedrijf/* Crawl-delay: 10 User-agent: google Disallow: /bedven/bedrijf/* Crawl-delay: 10 User-agent: bingbot Disallow: /bedven/bedrijf/* Crawl-delay: …
1
Combinez les agents utilisateurs dans le fichier robots.txt
Les agents utilisateurs peuvent-ils être répertoriés ensemble, suivis de leurs règles communes comme dans un fichier robots.txt ? User-agent: Googlebot User-agent: ia_archiver #Alexa User-agent: BingPreview #Microsoft User-agent: bingbot #Microsoft User-agent: MSNBot #Microsoft User-agent: Slurp #Yahoo User-agent: Ask Jeeves/Teoma #Ask Disallow: /adm30_buds/
10
Besoin d'empêcher les robots de tuer mon serveur Web
J'ai des problèmes de bot EXTREME sur certains de mes sites Web dans mon compte d'hébergement. Les bots utilisent plus de 98% de mes ressources CPU et 99% de ma bande passante pour l'ensemble de mon compte d'hébergement. Ces bots génèrent plus de 1 Go de trafic par heure pour …
3
Lorsque vous déplacez un site via une redirection 301, devez-vous configurer un robots.txt interdisant aux robots d'explorer l'ancienne adresse?
Un site sur lequel je travaille a déplacé un sous-domaine vers un autre sous-domaine via une redirection 301. Cependant, lors de la vérification du fichier robots.txt de l'ancien sous-domaine, il possède un fichier robots.txt qui interdit aux robots d'exploration des moteurs de recherche de l'explorer. Est-ce la bonne décision? Je …
5
Faut-il modifier notre Joomla robots.txt après l'annonce de Google sur l'exploration de CSS et JavaScript?
J'ai rencontré une annonce de Google: http://googlewebmastercentral.blogspot.in/2014/10/updating-our-technical-webmaster.html Il est dit: Pour un rendu et une indexation optimaux, notre nouvelle directive spécifie que vous devez autoriser Googlebot à accéder aux fichiers JavaScript, CSS et image que vos pages utilisent. Cela vous offre un rendu et une indexation optimaux pour votre site. …
4
Robots.txt vs Sitemap - Qui gagne dans un conflit
Si je bloque le répertoire / foo dans robots.txt, mais que mon plan de site xml contient des URL avec / foo, les URL du plan de site seront-elles récupérées par Google et d'autres moteurs de recherche? En d'autres termes, le plan du site l'emporte-t-il sur robots.txt? Je pense que …
En utilisant notre site, vous reconnaissez avoir lu et compris notre politique liée aux cookies et notre politique de confidentialité.
Licensed under cc by-sa 3.0 with attribution required.