Questions marquées «robots.txt»

Robots.txt est un fichier texte utilisé par les propriétaires de sites Web pour donner des instructions sur leur site aux robots Web. Fondamentalement, il indique aux robots quelles parties du site sont ouvertes et quelles parties sont fermées. C'est ce qu'on appelle le protocole d'exclusion des robots.

4
Fichiers que je devrais avoir sur tous les sites
Je voudrais avoir une liste de fichiers qui devrait exister sur chaque site Web. L'idée est de plaire à la plupart des navigateurs et des bots et de réduire le nombre de messages dans les journaux. Jusqu'à présent, j'ai les fichiers suivants: /favicon.ico /robots.txt /sitemap.xml /apple-touch-icon-72x72-precomposed.png /apple-touch-icon-72x72.png /apple-touch-icon-precomposed.png /apple-touch-icon.png Existe-t-il …
2
Comment interdire un répertoire entier avec robots.txt?
J'ai deux sites sur lesquels je travaille actuellement: un panier et un autre client. Les deux sont sous le même nom de domaine donc par exemple http://example.com/first_url http://example.com/second_url Ces deux URL ont des tonnes de pages en dessous http://example.com/first_url/product1 http://example.com/first_url/product2 http://example.com/first_url/product3 http://example.com/second_url/product1 http://example.com/second_url/product2 http://example.com/second_url/product3 Comment puis-je interdire l'URL principale /first_urlainsi …
19 seo  robots.txt 
7
Google cache-t-il le fichier robots.txt?
J'ai ajouté un fichier robots.txt à l'un de mes sites il y a une semaine, ce qui aurait dû empêcher Googlebot de tenter de récupérer certaines URL. Cependant, ce week-end, je peux voir Googlebot charger ces URL exactes. Google cache-t-il le fichier robots.txt et, dans l'affirmative, le devrait-il?
4
Le site a été piraté, vous devez supprimer toutes les URL commençant par + de Google, utiliser robots.txt?
Pourriez-vous s'il vous plaît me faire savoir comment bloquer ces URL robots.txtpour que Googlebots arrête l'indexation? http://www.example.com/+rt6s4ayv1e/d112587/ia0g64491218q Mon site Web a été piraté, ce qui est maintenant récupéré, mais le pirate a indexé 5000 URL dans Google et maintenant j'obtiens l'erreur 404 sur les liens générés de manière aléatoire, commençant …
3
Qu'est-ce qu'un fichier robots.txt minimum valide?
Je n'aime pas que je vois beaucoup d'erreurs 404 dans le fichier access.log de mon serveur Web. Je reçois ces erreurs parce que les robots tentent d'ouvrir un fichier robots.txt , mais n'en ont pas trouvé. Je veux donc placer un simple fichier robots.txt qui empêchera les erreurs 404 d'apparaître …
14 robots.txt 
3
Robots.txt - CSS autorise ou interdit
Les CSS et les modèles sont-ils autorisés dans le fichier robots.txt ? Cela devrait-il causer des problèmes? Dans Joomla, CSS et les modèles sont interdits dans le fichier robots.txt . S'il vous plaît, aidez-moi à trouver une solution pour mettre ou non des robots dans CSS, des modèles, etc. pour …
12 css  robots.txt 
3
Robots.txt: dois-je interdire une page qui n'est liée nulle part?
Il y a des pages sur mon site Web que je souhaite que l'utilisateur puisse visiter uniquement si je lui donne l'URL. Si je n'autorise pas les pages individuelles robots.txt, elles seront visibles par quiconque les examinera. Ma question est la suivante: si je ne les relie pas de n'importe …
12 robots.txt 
2
Les outils Google pour les webmasters m'informent que des robots bloquent l'accès au plan du site
Voici mon robots.txt : User-agent: * Disallow: /wp-admin/ Disallow: /wp-includes/ Sitemap: http://www.example.org/sitemap.xml.gz Mais Google Webmaster Tools me dit que les robots bloquent l'accès au plan du site: Nous avons rencontré une erreur lors de l'accès à votre sitemap. Veuillez vous assurer que votre plan du site respecte nos consignes et …
En utilisant notre site, vous reconnaissez avoir lu et compris notre politique liée aux cookies et notre politique de confidentialité.
Licensed under cc by-sa 3.0 with attribution required.