Les versions les plus récentes de Joomla ne bloquent plus les dossiers /media/
et /templates/
:
User-agent: *
Disallow: /administrator/
Disallow: /bin/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /layouts/
Disallow: /libraries/
Disallow: /logs/
Disallow: /modules/
Disallow: /plugins/
Disallow: /tmp/
Toutes les extensions ne respectent pas les directives de l'emplacement des fichiers CSS et JS, etc.
Vous pouvez y parvenir en insérant quelques lignes au début de votre robots.txt
fichier comme ceci:
#Googlebot
User-agent: Googlebot
Allow: *.css
Allow: *.js
User-agent: *
Disallow: /administrator/
Disallow: /bin/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /layouts/
Disallow: /libraries/
Disallow: /logs/
Disallow: /modules/
Disallow: /plugins/
Disallow: /tmp/
ÉDITER:
Merci @ w3dk et @Stephen Ostermiller pour les commentaires! Vous avez parfaitement raison. Il vaut mieux faire quelque chose comme ça:
User-agent: *
Allow: *.css
Allow: *.js
Disallow: /administrator/
Disallow: /bin/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /layouts/
Disallow: /libraries/
Disallow: /logs/
Disallow: /modules/
Disallow: /plugins/
Disallow: /tmp/
Malheureusement, cela ne semble pas fonctionner comme prévu car les règles plus longues (plus spécifiques) remplacent les règles plus courtes et les lignes d'autorisation sont ignorées. Cela ne semble pas faire de différence si les lignes autorisées suivent les lignes interdites ou vice versa.
La seule façon dont je peux sembler contourner cela est de faire quelque chose comme ça qui semble fonctionner lorsque je le teste dans les outils pour les webmasters:
User-agent: *
Allow: /************************************************************.css
Allow: /************************************************************.js
Disallow: /administrator/
Disallow: /bin/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /layouts/
Disallow: /libraries/
Disallow: /logs/
Disallow: /modules/
Disallow: /plugins/
Disallow: /tmp/
EDIT 2 - MEILLEURE SOLUTION:
OK, j'ai donc fait un peu plus de recherche et trouvé la réponse sur https://stackoverflow.com/a/30362942/1983389
Il semble quelque chose comme ce qui suit (permettant l' accès à la solution la plus correcte et la plus soutenue dans tous les robots d' exploration Web *.css
et des *.js
fichiers dans les /bin
, /cache
, /installation
, /language
, /logs
, et des /tmp
dossiers et peut - être quelques - uns des autres dossiers peu de sens):
User-agent: *
Allow: /administrator/*.css
Allow: /administrator/*.js
Disallow: /administrator/
Disallow: /bin/
Disallow: /cache/
Allow: /cli/*.css
Allow: /cli/*.js
Disallow: /cli/
Allow: /components/*.css
Allow: /components/*.js
Disallow: /components/
Allow: /includes/*.css
Allow: /includes/*.js
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Allow: /layouts/*.css
Allow: /layouts/*.js
Disallow: /layouts/
Allow: /libraries/*.css
Allow: /libraries/*.js
Disallow: /libraries/
Disallow: /logs/
Allow: /modules/*.css
Allow: /modules/*.js
Disallow: /modules/
Allow: /plugins/*.css
Allow: /plugins/*.js
Disallow: /plugins/
Disallow: /tmp/
robots.txt
puisque personne (pas même les moteurs de recherche maintenant que Google fait des demandes sur ce que vous ne devriez pas interdire) ne le suivra pas de toute façon?