Les outils Google pour les webmasters m'informent que des robots bloquent l'accès au plan du site

Voici mon robots.txt :

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/

Sitemap: http://www.example.org/sitemap.xml.gz

Mais Google Webmaster Tools me dit que les robots bloquent l'accès au plan du site:

Nous avons rencontré une erreur lors de l'accès à votre sitemap. Veuillez vous assurer que votre plan du site respecte nos consignes et peut être consulté à l'emplacement que vous avez indiqué, puis renvoyez-le: URL restreinte par robots.txt .

J'ai lu que Google Webmaster Tools cache le fichier robots.txt , mais le fichier a été mis à jour il y a plus de 36 heures.

Mise à jour:

Le fait de frapper le plan du site TEST ne fait pas que Google récupère un nouveau plan du site. Seul le plan du site SUBMIT a pu le faire. (BTW, je ne vois pas à quoi sert `` tester le plan du site '' à moins que vous n'y colliez votre plan du site actuel - il ne récupère pas une nouvelle copie du plan du site à partir de l'adresse qu'il vous demande d'entrer avant le test - mais c'est une question pour un autre jour.)

Après avoir soumis (au lieu de tester) un nouveau plan du site, la situation a changé. J'obtiens maintenant "URL bloquée par robots.txt . Le plan du site contient des URL qui sont bloquées par robots.txt ." pour 44 URL. Il y a exactement 44 URL dans le plan du site. Cela signifie que Google utilise le nouveau plan du site, mais qu'il respecte toujours l'ancienne règle des robots (qui gardait tout hors de portée) Aucune des 44 URL ne se trouve dans /wp-admin/ou /wp-includes/(ce qui est de toute façon impossible, car robots.txt est construit sur à la volée par le même plugin qui crée le plan du site).

Mise à jour 2:

La situation empire: sur une page de résultats de recherche Google, la description de la page d'accueil se lit comme suit: "Une description de ce résultat n'est pas disponible en raison du fichier robots.txt de ce site - en savoir plus". Toutes les autres pages ont de belles descriptions. Il n'y a pas d' indexation de méta-blocage robots.txt OU robots de la page d'accueil.

Je suis coincé.

Il semblerait que Google n'ait probablement pas encore mis à jour le cache de votre fichier robots.txt. Votre fichier robots.txt actuel (ci-dessus) ne semble pas devoir bloquer l'URL de votre sitemap.

Je suppose que Google n'a tout simplement pas mis à jour son cache.

Inutile de deviner. Dans Google Webmaster Tools (GWT), sous "Santé"> "URL bloquées", vous pouvez voir quand votre robots.txt a été téléchargé pour la dernière fois et s'il a réussi. Il vous informera également du nombre d'URL bloquées par le fichier robots.txt.

Comme mentionné dans mes commentaires, GWT dispose d'un outil de vérification robots.txt ("Santé"> "URL bloquées"). Vous pouvez donc tester immédiatement les modifications apportées à votre fichier robots.txt (sans modifier votre fichier réel). Spécifiez le fichier robots.txt dans la zone de texte supérieure et les URL que vous souhaitez tester dans la zone de texte inférieure et il vous indiquera s'ils seront bloqués ou non.

Mise en cache de robots.txt

Une demande robots.txt est généralement mise en cache jusqu'à un jour, mais peut être mise en cache plus longtemps dans les situations où l'actualisation de la version mise en cache n'est pas possible (par exemple, en raison de délais d'attente ou d'erreurs 5xx). La réponse mise en cache peut être partagée par différents robots. Google peut augmenter ou diminuer la durée de vie du cache en fonction des en-têtes HTTP Cache-Control max-age.

Source: Google Developers - Spécifications Robots.txt

J'ai eu le même problème avec mon site car lors de l'installation de WP, je sélectionne ne pas suivre avec le moteur de recherche ou la même option.

Pour résoudre ce problème:

1. allez dans les outils pour les webmasters analyse l'URL et soumettez-la www.example.com/robots.txtavec cette option -> supprimer du cache pour modifier le contenu ou ...
2. Attends une minute
3. soumettre à nouveau l'URL de votre sitemap
4. terminer