Je viens de mettre à jour mon fichier robots.txt sur un nouveau site; Google Webmaster Tools signale qu'il a lu mon fichier robots.txt 10 minutes avant ma dernière mise à jour.
Existe-t-il un moyen d'encourager Google à relire mon robots.txt dès que possible?
MISE À JOUR: Sous Configuration du site | Accès Crawler | Testez robots.txt:
L'accès à la page d'accueil montre:
Googlebot est bloqué sur http://my.example.com/
FYI: Le robots.txt que Google a lu en dernier ressemble à ceci:
User-agent: *
Allow: /<a page>
Allow: /<a folder>
Disallow: /
Est-ce que je me suis tiré une balle dans le pied, ou est-ce que ça finira par lire: http: ///robots.txt (comme il l'a fait la dernière fois qu'il l'a lu)?
Des idées sur ce que je dois faire?