Comment configurer le fichier robots.txt pour tout autoriser?

Mon robots.txtdans Google Webmaster Tools affiche les valeurs suivantes:

User-agent: *
Allow: /

Qu'est-ce que ça veut dire? Je n'ai pas assez de connaissances à ce sujet, alors je cherche votre aide. Je souhaite autoriser tous les robots à explorer mon site Web, est-ce la bonne configuration?

Ce fichier permettra à tous les robots d'accéder

User-agent: *
Allow: /

Cela permet essentiellement à tous les agents utilisateurs (le *) d'accéder à toutes les parties du site (le /).

Si vous souhaitez autoriser chaque bot à tout explorer, c'est la meilleure façon de le spécifier dans votre robots.txt:

User-agent: *
Disallow:

Notez que le Disallowchamp a une valeur vide, ce qui signifie selon la spécification :

Toute valeur vide indique que toutes les URL peuvent être récupérées.

Votre méthode (avec Allow: /au lieu de Disallow:) fonctionne également, mais Allowne fait pas partie de la spécification originale du fichier robots.txt , elle n'est donc pas prise en charge par tous les robots (de nombreux robots populaires le supportent, cependant, comme le Googlebot ). Cela dit, les champs non reconnus doivent être ignorés, et pour les bots qui ne les reconnaissent pas Allow, le résultat serait le même dans ce cas de toute façon: si rien n'est interdit d'être crawlé (avec Disallow), tout est autorisé à être crawlé.
Cependant, formellement (selon la spécification d'origine), il s'agit d'un enregistrement non valide, car au moins un Disallowchamp est requis:

Au moins un champ Disallow doit être présent dans un enregistrement.

Je comprends que c'est une question assez ancienne et qu'elle a de très bonnes réponses. Mais, voici mes deux cents par souci d'exhaustivité.

Selon la documentation officielle , il existe quatre façons d'autoriser un accès complet aux robots d'accéder à votre site.

Nettoyer:

Spécifiez un matcher global avec un segment d'interdiction comme mentionné par @unor. Donc, vous /robots.txtressemblez à ça.

User-agent: *
Disallow:

Le hack:

Créez un /robots.txtfichier sans contenu. Ce qui par défaut autorise tout pour tous les types de fichiers Bots.

Je m'en fous:

Ne créez pas un /robots.txttout. Ce qui devrait donner exactement les mêmes résultats que les deux ci-dessus.

Le moche:

À partir de la documentation des robots pour les balises méta , vous pouvez utiliser la balise méta suivante sur toutes vos pages de votre site pour faire Botssavoir que ces pages ne sont pas censées être indexées.

<META NAME="ROBOTS" CONTENT="NOINDEX">

Pour que cela s'applique à l'ensemble de votre site, vous devrez ajouter cette balise META pour toutes vos pages. Et cette balise doit être strictement placée sous votre HEADbalise de la page. En savoir plus sur cette balise meta ici .

Cela signifie que vous autorisez chaque ( *) user-agent / crawler à accéder à la racine ( /) de votre site. Tu vas bien.