Il y a des pages sur mon site Web que je souhaite que l'utilisateur puisse visiter uniquement si je lui donne l'URL.
Si je n'autorise pas les pages individuelles robots.txt, elles seront visibles par quiconque les examinera.
Ma question est la suivante: si je ne les relie pas de n'importe où, ou du moins à partir d'une page indexée, serait-il toujours atteint par les robots d'exploration d'une manière ou d'une autre?
Réponses:
Vous ne voulez pas du tout que la page apparaisse dans les SERPs ...
Ne pas interdire dans robots.txt. Ajoutez plutôt une balise META noindex (ou un en-tête HTTP X-Robots-Tag) à vos pages.
Comme le suggère j0k, vos pages pourraient être trouvées d'une manière ou d'une autre. Rapports statistiques, listes de répertoires, etc ...
L'interdiction dans robots.txt empêche la page d'être explorée, mais pourrait toujours être indexée et apparaître comme un lien URL uniquement dans les SERP. Quelque chose comme:
Une balise META noindex empêche la page d'apparaître du tout dans les SERPs - mais Google doit être en mesure d'explorer la page afin de voir la balise META noindex - afin qu'elle ne puisse pas être interdite dans robots.txt!
S'il y a quelque chose sur la page qui ne doit pas être accessible au public, alors les pages doivent être derrière une sorte d'authentification.
Eh bien, je pense que vous avez un bon robot qui lit le fichier robots.txt et suit la directive. Et un autre qui ne suit pas la directive.
Et comment prévoyez-vous de donner cette URL? Par e-mail, via Facebook ou Twitter? Tous ces services analysent les informations que vous envoyez. Gmail analyse les e-mails que vous recevez pour diffuser des annonces. Ainsi, votre URL sera en quelque sorte explorée.
Certaines personnes utilisent la barre d'outils Google (ou toute autre barre d'outils du moteur de recherche). Il existe une option (cochée par défaut si je me souviens bien) qui permet à la barre d'outils d'envoyer toutes les URL que vous visitez à Google. C'est une autre façon pour Google de voir le Web caché. Donc même si vous avez dit à la personne de ne pas partager l'url, elle le fera implicitement (grâce à la barre d'outils).
Je pense que nous pouvons trouver beaucoup d'autres possibilités.
Vous pouvez donc l'ajouter à robots.txt mais également fournir des méta supplémentaires comme noindex, nofollow, etc.
Éditer:
La suggestion de w3d à propos de robots.txt me semble bonne. Alors ne l'ajoutez pas à robots.txt et fournissez votre propre balise META.
En plus des commentaires ci-dessus, je recommanderais également l'authentification HTACCESS au minimum - de cette façon, vous pouvez donner aux individus une combinaison nom d'utilisateur / mot de passe pour la durée de leur droit de voir les pages.
S'il y a quelque chose avec des problèmes de confidentialité, vous devez envisager un script de contrôle de connexion approprié.
Une page non protégée (même si vous pensez qu'elle est bien cachée) fera son chemin dans la nature.