Est-il possible pour les robots d'indexation Web de voir des pages statiques sans suivre un lien vers elles?

Si je crée une page statique sur un domaine (http://www.domain.com/page.html), un robot peut-il toujours le voir s'il n'y a aucun lien vers celui-ci sur le site?

Peuvent-ils le voir? Oui. Peuvent-ils le trouver? Pas sans aide.

Les robots d'indexation Web trouvent généralement les pages à explorer en suivant les liens vers ces pages sur d'autres pages. Certains robots (par exemple, les robots des moteurs de recherche) analysent également les pages répertoriées dans des fichiers XML spéciaux. Donc, s'il n'y a pas de lien vers une page sur votre site Web ou tout autre site Web, cette page ne sera pas explorée (les pages qui contiennent l'URL de cette page mais qui sont en texte brut seront trouvées par Google ).

Cependant, une fois qu'une page est trouvée et explorée, elle peut être analysée à nouveau même si tous les liens vers cette page sont supprimés de leurs sites Web respectifs. Cela est dû au fait que les pages qui sont analysées sont ensuite indexées (par exemple, ajoutées à la liste des pages des robots à analyser à nouveau), de sorte que le robot sait qu'il doit à nouveau l'explorer ultérieurement pour rechercher des modifications. Si vous souhaitez empêcher que cela se produise, vous pouvez effectuer l'une des opérations suivantes:

Le plus efficace

• Supprimer la page d'Internet
• Modification de l'URL de cette page (essentiellement la suppression de la page et l'ajout d'une nouvelle)
• Placez-le derrière une connexion

Moins efficace

• Bloquer cette page à l'aide d'un fichier robots.txt (qui peut être ignoré)
• Essayez de filtrer les mauvais robots par IP (qui peut changer à chaque visite) ou agent utilisateur (peut être usurpé)

Une autre façon de découvrir la page est lorsque vous avez des liens vers d'autres sites sur cette page.

L'URL de votre page apparaîtra dans leurs journaux de référence, un bon passage de temps de nombreux webmasters consiste à parcourir brièvement ces journaux et à voir ce que les autres disent de leurs pages.

Certains sites semblent fournir un accès à ces journaux sans aucune restriction d'accès, donc les robots d'exploration peuvent également les atteindre ...

Pour garder la page vraiment secrète, ne la laissez pas renvoyer vers des sites externes.