Si votre objectif est que ces pages ne soient pas vues par le public, il est préférable de mettre un mot de passe sur cet ensemble de pages. Et / ou avoir une configuration qui ne permet que des adresses spécifiques, sur liste blanche, capables d'accéder au site (cela peut être fait au niveau du serveur, probablement via votre hôte ou l'administrateur du serveur).
Si votre objectif est que ces pages existent, tout simplement pas indexées par Google ou d'autres moteurs de recherche, comme d'autres l'ont mentionné, vous avez quelques options, mais je pense qu'il est important de faire la distinction entre les deux fonctions principales de la recherche Google dans ce sens: exploration et indexation.
Exploration vs indexation
Google explore votre site, Google indexe votre site. Les robots d'exploration trouvent les pages de votre site, l'indexation organise les pages de votre site. Plus d'informations à ce sujet ici .
Cette distinction est importante lorsque vous essayez de bloquer ou de supprimer des pages de "l'index" de Google. Par défaut, de nombreuses personnes bloquent simplement via le fichier robots.txt, qui est une directive indiquant à Google quoi (ou non) explorer. On suppose souvent que si Google n'explore pas votre site, il est peu probable qu'il l'indexe. Cependant, il est extrêmement courant de voir des pages bloquées par robots.txt, indexées dans Google.
Directives à Google et aux moteurs de recherche
Ce type de "directives" ne sont que des recommandations à Google sur la partie de votre site à explorer et à indexer. Ils ne sont pas tenus de les suivre. Ceci est important à savoir. J'ai vu de nombreux développeurs au fil des ans penser qu'ils peuvent simplement bloquer le site via robots.txt, et soudain, le site est indexé dans Google quelques semaines plus tard. Si quelqu'un d'autre établit un lien vers le site, ou si l'un des robots de Google s'en empare, il peut toujours être indexé .
Récemment, avec le tableau de bord mis à jour de GSC (Google Search Console), ils ont ce rapport appelé "Index Coverage Report". De nouvelles données sont disponibles pour les webmasters ici qui n'étaient pas directement disponibles auparavant, des détails spécifiques sur la façon dont Google gère un certain ensemble de pages. J'ai vu et entendu de nombreux sites Web recevoir des "avertissements", étiquetés "indexés, mais bloqués par Robots.txt".
La dernière documentation de Google mentionne que si vous voulez que les pages soient hors de l'index, ajoutez-y des balises nofollow noindex.
Outil Supprimer les URL
Juste pour s'appuyer sur ce que d'autres ont mentionné à propos de "l'outil de suppression d'URL" ....
Si les pages sont déjà indexées et qu'il est urgent de les retirer, l'outil "Supprimer les URL" de Google vous permettra de bloquer "temporairement" les pages des résultats de recherche. La demande dure 90 jours, mais je l'ai utilisée pour supprimer les pages de Google plus rapidement que d'utiliser noindex, nofollow, un peu comme une couche supplémentaire.
À l'aide de l'outil "Supprimer les URL", Google continuera d'explorer la page et peut-être de la mettre en cache, mais pendant que vous utilisez cette fonctionnalité, vous pouvez ajouter les balises nofollow noindex, afin qu'elles les voient et au moment où les 90 jours sont écoulés. en haut, j'espère qu'il ne saura plus indexer votre page.
IMPORTANT: l'utilisation de balises nofollow robots.txt et noindex est un signal quelque peu contradictoire pour Google.
La raison en est que si vous indiquez à google de ne pas explorer une page, puis que vous avez un noindex nofollow sur cette page, il peut ne pas explorer pour voir la balise noindex nofollow. Il peut ensuite être indexé par une autre méthode (que ce soit un lien ou autre). Les détails expliquant pourquoi cela se produit sont plutôt vagues, mais je l'ai vu se produire.
En bref, à mon avis, la meilleure façon d'empêcher des URL spécifiques d'être indexées consiste à ajouter une balise nofollow noindex à ces pages. Avec cela, assurez-vous que vous ne bloquez pas ces URL également avec robots.txt, car cela pourrait empêcher Google de voir correctement ces balises. Vous pouvez utiliser l'outil Supprimer les URL de Google pour les masquer temporairement dans les résultats de recherche pendant que Google traite votre nofollow noindex.