J'ai un sous-domaine que je ne veux pas figurer dans les résultats des moteurs de recherche. Disons que j'ai:
http://www.example.comhttp://child.example.comComment puis-je masquer toutes les URL de child.example.comdomaine qui s'affichent actuellement dans les résultats du moteur de recherche?
Réponses:
À la racine du répertoire du site Web du sous-domaine, ajoutez un fichier appelé robots.txt contenant:
User-agent: *
Disallow: /
Cela indiquera aux robots d'indexation de ne pas indexer le site du tout. Ils n'ont pas à obéir, mais les principaux le feront.
noindexà l'index et aux autres pages du sous-domaine
L'utilisation d'un fichier robots.txt dans votre sous-domaine vous aidera (et Google obéira à cela), mais une autre étape que vous pouvez prendre consiste à spécifier avec un compte Google Webmasters que vous ne souhaitez pas que ce sous-domaine soit indexé. Vous pouvez également utiliser une balise META sur toutes les pages du sous-domaine:
<meta name="robots" content="noindex">
Si cela se trouve être un site que vous utilisez uniquement pour des tests internes, limiter la visibilité à un ensemble spécifié d'adresses IP dans votre fichier d'hôtes virtuels masquerait davantage le site.
metabalise noindex dans chaque page, vous pouvez à la place renvoyer un X-Robots-Tagen-tête de réponse HTTP à partir de votre serveur pour le sous-domaine spécifié - cela, vous ne devez le faire qu'une seule fois.
Les solutions de Kenzo et Paul sont bonnes, vous pouvez mettre des méta-balises noindex sur vos pages Web et ajouter robots.txt pour interdire les robots.
Mais à mon avis, la meilleure solution est d'utiliser l'authentification par mot de passe sur votre sous-domaine. C'est la seule solution dont vous êtes sûr que les robots peuvent accéder et indexer votre site Web. Si vous utilisez Apache, vous pouvez implémenter htpasswd .
... actuellement affiché dans les résultats SEO?
Les autres réponses concernent davantage la prévention proactive de l'indexation d'un (sous) domaine (qui est principalement ce que vous demandez dans la question) plutôt que la suppression active de vos pages des résultats de recherche, ce qui pourrait être davantage ce que vous recherchez, à en juger par votre autre question .
Vous devez toujours bloquer votre site dans robots.txt et servir une balise noindex meta (ou X-Robots-Tagen-tête de réponse HTTP), comme indiqué dans les autres réponses, mais vous devez également bloquer l'accès à vos pages, en renvoyant un code d'état 404 ou 410.
Pour en savoir plus, consultez la page d'aide des Outils pour les webmasters de Google:
Conditions requises pour la suppression de contenu
Une fois tous ces éléments en place, vous pouvez utiliser l' outil Supprimer les URL dans les outils Google pour les webmasters. Cependant, cela ne s'applique qu'à des URL individuelles, pas à un site entier, mais c'est un début. (Google déclare que l'utilisation de robots.txt, noindex et la diffusion d'un 404 sont les conditions requises pour utiliser l'outil de suppression GWT.)
Cependant, si vous voulez toujours que les utilisateurs réguliers puissent accéder au site en tapant l'URL, c'est un problème - car votre contenu n'est plus disponible. Vous pouvez le mot de passe, comme le suggère Zistoloen, mais cela retournera un 403 (interdit) par défaut que vous devrez remplacer pour retourner un 404/410. Vous pouvez masquer votre contenu, renvoyer un 410 au Googlebot et permettre à tous les autres d'entrer - mais qu'en est-il des personnes qui cliquent sur les résultats dans les SERPs?
Mais si vous souhaitez que Google supprime votre contenu dans les plus brefs délais, vous devez le supprimer d'Internet "Google".