Questions marquées «robots.txt»

Comment puis-je encourager Google à lire un nouveau fichier robots.txt?

Je viens de mettre à jour mon fichier robots.txt sur un nouveau site; Google Webmaster Tools signale qu'il a lu mon fichier robots.txt 10 minutes avant ma dernière mise à jour. Existe-t-il un moyen d'encourager Google à relire mon robots.txt dès que possible? MISE À JOUR: Sous Configuration du site …

22 google robots.txt google-webmaster-tools

Quels robots et araignées dois-je bloquer dans robots.txt?

Afin de: Augmenter la sécurité de mon site Web Réduisez les besoins en bande passante Empêcher la collecte d'adresses e-mail

14 performance security robots.txt

Comment définir globalement robots.txt dans nginx pour tous les hôtes virtuels

J'essaie de définir robots.txtpour tous les hôtes virtuels sous le serveur http nginx. J'ai pu le faire dans Apache en mettant les éléments suivants en principal httpd.conf: <Location "/robots.txt"> SetHandler None </Location> Alias /robots.txt /var/www/html/robots.txt J'ai essayé de faire quelque chose de similaire avec nginx en ajoutant les lignes ci-dessous …

13 nginx robots.txt

Comment créer un fichier robots.txt pour tous les domaines sur le serveur Apache

Nous avons une configuration de serveur Web de développement XAMPP Apache avec des hôtes virtuels et nous voulons empêcher les serps d'explorer tous nos sites. Cela se fait facilement avec un fichier robots.txt. Cependant, nous préférons ne pas inclure un fichier robots.txt non autorisé dans chaque vhost, puis le supprimer …

10 apache-2.2 php robots.txt

En utilisant notre site, vous reconnaissez avoir lu et compris notre politique liée aux cookies et notre politique de confidentialité.

Licensed under cc by-sa 3.0 with attribution required.