Questions marquées «robots.txt»

4
Comment configurer le fichier robots.txt pour tout autoriser?
Mon robots.txtdans Google Webmaster Tools affiche les valeurs suivantes: User-agent: * Allow: / Qu'est-ce que ça veut dire? Je n'ai pas assez de connaissances à ce sujet, alors je cherche votre aide. Je souhaite autoriser tous les robots à explorer mon site Web, est-ce la bonne configuration?
116 robots.txt 
10
Fichiers statiques dans Flask - robot.txt, sitemap.xml (mod_wsgi)
Existe-t-il une solution intelligente pour stocker des fichiers statiques dans le répertoire racine de l'application Flask. On s'attend à ce que les robots.txt et sitemap.xml se trouvent dans /, donc mon idée était de créer des routes pour eux: @app.route('/sitemap.xml', methods=['GET']) def sitemap(): response = make_response(open('sitemap.xml').read()) response.headers["Content-type"] = "text/plain" return …
En utilisant notre site, vous reconnaissez avoir lu et compris notre politique liée aux cookies et notre politique de confidentialité.
Licensed under cc by-sa 3.0 with attribution required.