Une URL de plan de site relative peut-elle être utilisée dans un fichier robots.txt?

191

Dans le fichier robots.txt, puis-je écrire l'URL relative suivante pour le fichier de plan de site?

sitemap: /sitemap.ashx

Ou dois-je utiliser l'URL complète (absolue) du fichier du plan du site, comme:

sitemap: http://subdomain.domain.com/sitemap.ashx

Pourquoi je me demande:

Je possède un nouveau service de blog, www.domain.com, qui permet aux utilisateurs de bloguer sur accountname.domain.com.
J'utilise des caractères génériques, donc tous les sous-domaines (comptes) pointent vers: "blog.domain.com".

Dans blog.domain.com, j'ai mis le fichier robots.txt pour permettre aux moteurs de recherche de trouver le plan du site. Mais, en raison des caractères génériques, tous les comptes d'utilisateurs partagent le même fichier robots.txt.C'est pourquoi je ne peux pas utiliser la deuxième alternative. Et pour l'instant, je ne peux pas utiliser la réécriture d'url pour les fichiers txt. (Je suppose que les versions ultérieures d'IIS peuvent gérer cela?)

seo sitemap robots.txt

— Easy Rider
source

318

Selon la documentation officielle sur sitemaps.org, il doit s'agir d'une URL complète:

Vous pouvez spécifier l'emplacement du plan du site à l'aide d'un fichier robots.txt. Pour ce faire, ajoutez simplement la ligne suivante avec l'URL complète du plan du site:
Sitemap: http://www.example.com/sitemap.xml

— unor
source

31

Veuillez noter que l'exemple de @ unor a: Plan du site avec une majuscule S. Ceci est important car Robots.txt est sensible à la casse.

— BodgeIT

19

Et sur le sujet du cas, robotstxt.org spécifie le fichier à nommer robots.txtsans la majuscule R.

— khargoosh

si le site charge https, l'URL du plan de site est mentionnée avec http. Est-ce bien? Ou devons-nous placer l'URL du plan de site en fonction du protocole?

— Shams

4

@Shams: Les URL répertoriées dans votre plan de site doivent utiliser le même protocole et le même hôte que le fichier de plan de site. Si votre site est disponible sous http et https , vous ne devez fournir qu'un seul plan du site (avec la variante canonique) .

— unor

2

Les robots d'exploration de Google ne sont pas assez intelligents, ils ne peuvent pas explorer les URL relatives, c'est pourquoi il est toujours recommandé d'utiliser des URL absolues pour une meilleure capacité d'exploration et une meilleure indexabilité.

Par conséquent, vous ne pouvez pas utiliser cette variante

> sitemap: /sitemap.xml

La syntaxe recommandée est

Sitemap: https://www.yourdomain.com/sitemap.xml

Remarque:

N'oubliez pas de mettre la première lettre en majuscule dans "plan du site"
N'oubliez pas de mettre de l'espace après "Sitemap:"

— Deepak Mathur
source

-2

Bonne question technique et logique mon cher ami. Non dans le fichier robots.txt, vous ne pouvez pas utiliser l'URL relative du plan du site; vous devez aller avec l'URL complète du plan du site.

Il est préférable d'utiliser "sitemap: https://www.example.com/sitemap_index.xml "

Dans l'URL ci-dessus, après le signe deux-points donne de l'espace. J'aime aussi soutenir Deepak.

— cstpl123
source