Dois-je tout inclure dans le plan du site ou seulement du nouveau contenu?

Pour un site Web avec un contenu dynamique (du nouveau contenu est constamment ajouté), dois-je inclure uniquement le contenu le plus récent dans le plan du site ou dois-je tout inclure (avec un index du plan du site)? Quelles sont les meilleures pratiques pour les plans de site esp. pour les grands sites?

De plus, existe-t-il de toute façon que Google (et les autres moteurs de recherche) ne parcourent que les pages du plan du site?

Merci

Mise à jour:
Aussi, une idée de la façon dont stackoverflow gère cela? Je voudrais savoir, mais malheureusement (également avec compréhension ), ils ont bloqué l'accès à leur plan du site.

seo sitemap

— Mee
source

Quelle est la taille du site? Il existe une limite de taille pour les robots.txt et le plan du site. Étonnamment, beaucoup dépassent les deux, c'est pourquoi je demande.

— Tim Post

@Tim, ce n'est pas vraiment grand pour l'instant (tout peut tenir dans un seul plan du site), mais j'essaie de planifier à l'avance.

— Mee

Inclure toutes les pages. Le plan du site XML a pour but d'informer les moteurs de recherche de tout votre contenu. Pas seulement les nouveautés.

Sur le site sitemaps.org (c'est moi qui souligne):

Les sitemaps sont un moyen simple pour les webmasters d'informer les moteurs de recherche des pages de leurs sites disponibles pour l'exploration .

Si vous avez beaucoup de contenu, vous pouvez utiliser plusieurs plans de site XML .

Si vous avez du contenu que vous ne voulez pas avoir exploré ou indexé, vous devez spécifiquement dire aux moteurs de recherche de ne pas explorer et indexer ces pages. Utilisez un fichier robots.txt pour bloquer les pages ou répertoires que vous ne souhaitez pas explorer. Vous pouvez également utiliser une balise META pour cela. Mais vous ne pouvez pas spécifier dans un plan de site XML de ne pas analyser les pages non répertoriées.

— John Conde
source

Merci pour votre réponse, je vais tout inclure dans le plan du site.

— Mee

Avez-vous une bibliothèque qui peut gérer 50 + k pages?

Ces 50k + pages sont-elles dans une base de données?

— John Conde

Vous n'avez pas besoin de placer chaque page de votre site dans un plan du site. Un plan du site est utile pour informer les moteurs de recherche des pages disponibles pour l'exploration. Si le moteur de recherche peut déjà voir toutes les pages explorables et que vous n'ajoutez pas d'informations sur la "dernière modification", il n'y a aucune raison d'en avoir une.

— Django Reinhardt

Cette réponse semble quelque peu en conflit avec webmasters.stackexchange.com/a/5151/30596 . Citant @John Mueller de Google,

Using a Sitemap file won't reduce our normal crawling of your site. It's additional information, not a replacement for crawling. Similarly, not having a URL in a Sitemap file doesn't mean that it won't be indexed.

— utilisateur