Quelle est la surcharge d'espace des différents systèmes de fichiers?

8

J'ai sauvegardé / restauré un système de fichiers d'un système Ubuntu vers un système Fedora 17. J'ai remarqué qu'en fonction de la dfsortie, l'espace utilisé a augmenté de 30%. Quelles pourraient en être les raisons?

Sur le système Fedora dfaffiche: 78 Go utilisés

Sur le système Ubuntu dfaffiche: 60 Go utilisés

Différences entre les systèmes:

Ubuntu: ext3 (créé il y a des années)

Fedora 17: ext4 (créé avec un mkfs.ext4appel vanilla )

La restauration sur un système de fichiers XFS (sur Fedora 17) fournit 78 Go d'espace utilisé.

La sauvegarde et la restauration ont été effectuées avec GNU tar. Le système de fichiers contient un large éventail de différents types de fichiers (c'est-à-dire des arborescences sources, des maildirs aux ISO, etc.).

filesystems

— maxschlepzig
source

8

La première chose qui me vient à l'esprit est les "fichiers épars". Traditionnellement, on pouvait créer un fichier avec des données à un décalage dans le fichier, puis rechercher un décalage beaucoup plus important. Lors de l'écriture de données sur le décalage beaucoup plus élevé, le système de fichiers n'allouait pas de blocs de disque pour les décalages intermédiaires. Les programmes qui lisent ces décalages sans blocs de disque alloués lisent des valeurs nulles.

Tarring up des fichiers clairsemés provoque les décalages d'un fichier clairsemé qui n'a pas de blocs de disque alloués pour allouer des blocs de disque, à la fois dans le fichier tar (ou flux de sortie) et dans le fichier recréé.

Je me souviens que certains SGBD créaient des fichiers clairsemés, tout comme des programmes comme MSC / NASTRAN (système de modélisation par éléments finis). La sauvegarde de ces fichiers épars finit par utiliser de grandes quantités de stockage hors ligne, à la grande surprise de toutes les personnes impliquées.

— Bruce Ediger
source

Les programmes Torrent ont une option qui, je pense, fera la même chose, pour les téléchargements incomplets. (Au moins, la description dans Azureus ressemble à ce que vous décrivez)

— Izkata

Serait du --apparent-size ...un moyen de tester si des fichiers épars font la différence?

— maxschlepzig

1

Une autre utilisation courante des fichiers épars est l’image disque du logiciel de virtualisation.

— Jochen Lutz

4

Une autre chose à surveiller lorsque vous voyez des écarts d'espace est l'espace réservé à la racine (généralement 5% sur ext {2,3,4}). Cet espace permet au système d'exploitation de fonctionner (écrire des fichiers journaux, etc ...) même si un utilisateur remplit le disque (tant que cet utilisateur n'est pas root).

Vous pouvez afficher ce paramètre à l'aide de tune2fs -l:

[root@host ]# tune2fs -l /dev/md0 |grep Reserved
Reserved block count:     1279986
Reserved GDT blocks:      1017
Reserved blocks uid:      0 (user root)
Reserved blocks gid:      0 (group root)

Vous pouvez désactiver cela sur vos systèmes de fichiers ext avec tune2fs -m 0 /dev/NAME

En y regardant très rapidement, je ne pense pas que xfs ait réservé un espace pour root

— zje
source