Comment effacer l'espace inutilisé avec des zéros? (ext3, ext4)

Je cherche quelque chose de plus intelligent que

cat /dev/zero > /mnt/X/big_zero ; sync; rm /mnt/X/big_zero

Comme FSArchiver recherche "l'espace utilisé" et ignore le site inutilisé mais opposé.

Objectif: J'aimerais compresser les images de partition. Il est donc vivement recommandé de remplir de zéros les espaces inutilisés.

Btw. Pour btrfs: effacez l' espace inutilisé avec des zéros (btrfs)

Un tel utilitaire est zerofree.

De sa description:

Zerofree trouve les blocs non alloués et non mis à zéro dans un système de fichiers ext2 ou ext3 et les remplit de zéros. Ceci est utile si le périphérique sur lequel réside ce système de fichiers est une image disque. Dans ce cas, en fonction du type d'image disque, un utilitaire secondaire peut éventuellement réduire la taille de l'image disque après l'exécution de zerofree. Zerofree exige que le système de fichiers soit démonté ou monté en lecture seule.

La méthode habituelle pour obtenir le même résultat (réinitialisation des blocs inutilisés) consiste à exécuter "dd". Créez un fichier contenant des zéros occupant tout l'espace disponible sur le lecteur, puis supprimez ce fichier. Cela présente de nombreux inconvénients, que zerofree atténue:

• c'est lent
• cela fait que l'image disque (temporairement) grandit au maximum
• il (temporairement) utilise tout l'espace disponible sur le disque, ainsi d'autres actions d'écriture simultanées peuvent échouer.

Zerofree a été écrit pour être exécuté à partir de systèmes GNU / Linux installés en tant que systèmes d'exploitation invités dans une machine virtuelle. Si ce n'est pas votre cas, vous n'avez presque certainement pas besoin de ce paquet.

MISE À JOUR # 1

La description du paquet .deb contient maintenant le paragraphe suivant, ce qui implique que cela fonctionnera également avec ext4.

Description: zéro bloc libre des systèmes de fichiers ext2, ext3 et ext4 Zerofree trouve les blocs non alloués avec un contenu de valeur non nulle dans un système de fichiers ext2, ext3 ou ext4 et les remplit de zéros ...

Autres utilisations

Une autre application de cet utilitaire consiste à compresser des images de disque qui sont une sauvegarde d’un disque réel. Un exemple typique de ceci est le vidage de la carte SD dans un BeagleBone ou un Raspberry Pi. Une fois que les espaces vides ont été mis à zéro, les images de sauvegarde peuvent être compressées plus efficacement.

Résumé des méthodes (mentionnées dans cette question et ailleurs) pour effacer l'espace inutilisé sur ext2 / ext3 / ext4:

Réduction de l'espace inutilisé

Le système de fichiers n'est pas monté

• Si le "disque" sur lequel votre système de fichiers est allumé est à allocation dynamique (par exemple, un disque SSD moderne prenant en charge TRIM, un fichier de machine virtuelle dont le format prend en charge la dispersion, etc.) et que votre noyau indique que le périphérique bloc le comprend, vous pouvez utiliser e2fsck -E discard src_fspour supprimer l'espace inutilisé (requiert e2fsprogs 1.42.2 ou supérieur).
• Utiliser zerofree (par exemple zerofree src_fs) pour écrire explicitement des zéros sur des blocs inutilisés.
• Utiliser e2image -rap src_fs dest_fspour ne copier que les blocs en cours d'utilisation (le nouveau système de fichiers doit se trouver sur un "disque" sinon mis à zéro, nécessite e2fsprogs 1.42.9 ou supérieur).

Le système de fichiers est monté

• Si le "disque" sur lequel votre système de fichiers est allumé est provisionné fin (par exemple, un disque SSD moderne prenant en charge TRIM, un fichier de machine virtuelle dont le format prend en charge la dispersion, etc.), votre noyau indique que le périphérique bloc le comprend et que le pilote de système de fichiers ext le prend en charge, vous pouvez l'utiliser. fstrim /mnt/fs/demander au système de fichiers de supprimer l'espace inutilisé.
• Using cat /dev/zero > /mnt/fs/zeros; sync; rm /mnt/fs/zeros( sfillfrom secure-delete utilise cette technique). Cette méthode est inefficace, elle n'est pas recommandée par Ted Ts'o (auteur d'ext4), peut ne pas mettre à zéro certaines choses et peut ralentir les futurs fscks.

Avoir le système de fichiers démonté donnera de meilleurs résultats que de l'avoir monté. L'élimination a tendance à être la méthode la plus rapide lorsqu'un grand nombre d'espace précédemment utilisé doit être mis à zéro, mais l'utilisation zerofreeaprès le processus d'élimination peut parfois être légèrement supérieure à zéro (en fonction de la manière dont l'élimination est mise en œuvre sur le "disque").

Rendre le fichier image plus petit

L'image est dans un format de VM dédié

Vous devrez utiliser un outil d'image disque approprié (tel que qemu-img convert src_image dst_image) pour permettre de récupérer l'espace mis à zéro et pour permettre au fichier représentant l'image de devenir plus petit.

L'image est un fichier brut

Une des techniques suivantes peut être utilisée pour rendre le fichier fragmenté (les exécutions de zéro cessent donc de prendre de la place):

• cp --sparse=always src_image dst_image.
• fallocate -d src_image (nécessite util-linux v2.25 ou supérieur).

De nos jours, il pourrait être plus facile d'utiliser un outil tel que virt-sparsify pour effectuer ces étapes et plus encore en une fois.

 Sources

• Effacez l'espace inutilisé avec des zéros (ext3, ext4) (cette question Unix & Linux!)
• https://ext4.wiki.kernel.org/index.php/Ext4_VM_Images
• Message de Ted Ts'o sur les techniques de réduction d’image dans le "bogue du noyau sur fs / ext4 / resize.c: 409" du thread linux-ext4.
• Garder les images de système de fichiers clairsemées par l'auteur dezerofree
• libère de l'espace non utilisé sur un fichier qcow2-image-file sur kvm / qemu answer sur Server Fault
• http://libguestfs.org/virt-sparsify.1.html

sfillde -suppression sécurisée peut faire et plusieurs autres emplois connexes.

par exemple

sfill -l -l -z /mnt/X

MISE À JOUR # 1

Il existe une arborescence source qui semble être utilisée par le projet ArchLinux sur github qui contient la source pour sfilllaquelle un outil est inclus dans le package Secure-Delete.

• https://github.com/BlackArch/secure-delete

Vous trouverez également une copie de sfillla page de manuel de:

• http://manpages.ubuntu.com/manpages/xenial/man1/sfill.1.html

Si vous avez la version 1.42.9 de e2fsprogs, vous pouvez utiliser e2imagepour créer l’image de partition sans l’espace libre, afin de pouvoir ignorer l’étape de mise à zéro.

Vous pouvez utiliser sfill. C'est une meilleure solution pour les volumes minces.

si vous ne souhaitez pas recourir à des outils supplémentaires, cette méthode devrait être plus rapide que cat /dev/zero > /mnt/fs/zeros:

dd if=/dev/zero of="/mnt/fs/filler" bs=10485760
dd if=/dev/zero of="/mnt/fs/filler1" bs=1
rm /mnt/fs/filler
rm /mnt/fs/filler1