Est-il possible de compresser un très gros fichier (~ 30 Go) en utilisant gzip? Si oui, quelles commandes, commutateurs et options dois-je utiliser?
Ou existe-t-il un autre programme (de préférence communément disponible sur les distributions Ubuntu) que je peux utiliser pour compresser / compresser de très gros fichiers? Avez-vous une expérience avec cela?
Réponses:
AFAIK il n'y a pas de limite de taille pour gzip- au moins pas 30 Go. Bien sûr, vous avez besoin de l'espace pour le fichier compressé sur votre disque, les deux versions seront là simultanément pendant la compression.
bzip2 compresse mieux les fichiers (pas seulement les gros :-), mais c'est (parfois beaucoup) plus lent.
pbzipen a aussi - qui utiliseront plus d'un cœur de processeur. Mais toujours beaucoup plus lentement que gzip.
pbzip2
si vous avez besoin d'un bon taux de compression, vous pouvez essayer lzma. il est plus rapide et plus efficace que bzip2 et peut même être plus rapide que gzip (je n'en suis pas sûr)
http://www.thegeekstuff.com/2010/06/lzma-better-compression-than-bzip2-on-unix-linux/
lzmaest déconseillé en faveur de xzmaintenant. Même algorithme, format de fichier quelque peu différent (amélioré?) Qui l'entoure. LZMA est plus lent que gzip, mais à la vitesse maximale, il reste une assez bonne compression sur des éléments hautement redondants comme les données JSON. ( xz -0)
Le format gzip représente la taille d'entrée modulo 2 ^ 32, donc l'
--listoption signale des tailles et des taux de compression non compressés incorrects pour les fichiers non compressés de 4 Go et plus.
Alors, prenez bzip2(v1.0.2 et plus) ou xz.
XZ réglé sur la compression la plus basse peut bien battre gzip pour la vitesse et la compression.
pxz -9ve - <in >out.xzet vous allez cuire un poulet sur votre PC, mais le résultat sera d'environ 60% du résultat gzip. Vous avez besoin d'environ 7 Go pour cela.