Est-il possible de compresser un très gros fichier (~ 30 Go) en utilisant gzip?


17

Est-il possible de compresser un très gros fichier (~ 30 Go) en utilisant gzip? Si oui, quelles commandes, commutateurs et options dois-je utiliser?

Ou existe-t-il un autre programme (de préférence communément disponible sur les distributions Ubuntu) que je peux utiliser pour compresser / compresser de très gros fichiers? Avez-vous une expérience avec cela?


La plupart des compresseurs hardcore sont xz, ou sa version parallèle, pxz. pxz -9ve - <in >out.xzet vous allez cuire un poulet sur votre PC, mais le résultat sera d'environ 60% du résultat gzip. Vous avez besoin d'environ 7 Go pour cela.
peterh

Réponses:


22

AFAIK il n'y a pas de limite de taille pour gzip- au moins pas 30 Go. Bien sûr, vous avez besoin de l'espace pour le fichier compressé sur votre disque, les deux versions seront là simultanément pendant la compression.

bzip2 compresse mieux les fichiers (pas seulement les gros :-), mais c'est (parfois beaucoup) plus lent.


4
bzip2 est particulièrement efficace pour compresser le code source (et similaires). C'est un bon concurrent pour gzip pour une utilisation générique aussi. La disponibilité de gzip sur différents systèmes d'exploitation est meilleure que bzip2
jippie

La compression sans perte bzip2 est-elle? Merci.
Andrew

3
@Andrew Oui, gzip / bzip2 / etc ... sont tous sans perte.
Renan

1
Et il y pbzipen a aussi - qui utiliseront plus d'un cœur de processeur. Mais toujours beaucoup plus lentement que gzip.
Nils

1
@Nils: sur mon Ubuntu il y a seulementpbzip2
rubo77

8

si vous avez besoin d'un bon taux de compression, vous pouvez essayer lzma. il est plus rapide et plus efficace que bzip2 et peut même être plus rapide que gzip (je n'en suis pas sûr)

http://www.thegeekstuff.com/2010/06/lzma-better-compression-than-bzip2-on-unix-linux/


4
lzmaest déconseillé en faveur de xzmaintenant. Même algorithme, format de fichier quelque peu différent (amélioré?) Qui l'entoure. LZMA est plus lent que gzip, mais à la vitesse maximale, il reste une assez bonne compression sur des éléments hautement redondants comme les données JSON. ( xz -0)
Peter Cordes

3

Si vous êtes dans la limite, réorganisez. Au lieu de:

gzip file

faire:

gzip < file > file.gz

Fonctionne très bien.


2

Le format gzip représente la taille d'entrée modulo 2 ^ 32, donc l' --listoption signale des tailles et des taux de compression non compressés incorrects pour les fichiers non compressés de 4 Go et plus.

Alors, prenez bzip2(v1.0.2 et plus) ou xz.


S'il ne doit être que gzip, alors votre fichier doit être divisé en parties plus petites jusqu'à 4 Go chacune.
cunéiforme

Il existe des séparateurs de fichiers disponibles pour cela.
Vérace

Eh bien, il n'est pas nécessaire de le diviser, c'est juste que les tailles signalées seront erronées.
Loi29

En utilisant notre site, vous reconnaissez avoir lu et compris notre politique liée aux cookies et notre politique de confidentialité.
Licensed under cc by-sa 3.0 with attribution required.