Méthode la plus rapide pour calculer la taille non compressée d'un gros fichier GZIPPED

Une fois un fichier compressé, y a-t-il un moyen de l'interroger rapidement pour dire quelle est la taille du fichier non compressé (sans le décompresser), en particulier dans les cas où le fichier non compressé a une taille> 4 Go.

Selon la RFC https://tools.ietf.org/html/rfc1952#page-5, vous pouvez interroger les 4 derniers octets du fichier, mais si le fichier non compressé était> 4 Go, la valeur représente simplement leuncompressed value modulo 2^32

Cette valeur peut également être récupérée en exécutant gunzip -l foo.gz, mais la colonne "non compressée" contient juste à uncompressed value modulo 2^32nouveau, probablement pendant la lecture du pied de page comme décrit ci-dessus.

Je me demandais simplement s'il y avait un moyen d'obtenir la taille du fichier non compressé sans avoir à le décompresser au préalable, cela serait particulièrement utile dans le cas où les fichiers compressés contiennent plus de 50 Go de données et prendraient un certain temps pour décompresser en utilisant des méthodes comme gzcat foo.gz | wc -c

EDIT: La limitation de 4 Go est ouvertement reconnue dans la manpage de l' gziputilitaire inclus avec OSX ( Apple gzip 242)

  BUGS
    According to RFC 1952, the recorded file size is stored in a 32-bit
    integer, therefore, it can not represent files larger than 4GB. This
    limitation also applies to -l option of gzip utility.

Je crois que le moyen le plus rapide est de modifier de gzipsorte que les tests en mode verbeux produisent le nombre d'octets décompressés; sur mon système, avec un fichier de 7761108684 octets, j'obtiens

% time gzip -tv test.gz
test.gz:     OK (7761108684 bytes)
gzip -tv test.gz  44.19s user 0.79s system 100% cpu 44.919 total

% time zcat test.gz| wc -c
7761108684
zcat test.gz  45.51s user 1.54s system 100% cpu 46.987 total
wc -c  0.09s user 1.46s system 3% cpu 46.987 total

Pour modifier gzip (1.6, comme disponible dans Debian), le patch est le suivant:

--- a/gzip.c
+++ b/gzip.c
@@ -61,6 +61,7 @@
 #include <stdbool.h>
 #include <sys/stat.h>
 #include <errno.h>
+#include <inttypes.h>

 #include "closein.h"
 #include "tailor.h"
@@ -694,7 +695,7 @@

     if (verbose) {
         if (test) {
-            fprintf(stderr, " OK\n");
+            fprintf(stderr, " OK (%jd bytes)\n", (intmax_t) bytes_out);

         } else if (!decompress) {
             display_ratio(bytes_in-(bytes_out-header_bytes), bytes_in, stderr);
@@ -901,7 +902,7 @@
     /* Display statistics */
     if(verbose) {
         if (test) {
-            fprintf(stderr, " OK");
+            fprintf(stderr, " OK (%jd bytes)", (intmax_t) bytes_out);
         } else if (decompress) {
             display_ratio(bytes_out-(bytes_in-header_bytes), bytes_out,stderr);
         } else {

Si vous avez besoin de la taille d'un fichier compressé ou un ensemble de fichiers, votre meilleur pari est d'utiliser tar -zou au tar -jlieu de gzipque tarcomprend la taille des fichiers non compressés. Utilisez lesspipepour jeter un œil à la liste des fichiers:

aptitude install lesspipe
lesspipe <compressed file> | less

Si lessest configuré pour utiliser lesspipe:

less <compressed file>

N'oubliez pas que cela peut prendre très longtemps. Cependant, votre système reste réactif, ce qui vous permet de tuer le processus de décompression.

Une autre approche consisterait à enregistrer le rapport compressé et à interroger ce fichier [texte] à la place:

gzip --verbose file 2>&1 | tee file.gz.log
file:    64.5% -- replaced with file.gz

Il nécessite cependant des calculs pour trouver la taille réelle du fichier.

Vous pouvez également faire de même avec tar, ce qui est en fait ce que je fais avec les sauvegardes de grande taille car cela empêche d'exécuter tout le processus de décompression pour obtenir uniquement une taille de fichier ou un nom, par exemple.

Qu'en est-il de

gzip -l file.gz|tail -n1|awk '{print $2}'

numfmt --to=iec $(gzip -l file.gz|tail -n1|awk '{print $2}')

gunzip -c $file | wc -c

Cela prendra beaucoup de temps, mais vous donnera la taille finale en octets.