Comment comparer des parties de fichiers par hachage?

J'ai un fichier téléchargé avec succès et un autre téléchargement échoué (seulement les 100 premiers Mo d'un gros fichier) que je soupçonne être le même fichier.

Pour vérifier cela, je voudrais vérifier leurs hachages, mais comme je n'ai qu'une partie du fichier téléchargé sans succès, je veux seulement hacher les premiers mégaoctets.

Comment puis-je faire cela?

Le système d'exploitation serait Windows, mais j'ai installé cygwin et MinGW.

Créer des hachages pour comparer des fichiers est logique si vous comparez un fichier à plusieurs ou lorsque vous comparez plusieurs fichiers les uns aux autres.

Cela n'a aucun sens lorsque vous comparez deux fichiers une seule fois: l'effort pour calculer les hachages est au moins aussi élevé que de parcourir les fichiers et de les comparer directement.

Un outil de comparaison de fichiers efficace est cmp:

cmp --bytes $((100 * 1024 * 1024)) file1 file2 && echo "File fragments are identical"

Vous pouvez également le combiner avec ddpour comparer des parties arbitraires (pas nécessairement depuis le début) de deux fichiers, par exemple:

cmp \
    <(dd if=file1 bs=100M count=1 skip=1 2>/dev/null) \
    <(dd if=file2 bs=100M count=1 skip=1 2>/dev/null) \
&& echo "File fragments are identical"

Je suis désolé, je ne peux pas vraiment essayer ça, mais ça fonctionnera

dd if=yourfile.zip of=first100mb1.dat bs=100M count=1
dd if=yourotherfile.zip of=first100mb2.dat bs=100M count=1

Cela vous permettra d'obtenir les 100 premiers mégaoctets des deux fichiers.

Maintenant, récupérez les hachages:

sha256sum first100mb1.dat && sha256sum first100mb2.dat 

Vous pouvez également l'exécuter directement:

dd if=yourfile.zip bs=100M count=1 | sha256sum 
dd if=yourotherfile.zip bs=100M count=1 | sha256sum 

Tout le monde semble suivre la voie Unix / Linux avec cela, mais simplement comparer 2 fichiers peut facilement être fait avec les commandes standard de Windows:
FC /B file file2

FC est présent sur toutes les versions de Windows NT jamais réalisées. Et (si je me souviens bien) était également présent sous DOS.
C'est un peu lent, mais cela n'a pas d'importance pour une utilisation unique.

Vous pouvez simplement comparer directement les fichiers, avec un programme de comparaison binaire / hexadécimal comme vbindiff. Il compare rapidement les fichiers jusqu'à 4 Go sur Linux et Windows.

Ressemble à quelque chose comme ça, seulement avec la différence surlignée en rouge (1B vs 1C):

one                                       
0000 0000: 30 5C 72 A7 1B 6D FB FC  08 00 00 00 00 00 00 00  0\r..m.. ........  
0000 0010: 00 00 00 00                                       ....
0000 0020:
0000 0030:
0000 0040:
0000 0050:
0000 0060:
0000 0070:
0000 0080: 
0000 0090: 
0000 00A0: 

two        
0000 0000: 30 5C 72 A7 1C 6D FB FC  08 00 00 00 00 00 00 00  0\r..m.. ........  
0000 0010: 00 00 00 00                                       ....               
0000 0020: 
0000 0030:
0000 0040:
0000 0050:
0000 0060:
0000 0070:
0000 0080:
0000 0090:                                
0000 00A0:             
┌──────────────────────────────────────────────────────────────────────────────┐
│Arrow keys move  F find      RET next difference  ESC quit  T move top        │
│C ASCII/EBCDIC   E edit file   G goto position      Q quit  B move bottom     │
└──────────────────────────────────────────────────────────────────────────────┘ 

Je sais que cela dit pour Bash, mais OP indique également qu'ils ont Windows. Pour tous ceux qui veulent / nécessitent une solution Windows, il existe un programme appelé HxD qui est un éditeur hexadécimal qui peut comparer deux fichiers. Si les fichiers sont de tailles différentes, il dira si les pièces disponibles sont les mêmes. Et si besoin est, il est capable d'exécuter des sommes de contrôle pour tout ce qui est actuellement sélectionné. Il est gratuit et peut être téléchargé à partir du site Web HxD . Je n'ai aucun lien avec les auteurs, je l'utilise depuis des années.

cmp vous indiquera quand deux fichiers sont identiques jusqu'à la longueur du fichier plus petit:

$ dd if=/dev/random bs=8192 count=8192 > a
8192+0 records in
8192+0 records out
67108864 bytes transferred in 0.514571 secs (130417197 bytes/sec)
$ cp a b
$ dd if=/dev/random bs=8192 count=8192 >> b 
8192+0 records in
8192+0 records out
67108864 bytes transferred in 0.512228 secs (131013601 bytes/sec)
$ cmp a b
cmp: EOF on a

cmp vous indique que la comparaison a rencontré un EOF sur le fichier a avant de détecter une différence entre les deux fichiers.