Comment comparer les fichiers binaires sous Linux?

Je dois comparer deux fichiers binaires et obtenir le résultat sous la forme:

<fileoffset-hex> <fichier1 octets-hex> <fichier2 octets-hex>

pour chaque octet différent. Donc si file1.binest

  00 90 00 11

sous forme binaire et file2.binest

  00 91 00 10

Je veux obtenir quelque chose comme

  00000001 90 91
  00000003 11 10

Y a-t-il un moyen de faire cela sous Linux? Je connais cmp -lmais il utilise un système décimal pour les décalages et octal pour les octets que je voudrais éviter.

Ceci imprimera le décalage et les octets au format hexadécimal:

cmp -l file1.bin file2.bin | gawk '{printf "%08X %02X %02X\n", $1, strtonum(0$2), strtonum(0$3)}'

Ou bien, faites $1-1que le premier offset imprimé commence à 0.

cmp -l file1.bin file2.bin | gawk '{printf "%08X %02X %02X\n", $1-1, strtonum(0$2), strtonum(0$3)}'

Malheureusement, il strtonum()est spécifique à GAWK. Par conséquent, pour les autres versions d'awk, telles que mawk, vous devrez utiliser une fonction de conversion octale en décimale. Par exemple,

cmp -l file1.bin file2.bin | mawk 'function oct2dec(oct,     dec) {for (i = 1; i <= length(oct); i++) {dec *= 8; dec += substr(oct, i, 1)}; return dec} {printf "%08X %02X %02X\n", $1, oct2dec($2), oct2dec($3)}'

Éclaté pour plus de lisibilité:

cmp -l file1.bin file2.bin |
    mawk 'function oct2dec(oct,    dec) {
              for (i = 1; i <= length(oct); i++) {
                  dec *= 8;
                  dec += substr(oct, i, 1)
              };
              return dec
          }
          {
              printf "%08X %02X %02X\n", $1, oct2dec($2), oct2dec($3)
          }'

Comme ~ charlatan l'a fait remarquer:

 % xxd b1 > b1.hex
 % xxd b2 > b2.hex

Puis

 % diff b1.hex b2.hex

ou

 % vimdiff b1.hex b2.hex

diff + xxd

Essayez diffla combinaison suivante de substitution de processus zsh / bash:

diff -y <(xxd foo1.bin) <(xxd foo2.bin)

Où:

• -y vous montre les différences côte à côte (facultatif).
• xxd est un outil CLI pour créer une sortie hexdump du fichier binaire.
• Ajouter -W200à diffpour une sortie plus large (200 caractères par ligne).
• Pour les couleurs, utilisez colordiffcomme indiqué ci-dessous.

colordiff + xxd

Si vous en avez colordiff, il peut coloriser la diffsortie, par exemple:

colordiff -y <(xxd foo1.bin) <(xxd foo2.bin)

^{Sinon l' installation via: sudo apt-get install colordiff.}

Exemple de sortie:

vimdiff + xxd

Vous pouvez également utiliser vimdiff, par exemple

vimdiff <(xxd foo1.bin) <(xxd foo2.bin)

Conseils:

• si les fichiers sont trop gros, ajouter une limite (par exemple -l1000) pour chaquexxd

Il existe un outil appelé DHEX qui peut faire l'affaire et un autre outil appelé VBinDiff .

Pour une approche strictement en ligne de commande, essayez jojodiff .

Méthode qui fonctionne pour l'ajout / la suppression d'octets

diff <(od -An -tx1 -w1 -v file1) \
     <(od -An -tx1 -w1 -v file2)

Générez un scénario de test avec une seule suppression de l'octet 64:

for i in `seq 128`; do printf "%02x" "$i"; done | xxd -r -p > file1
for i in `seq 128`; do if [ "$i" -ne 64 ]; then printf "%02x" $i; fi; done | xxd -r -p > file2

Sortie:

64d63
<  40

Si vous souhaitez également voir la version ASCII du caractère:

bdiff() (
  f() (
    od -An -tx1c -w1 -v "$1" | paste -d '' - -
  )
  diff <(f "$1") <(f "$2")
)

bdiff file1 file2

Sortie:

64d63
<   40   @

Testé sur Ubuntu 16.04.

Je préfère odplus xxdparce que:

• c'est POSIX , xxdn'est pas (livré avec Vim)
• a le -Anpour supprimer la colonne d'adresse sans awk.

Explication de la commande:

• -Ansupprime la colonne d'adresse. C'est important sinon toutes les lignes seraient différentes après l'ajout / le retrait d'un octet.
• -w1met un octet par ligne, pour que diff puisse le consommer. Il est crucial d’avoir un octet par ligne, sinon chaque ligne après une suppression deviendrait déphasée et différerait. Malheureusement, ce n'est pas POSIX, mais présent dans GNU.
• -tx1 est la représentation que vous voulez, changez pour n'importe quelle valeur possible, tant que vous gardez 1 octet par ligne.
• -vempêche l'abréviation de répétition astérisque *qui pourrait interférer avec le diff
• paste -d '' - -rejoint toutes les deux lignes. Nous en avons besoin parce que l'hex et ASCII vont dans des lignes adjacentes séparées. Tiré de: https://stackoverflow.com/questions/8987257/concatenating-every-other-line-with-the-next
• nous utilisons des parenthèses ()pour définir bdiffau lieu de {}limiter la portée de la fonction interne f, voir aussi: https://stackoverflow.com/questions/8426077/how-to-define-a-function-inside-another-function-in-bash

Voir également:

• https://unix.stackexchange.com/questions/59849/diff-binary-files-of-different-sizes
• https://stackoverflow.com/questions/8385618/using-cmp-to-compare-two-binaries

Réponse courte

vimdiff <(xxd -c1 -p first.bin) <(xxd -c1 -p second.bin)

Lorsque vous utilisez hexdumps et text diff pour comparer des fichiers binaires, en particulier xxd, les ajouts et suppressions d'octets deviennent des décalages dans l'adressage, ce qui peut rendre la lecture difficile. Cette méthode indique à xxd de ne pas afficher les adresses et de ne générer qu'un seul octet par ligne, ce qui indique exactement quels octets ont été modifiés, ajoutés ou supprimés. Vous pouvez trouver les adresses plus tard en recherchant les séquences d'octets intéressantes dans un hexdump plus "normal" (sortie de xxd first.bin).

Je recommanderais hexdump pour vider les fichiers binaires au format texte et kdiff3 pour les diff.

hexdump myfile1.bin > myfile1.hex
hexdump myfile2.bin > myfile2.hex
kdiff3 myfile1.hex myfile2.hex

Le hexdiffest un programme conçu pour faire exactement ce que vous recherchez.

Usage:

hexdiff file1 file2

Il affiche le format hexadécimal (et ASCII 7 bits) des deux fichiers superposés, avec les différences mises en évidence. Recherchez man hexdiffles commandes à déplacer dans le fichier et un simple qquittera.

Cela ne répond peut-être pas strictement à la question, mais je l'utilise pour les binaires différents:

gvim -d <(xxd -c 1 ~/file1.bin | awk '{print $2, $3}') <(xxd -c 1 ~/file2.bin | awk '{print $2, $3}')

Il imprime les deux fichiers en tant que valeurs hexadécimales et ASCII , un octet par ligne, puis utilise la fonction de différenciation de Vim pour les rendre visuellement.

dhex http://www.dettus.net/dhex/

DHEX est un autre éditeur hexadécimal: il comprend un mode diff qui permet de comparer facilement et commodément deux fichiers binaires. Comme il est basé sur ncurses et qu'il est possible de les utiliser, il peut être exécuté sur un nombre quelconque de systèmes et de scénarios. Grâce à son utilisation des journaux de recherche, il est possible de suivre facilement les modifications apportées à différentes itérations de fichiers.

Vous pouvez utiliser l' outil gvimdiff inclus dans le paquet vim-gui-common

sudo apt-get update

sudo apt-get install vim-gui-common

Ensuite, vous pouvez comparer 2 fichiers hexadécimaux en utilisant les commandes suivantes:

ubuntu> gvimdiff <hex-file1> <hex-file2>

C'est tout. J'espère que l'aide!

L'outil d'analyse de micrologiciel a binwalkégalement cela comme fonctionnalité via son option de ligne de commande -W/--hexdump qui offre des options telles que d'afficher uniquement les différents octets:

    -W, --hexdump                Perform a hexdump / diff of a file or files
    -G, --green                  Only show lines containing bytes that are the same among all files
    -i, --red                    Only show lines containing bytes that are different among all files
    -U, --blue                   Only show lines containing bytes that are different among some files
    -w, --terse                  Diff all files, but only display a hex dump of the first file

Dans l'exemple de OP en faisant binwalk -W file1.bin file2.bin:

https://security.googleblog.com/2016/03/bindiff-now-available-for-free.html

BinDiff est un excellent outil d'interface utilisateur pour la comparaison de fichiers binaires récemment ouvert.

Le produit open source sous Linux (et tout le reste) est Radare, qui fournit radiff2explicitement cet objectif. J'ai voté pour fermer ceci parce que moi - même et d'autres avons la même question, dans la question que vous posez

pour chaque octet différent

C'est fou cependant. Parce que comme demandé, si vous insérez un octet au premier octet du fichier, vous constaterez que chaque octet suivant est différent et que le diff répète le fichier entier, avec une différence réelle d'un octet.

Un peu plus pratique est radiff -O. Le -Opour "" Faire la différence de code avec tous les octets au lieu des octets de code d'opération fixes ""

0x000000a4 0c01 => 3802 0x000000a4
0x000000a8 1401 => 3802 0x000000a8
0x000000ac 06 => 05 0x000000ac
0x000000b4 02 => 01 0x000000b4
0x000000b8 4c05 => 0020 0x000000b8
0x000000bc 4c95 => 00a0 0x000000bc
0x000000c0 4c95 => 00a0 0x000000c0

Comme IDA Pro, Radare est un outil principal pour l’analyse binaire. Vous pouvez également afficher les différences delta avec -d, ou afficher les octets désassemblés au lieu d’hex -D.

Si vous posez ce genre de questions, consultez

• Stack Overflow pour les questions sur le logiciel,
• Reverse engineering de pile d'échange
• Radare de radiff2pour diffing binaire