Le calcul d'un hachage MD5 est-il moins gourmand en CPU que les fonctions de la famille SHA?

115

Le calcul d'un hachage MD5 est-il moins gourmand en CPU que SHA-1 ou SHA-2 sur du matériel x86 d'ordinateur portable «standard»? Je suis intéressé par des informations générales, non spécifiques à une certaine puce.

MISE À JOUR: Dans mon cas, je suis intéressé par le calcul du hachage d'un fichier. Si la taille du fichier compte, supposons que son 300K.

— Mick
source

Ce n'est pas une réponse à votre question, mais les partisans de Skein ont avancé sa vitesse, et ce n'est certainement pas plus faible que le MD5 en fin de vie pour le moment. Dans les messages que vous devez hacher sont très courts, la vitesse peut être un inconvénient pour une fonction de hachage cryptographique (en particulier, à quelle vitesse quelqu'un d'autre peut l'implémenter, pas à quelle vitesse elle s'exécute sur votre ordinateur portable). schneier.com/skein1.2.pdf

— Pascal Cuoq

4

@Pascal: Skein n'est pas le plus rapide des candidats SHA-3, en particulier sur les plates-formes 32 bits. Sur un x86 64 bits, Skein atteint environ 300 Mo / s (Skein-512 étant un peu plus rapide que Skein-256), ce qui est comparable à SHA-1, mais en mode 32 bits, les performances chutent à moins de 60 Mo / s, deux fois plus lent que SHA-256. D'autre part, SHABAL, un autre candidat SHA-3, offre des performances similaires à SHA-1 sur les plates-formes 32 bits et 64 bits.

— Thomas Pornin

123

Oui, MD5 est un peu moins gourmand en CPU. Sur mon Intel x86 (Core2 Quad Q6600, 2,4 GHz, utilisant un cœur), j'obtiens ceci en mode 32 bits:

MD5       411
SHA-1     218
SHA-256   118
SHA-512    46

et ceci en mode 64 bits:

MD5       407
SHA-1     312
SHA-256   148
SHA-512   189

Les chiffres sont en mégaoctets par seconde, pour un message "long" (c'est ce que vous obtenez pour les messages de plus de 8 Ko). C'est avec sphlib , une bibliothèque d'implémentations de fonctions de hachage en C (et Java). Toutes les implémentations sont du même auteur (moi) et ont été faites avec des efforts comparables d'optimisations; ainsi les différences de vitesse peuvent être considérées comme réellement intrinsèques aux fonctions.

À titre de comparaison, considérez qu'un disque dur récent fonctionnera à environ 100 Mo / s, et tout ce qui se trouve sur USB dépassera 60 Mo / s. Même si SHA-256 semble "lent" ici, il est assez rapide pour la plupart des cas.

Notez qu'OpenSSL inclut une implémentation 32 bits de SHA-512 qui est assez plus rapide que mon code (mais pas aussi rapide que le SHA-512 64 bits), car l'implémentation OpenSSL est en assemblage et utilise des registres SSE2, ce qui ne peut pas être fait en clair C. SHA-512 est la seule fonction parmi ces quatre qui bénéficie d'une implémentation SSE2.

Edit: sur cette page ( archive ), on peut trouver un rapport sur la vitesse de nombreuses fonctions de hachage (cliquez sur le lien "Telechargez maintenant"). Le rapport est en français, mais il est principalement rempli de tableaux et de chiffres, et les chiffres sont internationaux. Les fonctions de hachage implémentées n'incluent pas les candidats SHA-3 (sauf SHABAL) mais je travaille dessus.

— Thomas Pornin
source

2

Je ne pense pas que vos repères soient utiles. Une comparaison de vitesse de deux algorithmes basés sur une optimisation équivalente mais incomplète n'est pas pertinente. Dans le monde réel, vous ne lancez pas votre propre implémentation, mais utilisez plutôt des implémentations entièrement optimisées. Les résultats de ceux-ci sont ce qu'il faut comparer.

— Edward Brey

10

@EdwardBrey En fait, ils sont presque entièrement optimisés. En fait, son implémentation md5 fonctionne beaucoup plus rapidement que celle offerte par OpenSSL, donc toutes les implémentations ne seront pas optimisées dans le «monde réel» comme vous le dites. En outre, bien que ceux-ci ne soient pas parfaits (vous avez raison à ce sujet), ils constituent une réponse parfaite à cette question particulière.

— Gaspa79

50

Sur mon MacBook Air 2012 (Intel Core i5-3427U, 2x 1,8 GHz, 2,8 GHz Turbo), SHA-1 est légèrement plus rapide que MD5 (en utilisant OpenSSL en mode 64 bits):

$ openssl speed md5 sha1
OpenSSL 0.9.8r 8 Feb 2011
The 'numbers' are in 1000s of bytes per second processed.
type             16 bytes     64 bytes    256 bytes   1024 bytes   8192 bytes
md5              30055.02k    94158.96k   219602.97k   329008.21k   384150.47k
sha1             31261.12k    95676.48k   224357.36k   332756.21k   396864.62k

Mise à jour: 10 mois plus tard avec OS X 10.9, SHA-1 est devenu plus lent sur la même machine:

$ openssl speed md5 sha1
OpenSSL 0.9.8y 5 Feb 2013
The 'numbers' are in 1000s of bytes per second processed.
type             16 bytes     64 bytes    256 bytes   1024 bytes   8192 bytes
md5              36277.35k   106558.04k   234680.17k   334469.33k   381756.70k
sha1             35453.52k    99530.85k   206635.24k   281695.48k   313881.86k

Deuxième mise à jour: sous OS X 10.10, la vitesse SHA-1 est de retour au niveau 10.8:

$ openssl speed md5 sha1
OpenSSL 0.9.8zc 15 Oct 2014
The 'numbers' are in 1000s of bytes per second processed.
type             16 bytes     64 bytes    256 bytes   1024 bytes   8192 bytes
md5              35391.50k   104905.27k   229872.93k   330506.91k   382791.75k
sha1             38054.09k   110332.44k   238198.72k   340007.12k   387137.77k

Troisième mise à jour: OS X 10.14 avec LibreSSL est beaucoup plus rapide (toujours sur la même machine). SHA-1 est toujours en tête:

$ openssl speed md5 sha1
LibreSSL 2.6.5
The 'numbers' are in 1000s of bytes per second processed.
type             16 bytes     64 bytes    256 bytes   1024 bytes   8192 bytes
md5              43128.00k   131797.91k   304661.16k   453120.00k   526789.29k
sha1             55598.35k   157916.03k   343214.08k   489092.34k   570668.37k

— nwellnhof
source

2

bizarre, mon air est le même que le vôtre et j'ai obtenu des résultats de référence opposés. avec 8192 octets: md5 305549.52k; sha1 204668,57k

— Carlos Fontes

3

Hmm, j'obtiens également des résultats différents de ceux de l'année dernière sur la même machine: md5 381756.70k, sha1 313881.86k. Peut-être à cause de la mise à jour vers 10.9 (OpenSSL 0.9.8y).

— nwellnhof

6

C'est une excellente réponse. cela montre que vous vous souciez. merci l'homme pour le partage

— M à

13

La vraie réponse est: cela dépend

Il y a quelques facteurs à considérer, les plus évidents sont: le processeur sur lequel vous exécutez ces algorithmes et l'implémentation des algorithmes.

Par exemple, mon ami et moi exécutons exactement la même version openssl et obtenons des résultats légèrement différents avec différents processeurs Intel Core i7.

Mon test au travail avec un processeur Intel (R) Core (TM) i7-2600 à 3,40 GHz

The 'numbers' are in 1000s of bytes per second processed.
type             16 bytes     64 bytes    256 bytes   1024 bytes   8192 bytes
md5              64257.97k   187370.26k   406435.07k   576544.43k   649827.67k
sha1             73225.75k   202701.20k   432679.68k   601140.57k   679900.50k

Et le sien avec un processeur Intel (R) Core (TM) i7 920 à 2,67 GHz

The 'numbers' are in 1000s of bytes per second processed.
type             16 bytes     64 bytes    256 bytes   1024 bytes   8192 bytes
md5              51859.12k   156255.78k   350252.00k   513141.73k   590701.52k
sha1             56492.56k   156300.76k   328688.76k   452450.92k   508625.68k

Nous exécutons tous les deux exactement les mêmes binaires d'OpenSSL 1.0.1j 15 octobre 2014 à partir du package officiel d'ArchLinux.

Mon opinion à ce sujet est qu'avec la sécurité supplémentaire de sha1, les concepteurs de CPU sont plus susceptibles d'améliorer la vitesse de sha1 et plus de programmeurs travailleront sur l'optimisation de l'algorithme que md5sum.

J'imagine que md5 ne sera plus utilisé un jour car il semble qu'il n'a aucun avantage sur sha1. J'ai également testé certains cas sur des fichiers réels et les résultats étaient toujours les mêmes dans les deux cas (probablement limités par les E / S disque).

md5sum d'un gros fichier de 4,6 Go a pris exactement le même temps que sha1sum du même fichier, il en va de même avec de nombreux petits fichiers (488 dans le même répertoire). J'ai effectué les tests une douzaine de fois et ils obtenaient constamment les mêmes résultats.

-

Il serait très intéressant d'approfondir cette question. Je suppose que certains experts pourraient fournir une réponse solide à la raison pour laquelle sha1 devient plus rapide que md5 sur les nouveaux processeurs.

— Johnride
source

6

Vous devez sérieusement acheter un SSD (et / ou supprimer McAfee) :)

— Maarten Bodewes

1

@owlstead putain, j'ai oublié de désactiver le "mode lent" de mes boîtes Linux quand j'ai essayé cela.

— Johnride

4

@Johnride, ne faites pas de benchmark à partir d'un fichier. Exécutez-le à partir des données en mémoire ou, plus simplement, reprenez simplement la même valeur.

— Robino

1

@Robino c'est ce que openssl speedfait, qui est le premier et le plus significatif benchmark.

— Johnride

1

MD5 bénéficie également de l'utilisation de SSE2, consultez BarsWF et dites-moi que ce n'est pas le cas. Tout ce qu'il faut, c'est un peu de connaissances en assembleur et vous pouvez créer vos propres routines MD5 SSE2. Cependant, pour de grandes quantités de débit, il y a un compromis entre la vitesse pendant le hachage par rapport au temps passé à réorganiser les données d'entrée pour qu'elles soient compatibles avec les instructions SIMD utilisées.

— Bob le bricoleur
source

3

À première vue, il n'est pas clair si SSE2 est utilisé pour accélérer un thread MD5 ou pour coupler quelques threads MD5 parallèles; ce dernier est bien sûr facile pour la plupart des algorithmes, mais cela ne compte pas comme bénéficier de SSE2 car ce qui est généralement nécessaire, c'est un seul flux de données.

— lapo

0

sha1sum est un peu plus rapide sur Power9 que md5sum

$ uname -mov
#1 SMP Mon May 13 12:16:08 EDT 2019 ppc64le GNU/Linux

$ cat /proc/cpuinfo
processor       : 0
cpu             : POWER9, altivec supported
clock           : 2166.000000MHz
revision        : 2.2 (pvr 004e 1202)

$ ls -l linux-master.tar
-rw-rw-r-- 1 x x 829685760 Jan 29 14:30 linux-master.tar

$ time sha1sum linux-master.tar
10fbf911e254c4fe8e5eb2e605c6c02d29a88563  linux-master.tar

real    0m1.685s
user    0m1.528s
sys     0m0.156s

$ time md5sum linux-master.tar
d476375abacda064ae437a683c537ec4  linux-master.tar

real    0m2.942s
user    0m2.806s
sys     0m0.136s

$ time sum linux-master.tar
36928 810240

real    0m2.186s
user    0m1.917s
sys     0m0.268s

— B Abali
source