dd produit un fichier aléatoire de 32 Mo au lieu de 1 Go

Je voulais produire un fichier aléatoire de 1 Go, alors j'ai utilisé la commande suivante.

dd if=/dev/urandom of=output bs=1G count=1

Mais chaque fois que je lance cette commande, je reçois un fichier de 32 Mo:

<11:58:40>$ dd if=/dev/urandom of=output bs=1G count=1
0+1 records in
0+1 records out
33554431 bytes (34 MB, 32 MiB) copied, 0,288321 s, 116 MB/s

Qu'est-ce qui ne va pas?

MODIFIER:

Merci à de bonnes réponses dans ce sujet, je suis venu avec une solution qui lit 32 morceaux de 32 Mo de large qui fait 1 Go:

dd if=/dev/urandom of=output bs=32M count=32

Une autre solution a été donnée qui lit 1 Go directement dans la mémoire, puis écrit sur le disque. Cette solution nécessite beaucoup de mémoire, elle n’est donc pas recommandée:

dd if=/dev/urandom of=output bs=1G count=1 iflag=fullblock

bs, la taille du tampon, signifie la taille d’un seul appel read () effectué par dd.

(Par exemple, à la fois bs=1M count=1et bs=1k count=1kse traduira par un 1 fichier MiB, mais la première version fera en une seule étape, alors que le second fera en 1024 petits morceaux.)

Les fichiers normaux peuvent être lus à presque toutes les tailles de mémoire tampon (à condition que la mémoire tampon puisse tenir dans la RAM), mais les périphériques et les fichiers "virtuels" fonctionnent souvent très près des appels individuels et ont une restriction arbitraire quant à la quantité de données qu’ils produiront. read () appelle.

Pour /dev/urandom, cette limite est définie dans urandom_read () dans drivers / char / random.c :

#define ENTROPY_SHIFT 3

static ssize_t
urandom_read(struct file *file, char __user *buf, size_t nbytes, loff_t *ppos)
{
    nbytes = min_t(size_t, nbytes, INT_MAX >> (ENTROPY_SHIFT + 3));
    ...
}

Cela signifie que chaque fois que la fonction est appelée, elle serre la taille demandée à 33554431 octets.

Par défaut, contrairement à la plupart des autres outils, dd ne réessayera pas après avoir reçu moins de données que demandé - vous obtenez le 32 Mo et c'est tout. (Pour le faire réessayer automatiquement, comme dans la réponse de Kamil, vous devrez spécifier iflag=fullblock.)

Notez également que "la taille d'un seul read ()" signifie que l'intégralité de la mémoire tampon doit tenir simultanément dans la mémoire. Par conséquent, les tailles de bloc massives correspondent également à l'utilisation massive de la mémoire par dd .

Et tout cela est inutile, car vous n'obtiendrez généralement aucune performance lorsque vous dépassez environ 16 à 32 blocs MiB - les appels système ne sont pas la partie la plus lente ici, mais le générateur de nombres aléatoires.

Donc, pour plus de simplicité, utilisez simplement head -c 1G /dev/urandom > output.

ddpeut lire moins que ibs(note: bsspécifie les deux ibset obs), à moins que ne iflag=fullblocksoit spécifié. 0+1 records inindique que 0des blocs complets et 1un bloc partiel ont été lus. Cependant, tout blocage total ou partiel augmente le compteur.

Je ne connais pas le mécanisme exact qui permet de ddlire un bloc moins important que 1Gdans ce cas particulier. J'imagine que tout bloc est lu dans la mémoire avant son écriture, la gestion de la mémoire peut donc interférer (mais ce n'est qu'une supposition). Edit: cette réponse simultanée explique le mécanisme qui permet de ddlire un bloc qui est inférieur 1Gà ce qui est dans ce cas particulier

Quoi qu'il en soit, je ne recommande pas une telle taille bs. Je voudrais utiliser bs=1M count=1024. La chose la plus importante est: sans iflag=fullblock aucune tentative de lecture peut lire moins ibs( à moins que ibs=1, je pense, cela est tout à fait inefficace si).

Donc, si vous avez besoin de lire une quantité exacte de données, utilisez iflag=fullblock. Note iflagn’est pas requis par POSIX, vous ddne pouvez pas le supporter. Selon cette réponse, ibs=1 c'est probablement le seul moyen POSIX de lire un nombre exact d'octets. Bien sûr, si vous changez, ibsvous devrez recalculer le count. Dans votre cas, baisser ibsà 32Mou moins résoudra probablement le problème, même sans iflag=fullblock.

Dans mon Kubuntu, je corrigerais votre commande comme ceci:

dd if=/dev/urandom of=output bs=1M count=1024 iflag=fullblock