Dessinez au hasard un certain nombre de lignes à partir d'un fichier de données

J'ai une liste de données, comme

12345
23456
67891
-20000
200
600
20
...

Supposons que la taille de cet ensemble de données (c'est-à-dire les lignes de fichier) est N. Je veux tracer au hasard des mlignes à partir de ce fichier de données. Par conséquent, la sortie doit être de deux fichiers, l'un est le fichier comprenant ces mlignes de données et l'autre inclut des N-mlignes de données.

Existe-t-il un moyen de le faire en utilisant une commande Linux?

Ce n'est peut-être pas le moyen le plus efficace mais cela fonctionne:

shuf <file> > tmp
head -n $m tmp > out1
tail -n +$(( m + 1 )) tmp > out2

Avec $mcontenant le nombre de lignes.

Ce script bash / awk choisit des lignes au hasard et conserve la séquence d'origine dans les deux fichiers de sortie.

awk -v m=4 -v N=$(wc -l <file) -v out1=/tmp/out1 -v out2=/tmp/out2 \
 'BEGIN{ srand()
         do{ lnb = 1 + int(rand()*N)
             if ( !(lnb in R) ) {
                 R[lnb] = 1
                 ct++ }
         } while (ct<m)
  } { if (R[NR]==1) print > out1 
      else          print > out2       
  }' file
cat /tmp/out1
echo ========
cat /tmp/out2

Sortie, basée sur les données de la question.

12345
23456
200
600
========
67891
-20000
20

Comme pour tout ce qui concerne Unix, il existe un utilitaire pour That ^TM .

Programme du jour: split
splitdivisera un fichier de différentes manières, -boctets, -llignes, -nnombre de fichiers de sortie. Nous utiliserons l' -loption. Puisque vous voulez choisir des lignes aléatoires et pas seulement la première m, nous allons d' sortabord classer le fichier au hasard. Si vous voulez en savoir plus sort, référez-vous à ma réponse ici .

Maintenant, le code réel. C'est assez simple, vraiment:

sort -R input_file | split -l $m output_prefix

Cela fera deux fichiers, un avec des mlignes et un avec des N-mlignes, nommé output_prefixaaet output_prefixab. Assurez-vous que mle fichier est plus gros que vous voulez ou vous obtiendrez plusieurs fichiers de longueur m(et un avecN % m ).

Si vous voulez vous assurer que vous utilisez la bonne taille, voici un petit code pour le faire:

m=10 # size you want one file to be
N=$(wc -l input_file)
m=$(( m > N/2 ? m : N - m ))
sort -R input_file | split -l $m output_prefix

Edit: Il est venu à mon attention que certaines sortimplémentations n'ont pas d' -Rindicateur. Si c'est le cas perl, vous pouvez remplacer perl -e 'use List::Util qw/shuffle/; print shuffle <>;'.

Si cela ne vous dérange pas de réorganiser les lignes et que vous avez des coreutils GNU (c'est-à-dire sur Linux non intégré ou Cygwin, pas trop ancien depuis shufapparu dans la version 6.0), shuf("shuffle") réorganise les lignes d'un fichier de manière aléatoire. Vous pouvez donc mélanger le fichier et répartir les m premières lignes dans un fichier et le reste dans un autre.

Il n'y a pas de moyen idéal pour faire cette dépêche. Vous ne pouvez pas simplement enchaîner headet tailparce headque tamponner à l'avance. Vous pouvez utiliser split, mais vous n'obtenez aucune flexibilité en ce qui concerne les noms des fichiers de sortie. Vous pouvez awkbien sûr utiliser :

<input shuf | awk -v m=$m '{ if (NR <= m) {print >"output1"} else {print} }'

Vous pouvez utiliser sedce qui est obscur mais peut-être plus rapide pour les gros fichiers.

<input shuf | sed -e "1,${m} w output1" -e "1,${m} d" >output2

Ou vous pouvez utiliser teepour dupliquer les données, si votre plate-forme a /dev/fd; c'est ok si m est petit:

<input shuf | { tee /dev/fd/3 | head -n $m >output1; } 3>&1 | tail -n +$(($m+1)) >output2

De manière portable, vous pouvez utiliser awk pour distribuer chaque ligne tour à tour. Notez que awk n'est pas très bon pour initialiser son générateur de nombres aléatoires; le caractère aléatoire n'est pas seulement définitivement inapproprié pour la cryptographie, mais même pas très bon pour les simulations numériques. La graine sera la même pour toutes les invocations awk sur n'importe quel système avec une période d'une seconde.

<input awk -v N=$(wc -l <input) -v m=3 '
    BEGIN {srand()}
    {
        if (rand() * N < m) {--m; print >"output1"} else {print >"output2"}
        --N;
    }'

Si vous avez besoin d'un meilleur caractère aléatoire, vous pouvez faire la même chose en Perl, qui amorce décemment son RNG.

<input perl -e '
    open OUT1, ">", "output1" or die $!;
    open OUT2, ">", "output2" or die $!;
    my $N = `wc -l <input`;
    my $m = $ARGV[0];
    while (<STDIN>) {
        if (rand($N) < $m) { --$m; print OUT1 $_; } else { print OUT2 $_; }
        --$N;
    }
    close OUT1 or die $!;
    close OUT2 or die $!;
' 42

En supposant m = 7et N = 21:

cp ints ints.bak
for i in {1..7}
do
    rnd=$((RANDOM%(21-i)+1))
    # echo $rnd;  
    sed -n "${rnd}{p,q}" 10k.dat >> mlines 
    sed -i "${rnd}d" ints 
done

Remarque: Si vous remplacez 7par une variable comme $1ou $m, vous devez utiliser seq, pas la {from..to}-notation, qui ne fait pas d'extension de variable.

Cela fonctionne en supprimant ligne par ligne du fichier, qui devient de plus en plus court, de sorte que le numéro de ligne, qui peut être supprimé, doit devenir de plus en plus petit.

Cela ne devrait pas être utilisé pour des fichiers plus longs et de nombreuses lignes, car pour chaque numéro, en moyenne, le demi-fichier doit être lu pour le 1er, et le fichier entier pour le 2ème code sed .