Comment échantillonner au hasard un sous-ensemble d'un fichier

Existe-t-il une commande Linux pouvant être utilisée pour échantillonner un sous-ensemble de fichier? Par exemple, un fichier contient un million de lignes et nous voulons échantillonner de manière aléatoire seulement mille lignes de ce fichier.

Pour aléatoire, je veux dire que chaque ligne a la même probabilité d'être choisie et qu'aucune des lignes choisies n'est répétitive.

headet tailpeut choisir un sous-ensemble du fichier mais pas au hasard. Je sais que je peux toujours écrire un script python pour le faire, mais je me demandais simplement s'il existait une commande pour cet usage.

La shufcommande (une partie de coreutils) peut faire ceci:

shuf -n 1000 file

Et au moins pour le moment, les versions non anciennes (ajoutées dans un commit de 2013 ), qui utiliseront l'échantillonnage de réservoir le cas échéant, ce qui signifie qu'il ne devrait pas manquer de mémoire et utilise un algorithme rapide.

Si vous avez un très gros fichier (ce qui est une raison courante pour prélever un échantillon), vous constaterez que:

1. shuf épuise la mémoire
2. L'utilisation $RANDOMne fonctionnera pas correctement si le fichier dépasse 32 767 lignes.

Si vous n'avez pas besoin "exactement" n lignes échantillonnées, vous pouvez échantillonner un rapport comme celui-ci:

cat input.txt | awk 'BEGIN {srand()} !/^$/ { if (rand() <= .01) print $0}' > sample.txt

Cela utilise une mémoire constante , échantillonne 1% du fichier (si vous connaissez le nombre de lignes du fichier, vous pouvez ajuster ce facteur pour échantillonner un nombre de lignes limité à un nombre limité), et fonctionne avec n’importe quelle taille de fichier, mais cela ne fonctionnera pas. renvoyer un nombre précis de lignes, juste un ratio statistique.

Remarque: le code provient de: https://stackoverflow.com/questions/692312/randomly-pick-lines-from-a-file-without-slurping-it-with-unix

Semblable à la solution probabiliste de @ Txangel mais approchant 100 fois plus vite.

perl -ne 'print if (rand() < .01)' huge_file.csv > sample.csv

Si vous avez besoin de hautes performances, d'une taille d'échantillon exacte et que vous souhaitez vivre avec un espace d'échantillon à la fin du fichier, vous pouvez procéder de la manière suivante (échantillonnez 1000 lignes d'un fichier de 1 m):

perl -ne 'print if (rand() < .0012)' huge_file.csv | head -1000 > sample.csv

.. ou bien enchaîner un deuxième exemple de méthode au lieu de head.

shuf -nSi l' astuce sur les gros fichiers manque de mémoire et que vous avez toujours besoin d'un échantillon de taille fixe et qu'un utilitaire externe peut être installé, essayez ensuite sample :

$ sample -N 1000 < FILE_WITH_MILLIONS_OF_LINES 

La mise en garde est que l' échantillon (1000 lignes dans l'exemple) doit tenir dans la mémoire.

Déni de responsabilité: Je suis l'auteur du logiciel recommandé.

Pas au courant d'une seule commande qui pourrait faire ce que vous demandez, mais voici une boucle que j'ai mise ensemble qui peut faire le travail:

for i in `seq 1000`; do sed -n `echo $RANDOM % 1000000 | bc`p alargefile.txt; done > sample.txt

sedprendra une ligne au hasard sur chacun des 1000 passages. Peut-être y a-t-il des solutions plus efficaces.

Vous pouvez enregistrer le code suivant dans un fichier (par exemple randextract.sh) et l'exécuter en tant que:

randextract.sh file.txt

---- Commencer le fichier ----

#!/bin/sh -xv

#configuration MAX_LINES is the number of lines to extract
MAX_LINES=10

#number of lines in the file (is a limit)
NUM_LINES=`wc -l $1 | cut -d' ' -f1`

#generate a random number
#in bash the variable $RANDOM returns diferent values on each call
if [ "$RANDOM." != "$RANDOM." ]
then
    #bigger number (0 to 3276732767)
    RAND=$RANDOM$RANDOM
else
    RAND=`date +'%s'`
fi 

#The start line
START_LINE=`expr $RAND % '(' $NUM_LINES - $MAX_LINES ')'`

tail -n +$START_LINE $1 | head -n $MAX_LINES

---- FICHIER DE FIN ----

Si vous connaissez le nombre de lignes dans le fichier (comme 1e6 dans votre cas), vous pouvez faire:

awk -v n=1e6 -v p=1000 '
  BEGIN {srand()}
  rand() * n-- < p {p--; print}' < file

Si non, vous pouvez toujours faire

awk -v n="$(wc -l < file)" -v p=1000 '
  BEGIN {srand()}
  rand() * n-- < p {p--; print}' < file

Cela ferait deux passes dans le fichier, mais éviterait toujours de stocker le fichier entier en mémoire.

Un autre avantage par rapport à GNU shufest qu’il préserve l’ordre des lignes dans le fichier.

Notez qu'il assume n est le nombre de lignes dans le fichier. Si vous voulez imprimer ples premières n lignes du fichier (qui a potentiellement plus de lignes), vous devez vous arrêter awkà la n^troisième ligne comme ceci:

awk -v n=1e6 -v p=1000 '
  BEGIN {srand()}
  rand() * n-- < p {p--; print}
  !n {exit}' < file

J'aime utiliser awk pour cela lorsque je souhaite conserver une ligne d'en-tête et que l'échantillon peut représenter un pourcentage approximatif du fichier. Fonctionne pour les très gros fichiers:

awk 'BEGIN {srand()} !/^$/ { if (rand() <= .01 || FNR==1) print > "data-sample.txt"}' data.txt

Ou comme ceci:

LINES=$(wc -l < file)  
RANDLINE=$[ $RANDOM % $LINES ]  
tail -n $RANDLINE  < file|head -1  

De la page de manuel de bash:

        RANDOM Chaque fois que ce paramètre est référencé, un entier aléatoire
              entre 0 et 32767 est généré. La séquence de hasard
              les numéros peuvent être initialisés en attribuant une valeur à RAN‐
              DOM. Si RANDOM n'est pas défini, il perd ses propriétés
              liens, même s'il est réinitialisé par la suite.

Si la taille du fichier n’est pas énorme, vous pouvez utiliser la méthode de tri aléatoire. Cela prend un peu plus de temps que shuf, mais aléatoirement l’ensemble des données. Donc, vous pouvez facilement faire ce qui suit pour utiliser la tête que vous avez demandée:

sort -R input | head -1000 > output

Cela trierait le fichier au hasard et vous donnerait les 1000 premières lignes.

Comme mentionné dans la réponse acceptée, GNU shufsupporte shuf -nassez bien l’ échantillonnage aléatoire simple ( ). Si des méthodes d'échantillonnage autres que celles prises en charge shufsont nécessaires, utilisez tsv-sample dans TSV Utilities d' eBay . Il prend en charge plusieurs modes d'échantillonnage supplémentaires, notamment l'échantillonnage aléatoire pondéré, l'échantillonnage de Bernoulli et l'échantillonnage distinct. Les performances sont similaires à celles de GNU shuf(les deux sont assez rapides). Disclaimer: je suis l'auteur.