Quel est un moyen facile de lire une ligne aléatoire à partir d'un fichier en ligne de commande Unix?

Quel est un moyen facile de lire une ligne aléatoire à partir d'un fichier en ligne de commande Unix?

Vous pouvez utiliser shuf:

shuf -n 1 $FILE

Il existe également un utilitaire appelé rl. Dans Debian, c'est dans le randomize-linespackage qui fait exactement ce que vous voulez, bien qu'il ne soit pas disponible dans toutes les distributions. Sur sa page d'accueil, il recommande en fait l'utilisation de shufplutôt (qui n'existait pas lors de sa création, je crois). shuffait partie des coreutils GNU, rln'est pas.

rl -c 1 $FILE

Une autre alternative:

head -$((${RANDOM} % `wc -l < file` + 1)) file | tail -1

sort --random-sort $FILE | head -n 1

(J'aime encore mieux l'approche shuf ci-dessus - je ne savais même pas qu'elle existait et je n'aurais jamais trouvé cet outil par moi-même)

C’est simple.

cat file.txt | shuf -n 1

Certes, c'est juste un peu plus lent que le "shuf -n 1 file.txt" seul.

perlfaq5: Comment sélectionner une ligne aléatoire dans un fichier? Voici un algorithme d'échantillonnage de réservoir du Camel Book:

perl -e 'srand; rand($.) < 1 && ($line = $_) while <>; print $line;' file

Cela présente un avantage d'espace considérable par rapport à la lecture de l'intégralité du fichier. Vous pouvez trouver une preuve de cette méthode dans The Art of Computer Programming, Volume 2, Section 3.4.2, de Donald E. Knuth.

en utilisant un script bash:

#!/bin/bash
# replace with file to read
FILE=tmp.txt
# count number of lines
NUM=$(wc - l < ${FILE})
# generate random number in range 0-NUM
let X=${RANDOM} % ${NUM} + 1
# extract X-th line
sed -n ${X}p ${FILE}

Ligne de bash unique:

sed -n $((1+$RANDOM%`wc -l test.txt | cut -f 1 -d ' '`))p test.txt

Petit problème: nom de fichier en double.

Voici un simple script Python qui fera le travail:

import random, sys
lines = open(sys.argv[1]).readlines()
print(lines[random.randrange(len(lines))])

Usage:

python randline.py file_to_get_random_line_from

Une autre façon d'utiliser ' awk '

awk NR==$((${RANDOM} % `wc -l < file.name` + 1)) file.name

Une solution qui fonctionne également sur MacOSX, et devrait également fonctionner sur Linux (?):

N=5
awk 'NR==FNR {lineN[$1]; next}(FNR in lineN)' <(jot -r $N 1 $(wc -l < $file)) $file 

Où:

• N est le nombre de lignes aléatoires que vous voulez

• NR==FNR {lineN[$1]; next}(FNR in lineN) file1 file2 -> enregistrer les numéros de ligne écrits file1puis imprimer la ligne correspondantefile2

• jot -r $N 1 $(wc -l < $file)-> dessiner des Nnombres au hasard ( -r) dans la plage (1, number_of_line_in_file)avec jot. La substitution de processus <()le fera ressembler à un fichier pour l'interpréteur, donc file1dans l'exemple précédent.

#!/bin/bash

IFS=$'\n' wordsArray=($(<$1))

numWords=${#wordsArray[@]}
sizeOfNumWords=${#numWords}

while [ True ]
do
    for ((i=0; i<$sizeOfNumWords; i++))
    do
        let ranNumArray[$i]=$(( ( $RANDOM % 10 )  + 1 ))-1
        ranNumStr="$ranNumStr${ranNumArray[$i]}"
    done
    if [ $ranNumStr -le $numWords ]
    then
        break
    fi
    ranNumStr=""
done

noLeadZeroStr=$((10#$ranNumStr))
echo ${wordsArray[$noLeadZeroStr]}

Voici ce que je découvre puisque mon Mac OS n'utilise pas toutes les réponses faciles. J'ai utilisé la commande jot pour générer un nombre car les solutions de variables $ RANDOM ne semblent pas être très aléatoires dans mon test. Lors du test de ma solution, j'avais une grande variance dans les solutions fournies dans la sortie.

  RANDOM1=`jot -r 1 1 235886`
   #range of jot ( 1 235886 ) found from earlier wc -w /usr/share/dict/web2
   echo $RANDOM1
   head -n $RANDOM1 /usr/share/dict/web2 | tail -n 1

L'écho de la variable est d'obtenir un visuel du nombre aléatoire généré.

En utilisant uniquement vanilla sed et awk, et sans utiliser $ RANDOM, un "one-liner" simple, peu encombrant et relativement rapide pour sélectionner une seule ligne de manière pseudo-aléatoire dans un fichier nommé FILENAME est le suivant:

sed -n $(awk 'END {srand(); r=rand()*NR; if (r<NR) {sub(/\..*/,"",r); r++;}; print r}' FILENAME)p FILENAME

(Cela fonctionne même si FILENAME est vide, auquel cas aucune ligne n'est émise.)

Un avantage possible de cette approche est qu'elle n'appelle rand () qu'une seule fois.

Comme l'a souligné @AdamKatz dans les commentaires, une autre possibilité serait d'appeler rand () pour chaque ligne:

awk 'rand() * NR < 1 { line = $0 } END { print line }' FILENAME

(Une simple preuve d'exactitude peut être donnée sur la base de l'induction.)

Méfiez-vous de rand()

"Dans la plupart des implémentations awk, y compris gawk, rand () commence à générer des nombres à partir du même numéro de départ, ou graine, chaque fois que vous exécutez awk."

- https://www.gnu.org/software/gawk/manual/html_node/Numeric-Functions.html