Existe-t-il un moyen de sélectionner des lignes aléatoires à partir d'un DataFrame dans Pandas.
Dans R, en utilisant le package voiture, il existe une fonction utile some(x, n)qui est similaire à head mais qui sélectionne, dans cet exemple, 10 lignes au hasard à partir de x.
J'ai également regardé la documentation de découpage et il ne semble y avoir rien d'équivalent.
Utilisant maintenant la version 20. Il existe un exemple de méthode.
df.sample(n)
Réponses:
Quelque chose comme ça?
import random
def some(x, n):
return x.ix[random.sample(x.index, n)]Remarque: Depuis Pandas v0.20.0, ix a été déconseillée au profit de l' locindexation basée sur les étiquettes.
df.ix[np.random.random_integers(0, len(df), 10)]cela fonctionnerait également.
df.ix[np.random.choice(df.index, 10)].
np.random.choicec'était deux fois plus rapide querandom.sample
Avec la version pandas 0.16.1et les versions ultérieures, il existe maintenant une DataFrame.sample méthode intégrée :
import pandas
df = pandas.DataFrame(pandas.np.random.random(100))
# Randomly sample 70% of your dataframe
df_percent = df.sample(frac=0.7)
# Randomly sample 7 elements from your dataframe
df_elements = df.sample(n=7)Pour l'une ou l'autre approche ci-dessus, vous pouvez obtenir le reste des lignes en faisant:
df_rest = df.loc[~df.index.isin(df_percent.index)]df_0.7n'est pas un nom valide. De plus, je suggère de remplacer df_rest = df.loc[~df.index.isin(df_0_7.index)]par df_rest = df.loc[df.index.difference(df_0_7.index)].
difference()?
df_percent.index.get_indexer(df.index) == -1est bien plus efficace à la place (mais aussi plus moche) ...
sampleÀ partir de la v0.20.0, vous pouvez utiliser pd.DataFrame.sample, qui peut être utilisé pour renvoyer un échantillon aléatoire d'un nombre fixe de lignes, ou un pourcentage de lignes:
df = df.sample(n=k) # k rows
df = df.sample(frac=k) # int(len(df.index) * k) rowsPour la reproductibilité, vous pouvez spécifier un entier random_state, équivalent à utiliser np.ramdom.seed. Ainsi, au lieu de définir, par exemple np.random.seed = 0, vous pouvez:
df = df.sample(n=k, random_state=0)La meilleure façon de le faire est d'utiliser la fonction exemple du module aléatoire,
import numpy as np
import pandas as pd
from random import sample
# given data frame df
# create random index
rindex = np.array(sample(xrange(len(df)), 10))
# get 10 random rows from df
dfr = df.ix[rindex]La ligne ci-dessous sélectionnera au hasard n nombre de lignes sur le nombre total de lignes existantes de la trame de données df sans remplacement.
df=df.take(np.random.permutation(len(df))[:n])
df.sample(N, replace=True). Plus de détails ici .