Calcul du 95e centile: comparaison des approches de distribution normale, de quantile R et d'Excel

J'essayais de calculer le 95e centile sur l'ensemble de données suivant. Je suis tombé sur quelques références en ligne de le faire.

Approche 1: sur la base d'échantillons de données

Le premier me dit d'obtenir le TOP 95 Percentde l'ensemble de données puis de choisir le MINou AVGde l'ensemble résultant. Le faire pour le jeu de données suivant me donne:

AVG: 29162
MIN: 0

Approche 2: Supposons une distribution normale

Le deuxième dit que le 95e centile est à environ deux écarts-types au-dessus de la moyenne (ce que je comprends) et j'ai effectué:

AVG(Column) + STDEV(Column)*1.65: 67128.542697973

Approche 3: Quantile R

J'avais l'habitude Rd'obtenir le 95e centile:

> quantile(data$V1, 0.95)
79515.2

Approche 4: l'approche d'Excel

Enfin, je suis tombé sur celui- ci, qui explique comment Excel le fait. Le résumé de la méthode est le suivant:

Étant donné un ensemble de Nvaleurs ordonnées {v[1], v[2], ...}et une exigence pour calculer le pthcentile, procédez comme suit:

Calculer l = p(N-1) + 1
Divisé len composantes entières et décimales, c'est-à-direl = k + d
Calculez la valeur requise comme V = v[k] + d(v[k+1] - v[k])

Cette méthode me donne 79515.2

Aucune des valeurs ne correspond bien que je fasse confiance à la valeur de R (je l'ai également observée à partir du graphique ecdf). Mon objectif est de calculer le 95e centile manuellement (en utilisant uniquement les fonctions AVGet STDEV) à partir d'un ensemble de données donné et je ne suis pas vraiment sûr de ce qui se passe ici. Quelqu'un peut-il me dire où je me trompe?

r dataset quantiles sql

— Légende
source

Votre première approche doit être réécrite: cela pourrait être "prendre les 5% supérieurs des valeurs et trouver le minimum", dans ce cas 79586, ou "prendre les 95% inférieurs et trouver le maximum", dans ce cas 79535.

— Henry

Réponses:

La première approche est complètement fausse et n'a rien à voir avec le 95e centile, à mon avis.

La deuxième approche semble reposer sur l'hypothèse que les données sont normalement distribuées, mais elles devraient être d'environ 1,645 écart-type au-dessus de la moyenne, et non 2 écarts-types, et il semble que vous vous en êtes rendu compte. Il s'agit d'une mauvaise méthode si les données ne sont pas normalement distribuées.

Si vous voulez calculer vous-même le 95e centile, triez les nombres du plus petit au plus grand et trouvez une valeur telle que 95% des données soient inférieures à cette valeur. R utilise probablement une sorte d'interpolation entre les points de données. Une simple approximation pourrait être sort(data$V1)[0.95*length(data$V1)].

Modifié après commentaire de @Macro.

— mark999
source

votre solution devrait data$V1être pré-triée. Plus généralement, sort(data$V1)[.95*length(data$V1)]serait l'approximation que vous souhaitez. Cependant, si .95*length(data$V1)n'est pas un entier, il serait simplement arrondi à l'entier le plus proche lors de l'indexation sort(data$V1), donc cette approximation serait toujours sous-estimée dans ce cas.

— Macro

Merci pour votre commentaire. Je connaissais la sous-estimation, c'est pourquoi je l'ai appelée une simple approximation, mais j'ai oublié d'inclure le tri. Je vais modifier la réponse.

— mark999

Voici quelques points pour compléter la réponse de @ mark999.

Wikipedia a un article sur les centiles où il est noté qu'il n'existe aucune définition standard d'un centile. Cependant, plusieurs formules sont discutées.
Crawford, J .; Garthwaite, P. & Slick, D. Sur les normes centiles en neuropsychologie: Normes et méthodes de rapport proposées pour quantifier l'incertitude sur les rangs centiles des résultats des tests Le neuropsychologue clinicien, Psychology Press, 2009, 23, 1173-1195 ( PDF GRATUIT ) discute calcul des centiles dans un contexte de normalisation psychologique.

Ce qui suit explore quelques éléments dans R:

Obtenir des données et examiner la fonction quantile R

>  x <- c(93150, 93116, 93096, etc... [ABBREVIATED INPUT]
> help(quantile) # Note the 9 quantile algorithms
> rquantileest <- sapply(1:9, function(TYPE) quantile(x, .95, type=TYPE)) 
> rquantileest
     95%      95%      95%      95%      95%      95% 
79535.00 79535.00 79535.00 79524.00 79547.75 79570.70 
     95%      95%      95% 
79526.20 79555.40 79553.49 
> sapply(rquantileest, function(X) mean(x <= X))
      95%       95%       95%       95%       95% 
0.9501859 0.9501859 0.9501859 0.9494424 0.9501859 
      95%       95%       95%       95% 
0.9501859 0.9494424 0.9501859 0.9501859

help(quantile) montre que R a neuf algorithmes d'estimation quantile différents.
L'autre résultat montre la valeur estimée pour les 9 algorithmes et la proportion des données qui est inférieure ou égale à la valeur estimée (c'est-à-dire que toutes les valeurs sont proches de 95%).

Comparer avec l'hypothèse d'une distribution normale

> # Estimate of the 95th percentile if the data was normally distributed
> qnormest <- qnorm(.95, mean(x), sd(x))
> qnormest
[1] 67076.4
> mean(x <= qnormest)
[1] 0.8401487

Une valeur très différente est estimée pour le 95e centile d'une distribution normale basée sur la moyenne de l'échantillon et l'écart-type.
La valeur estimée se situe autour du 84e centile des données de l'échantillon.
Le graphique ci-dessous montre que les données ne sont clairement pas distribuées normalement, et donc les estimations basées sur l'hypothèse de normalité seront loin.

tracé (densité (x))

entrez la description de l'image ici

— Jeromy Anglim
source

a fourni une très belle réponse. J'ajouterais seulement qu'il me semble que dans la plupart des cas, les différences entre les 9 estimations sont si minimes qu'elles importent très peu.

— Peter Flom - Réintègre Monica

L'article de Wikipedia sur les quantiles est meilleur que celui sur les centiles

— Henry

Quelque chose ne va pas ici car R devrait donner des nombres entre 75500 et 75600. Certaines des 1345 valeurs ont-elles été perdues?

— Henry

@Henry merci pour cela. Dans ma tentative de minimiser le nombre de lignes affichées pour l'entrée sur la question, j'ai placé la commande c (...) sur seulement quelques lignes. En conséquence, je pense avoir rencontré une certaine forme de limite de longueur de ligne de commande qui coupait certaines des données. Je n'avais jamais vu ce problème auparavant car généralement j'avais ces données dans un fichier séparé. J'ai mis à jour mon script et la sortie pour que la commande c (...) couvre maintenant 120 lignes; voir gist gist.github.com/1102127

— Jeromy Anglim

+1 Merci pour les informations supplémentaires. Juste au moment où vous avez posté cela, par curiosité, je regardais la distribution en utilisant un QQ-plot et suis arrivé à la même conclusion. Merci pour votre temps.

— Legend