Statistiques d'ordre approximatif pour les variables aléatoires normales

39

Existe-t-il des formules bien connues pour les statistiques d'ordre de certaines distributions aléatoires? En particulier, les statistiques du premier et du dernier ordre d’une variable aléatoire normale, mais une réponse plus générale serait également appréciée.

Edit: Pour clarifier, je cherche des formules approximatives qui peuvent être plus ou moins explicitement évaluées, pas l’expression intégrale exacte.

Par exemple, j'ai vu les deux approximations suivantes pour la statistique de premier ordre (c'est-à-dire le minimum) d'une va normale:

$e_{1:n} \geq \mu - \frac{n-1}{\sqrt{2n-1}}\sigma$

et

$e_{1:n} \approx \mu + \Phi^{-1} \left( \frac{1}{n+1} \right)\sigma$

Le premier, pour , donne approximativement ce qui semble être un lien extrêmement lâche. $n=200$ $e_{1:200} \geq \mu - 10\sigma$

La seconde donne alors qu’un rapide Monte Carlo donne , ce n’est donc pas une mauvaise approximation mais pas géniale non plus, et plus important encore, je n'ai aucune idée de la provenance. $e_{1:200} \approx \mu - 2.58\sigma$ $e_{1:200} \approx \mu - 2.75\sigma$

De l'aide?

— Chris Taylor
source

4

Si vous utilisez R, voir la fonction points .

— cardinal

1

@probabilityislogic a donné une bonne intuition pour les approximations que vous avez énumérées. Serait-il utile que je vous en donne plus d'un point de vue différent ou avez-vous satisfait votre curiosité à ce sujet?

— cardinal

31

La référence classique est Royston (1982) [1], dont les algorithmes vont au-delà des formules explicites. Il cite également une formule bien connue de Blom (1958): $E(r:n) \approx \mu + \Phi^{-1}(\frac{r-\alpha}{n-2\alpha+1})\sigma$ avec $\alpha=0.375$ . Cette formule donne un multiplicateur de -2,73 pour $n=200, r=1$ .

[1]: Algorithme AS 177: Statistiques attendues de l'ordre normal (exactes et approximatives), JP Royston. Journal de la Société royale de statistique. Série C (Statistiques appliquées) Vol. 31, N ° 2 (1982), pages 161-165

— Aniko
source

21

$\newcommand{\Pr}{\mathrm{Pr}}\newcommand{\Beta}{\mathrm{Beta}}\newcommand{\Var}{\mathrm{Var}}$ La distribution de la statistique d'ordre i de toute variable aléatoire continue avec un PDF est donnée par la distribution du composé "beta-F". La façon intuitive de penser à cette distribution, est de considérer la statistique ième ordre dans un échantillon de

. Maintenant, pour que la valeur de la statistique d'ordre I d'une variable aléatoire

soit égale à

nous avons besoin de 3 conditions:

N

$N$

X

$X$

x

$x$

valeurs inférieures à , cela a une probabilité pour chaque observation, où est le facteur de conversion de la variable aléatoire X. $i-1$ $x$ $F_{X}(x)$ $F_X(x)=\Pr(X<x)$
valeurs supérieures à , probabilité $N-i$ $x$ $1-F_{X}(x)$
Une valeur à l' intérieur d' une infime intervalle contenant , ceci a probabilité où est le PDF de la variable aléatoire $x$ $f_{X}(x)dx$ $f_{X}(x)dx=dF_{X}(x)=\Pr(x<X<x+dx)$ $X$

Il y a façons de faire ce choix, nous avons donc: ${N \choose 1}{N-1 \choose i-1}$

f_{i} (x_{i}) = \frac{N!}{(i - 1)! (N - i)!} f_{X} (x_{i}) {[1 - F_{X} (x_{i})]}^{N - i} {[F_{X} (x_{i})]}^{i - 1} d x

$f_{i}(x_{i})=\frac{N!}{(i-1)!(N-i)!}f_{X}(x_{i})\left[1-F_{X}(x_{i})\right]^{N-i}\left[F_{X}(x_{i})\right]^{i-1}dx$

EDIT dans mon message original, j’ai fait une très mauvaise tentative d’aller plus loin à partir de ce moment-là, et les commentaires ci-dessous le reflètent. J'ai cherché à rectifier cela ci-dessous

Si nous prenons la valeur moyenne de ce pdf, nous obtenons:

E (X_{i}) = \int_{- \infty}^{\infty} x_{i} f_{i} (x_{i}) d x_{i}

$E(X_{i})=\int_{-\infty}^{\infty} x_{i}f_{i}(x_{i})dx_{i}$

Et dans cette intégrale, nous faisons le changement suivant de la variable (en prenant l'allusion de @ henry), et l'intégrale devient: $p_{i}=F_{X}(x_{i})$

E (X_{i}) = \int_{0}^{1} F_{X}^{- 1} (p_{i}) B e t a (p_{i} | i, N - i + 1) d p_{i} = E_{B e t a (p_{i} | i, N - i + 1)} [F_{X}^{- 1} (p_{i})]

$E(X_{i})=\int_{0}^{1} F_{X}^{-1}(p_{i})\Beta(p_{i}|i,N-i+1)dp_{i}=E_{\Beta(p_{i}|i,N-i+1)}\left[F_{X}^{-1}(p_{i})\right]$

Il s’agit donc de la valeur attendue du CDF inverse, qui peut être approximée à l’aide de la méthode delta pour donner:

E_{B e t a (p_{i} | i, N - i + 1)} [F_{X}^{- 1} (p_{i})] \approx F_{X}^{- 1} [E_{B e t a (p_{i} | i, N - i + 1)}] = F_{X}^{- 1} [\frac{i}{N + 1}]

$E_{\Beta(p_{i}|i,N-i+1)}\left[F_{X}^{-1}(p_{i})\right]\approx F_{X}^{-1}\left[E_{\Beta(p_{i}|i,N-i+1)}\right]=F_{X}^{-1}\left[\frac{i}{N+1}\right]$

To make a better approximation, we can expand to 2nd order (prime denoting differentiation), and noting that the second derivative of an inverse is:

\frac{\partial^{2}}{\partial a^{2}} F_{X}^{- 1} (a) = - \frac{F_{X}^{^{″}} (F_{X}^{- 1} (a))}{{[F_{X}^{^{'}} (F_{X}^{- 1} (a))]}^{3}} = - \frac{f_{X}^{^{'}} (F_{X}^{- 1} (a))}{{[f_{X} (F_{X}^{- 1} (a))]}^{3}}

$\frac{\partial^{2}}{\partial a^{2}}F_{X}^{-1}(a)=-\frac{F_{X}^{''}(F_{X}^{-1}(a))}{\left[F_{X}^{'}(F_{X}^{-1}(a))\right]^{3}}=-\frac{f_{X}^{'}(F_{X}^{-1}(a))}{\left[f_{X}(F_{X}^{-1}(a))\right]^{3}}$

Let $\nu_{i}=F_{X}^{-1}\left[\frac{i}{N+1}\right]$ . Then We have:

E_{B e t a (p_{i} | i, N - i + 1)} [F_{X}^{- 1} (p_{i})] \approx F_{X}^{- 1} [ν_{i}] - \frac{{V a r}_{B e t a (p_{i} | i, N - i + 1)} [p_{i}]}{2} \frac{f_{X}^{^{'}} (ν_{i})}{{[f_{X} (ν_{i})]}^{3}}

$E_{\Beta(p_{i}|i,N-i+1)}\left[F_{X}^{-1}(p_{i})\right]\approx F_{X}^{-1}\left[\nu_{i}\right]-\frac{\Var_{\Beta(p_{i}|i,N-i+1)}\left[p_{i}\right]}{2}\frac{f_{X}^{'}(\nu_{i})}{\left[f_{X}(\nu_{i})\right]^{3}}$

= ν_{i} - \frac{(\frac{i}{N + 1}) (1 - \frac{i}{N + 1})}{2 (N + 2)} \frac{f_{X}^{^{'}} (ν_{i})}{{[f_{X} (ν_{i})]}^{3}}

$=\nu_{i}-\frac{\left(\frac{i}{N+1}\right)\left(1-\frac{i}{N+1}\right)}{2(N+2)}\frac{f_{X}^{'}(\nu_{i})}{\left[f_{X}(\nu_{i})\right]^{3}}$

Now, specialising to normal case we have

f_{X} (x) = \frac{1}{σ} ϕ (\frac{x - μ}{σ}) \to f_{X}^{^{'}} (x) = - \frac{x - μ}{σ^{3}} ϕ (\frac{x - μ}{σ}) = - \frac{x - μ}{σ^{2}} f_{X} (x)

$f_{X}(x)=\frac{1}{\sigma}\phi(\frac{x-\mu}{\sigma})\rightarrow f_{X}^{'}(x)=-\frac{x-\mu}{\sigma^{3}}\phi(\frac{x-\mu}{\sigma})=-\frac{x-\mu}{\sigma^{2}}f_{X}(x)$

F_{X} (x) = Φ (\frac{x - μ}{σ}) ⟹ F_{X}^{- 1} (x) = μ + σ Φ^{- 1} (x)

$F_{X}(x)=\Phi(\frac{x-\mu}{\sigma})\implies F_{X}^{-1}(x)=\mu+\sigma\Phi^{-1}(x)$

Note that $f_{X}(\nu_{i})=\frac{1}{\sigma}\phi\left[\Phi^{-1}\left(\frac{i}{N+1}\right)\right]$ And the expectation approximately becomes:

E [x_{i}] \approx μ + σ Φ^{- 1} (\frac{i}{N + 1}) + \frac{(\frac{i}{N + 1}) (1 - \frac{i}{N + 1})}{2 (N + 2)} \frac{σ Φ^{- 1} (\frac{i}{N + 1})}{{[ϕ [Φ^{- 1} (\frac{i}{N + 1})]]}^{2}}

$E[x_{i}]\approx \mu+\sigma\Phi^{-1}\left(\frac{i}{N+1}\right)+\frac{\left(\frac{i}{N+1}\right)\left(1-\frac{i}{N+1}\right)}{2(N+2)}\frac{\sigma\Phi^{-1}\left(\frac{i}{N+1}\right)}{\left[\phi\left[\Phi^{-1}\left(\frac{i}{N+1}\right)\right]\right]^{2}}$

And finally:

E [x_{i}] \approx μ + σ Φ^{- 1} (\frac{i}{N + 1}) [1 + \frac{(\frac{i}{N + 1}) (1 - \frac{i}{N + 1})}{2 (N + 2) {[ϕ [Φ^{- 1} (\frac{i}{N + 1})]]}^{2}}]

$E[x_{i}]\approx \mu+\sigma\Phi^{-1}\left(\frac{i}{N+1}\right)\left[1+\frac{\left(\frac{i}{N+1}\right)\left(1-\frac{i}{N+1}\right)}{2(N+2)\left[\phi\left[\Phi^{-1}\left(\frac{i}{N+1}\right)\right]\right]^{2}}\right]$

Although as @whuber has noted, this will not be accurate in the tails. In fact I think it may be worse, because of the skewness of a beta with different parameters

— probabilityislogic
source

1

"Maximum likelihood estimator of a random variable"? Not sure what that is, but I think you've (almost) calculated the mode.

— cardinal

1

Something mysterious happens about two-thirds of the way through when suddenly

μ

$\mu$ and

σ

$\sigma$ appear without warning or definition.

— whuber

2

I don't mean to "pile on", but it's also hard for me to see how the quantity in brackets can be approximated by a negative number.

— cardinal

1

@probabilityislogic, while at the level of calculus, you might say that in this case we're considering a bivariate function and simply maximizing over one variable instead of another, I think there are reasons mathematical, statistical, and pedagogical not to call what you've done "maximum likelihood estimation". They are too numerous to enumerate in this space, but a simple one that I think is compelling enough is that we use a particular, arcane vocabulary in statistics for a reason. Changing that on a whim for a single problem can lead to misunderstanding(s).../...

— cardinal

2

@probabilityislogic (+1) for the revised answer. One suggestion, maybe

\Rightarrow

$\Rightarrow$ is better than

\to

$\to$ to mean "implies". It took staring at a couple lines for a few seconds to realize you weren't making some convergence claim.

— cardinal

13

Aniko's answer relies on Blom's well known formula that involves a choice of $\alpha = 3/8$ . It turns out that this formula is itself a mere approximation of an exact answer due to G. Elfving (1947), The asymptotical distribution of range in samples from a normal population, Biometrika, Vol. 34, pp. 111-119. Elfving's formula is aimed at the minimum and maximum of the sample, for which the correct choice of alpha is $\pi/8$ . Blom's formula results when we approximate $\pi$ by $3$ .

By using the Elfving formula rather than Blom's approximation, we get a multiplier of -2.744165. This number is closer to Erik P.'s exact answer (-2.746) and to the Monte Carlo approximation (-2.75) than is Blom's approximation (-2.73), while being easier to implement than the exact formula.

— Hal M. Switkay
source

Could you provide a bit more detail as to how

α = π / 8

$\alpha=\pi/8$ is arrived at through Elfving (1947)? It's not obvious in the article.

— Anthony

1

Anthony - I am relying on the textbook Mathematical Statistics, by Samuel Wilks, pub. Wiley (1962). Exercise 8.21 on p. 249 states: "If x_(1), x_(n) are the smallest and largest order statistics of a sample of size n from a continuous c.d.f. F(x)...the random variable 2n*sqrt{[F(x_(1))][1-F(x_(n))]} has a limit distribution as n -> infinity, with mean pi/2 and variance 4-(pi^2)/4." (Sorry I don't know markup code!) For a symmetric distribution, F(x_(1)) = 1-F(x_(n)). Thus F(x_(n)) is about pi/(4n), or x_(n) is about F^(-1)(pi/(4n)). The Blom formula uses the approximation 3/(4n).

— Hal M. Switkay

This reminds me of the Infamous "

π = 3

$\pi=3$ " bill attributed to the Indiana State Legislature. (Though the wikipedia article suggests that the popular version of the story is not accurate.)

— steveo'america

7

Depending on what you want to do, this answer may or may not help - I got the following exact formula from Maple's Statistics package.

with(Statistics):
X := OrderStatistic(Normal(0, 1), 1, n):
m := Mean(X):
m;

\int_{- \infty}^{\infty} 1 / 2 \frac{_t 0 n! \sqrt{2} e^{- 1 / 2 {_t 0}^{2}} {(1 / 2 - 1 / 2 e r f (1 / 2_t 0 \sqrt{2}))}^{- 1 + n}}{(- 1 + n)! \sqrt{π}} d_t 0

$\int _{-\infty }^{\infty }\!1/2\,{\frac {{\it \_t0}\,n!\,\sqrt {2}{ {\rm e}^{-1/2\,{{\it \_t0}}^{2}}} \left( 1/2-1/2\, {{\rm erf}\left(1/2\,{\it \_t0}\,\sqrt {2}\right)} \right) ^{-1+n}}{ \left( -1+n \right) !\,\sqrt {\pi }}}{d{\it \_t0}}$

By itself this isn't very useful (and it could probably be derived fairly easily by hand, since it's the minimum of $n$ random variables), but it does allow for quick and very accurate approximation for given values of $n$ - much more accurate than Monte Carlo:

evalf(eval(m, n = 200));
evalf[25](eval(m, n = 200));

gives -2.746042447 and -2.746042447451154492412344, respectively.

(Full disclosure - I maintain this package.)

— Erik P.
source

1

@ProbabilityIsLogic derived this integral for all order statistics in the first half of his reply.

— whuber