Comment calculez-vous la fonction de densité de probabilité du maximum d'un échantillon de variables aléatoires uniformes IID?

45

Étant donné la variable aléatoire

Y = max (X_{1}, X_{2}, \dots, X_{n})

$Y = \max(X_1, X_2, \ldots, X_n)$

où $X_i$ sont des variables uniformes IID, comment calculer le PDF de $Y$ ?

pdf maximum

— Mascarpone
source

4

S'il s'agit d'un devoir, veuillez lire la FAQ et mettre à jour votre question en conséquence.

— Cardinal

Peut-on utiliser l'identité de Vandermonde pour montrer une fonction conjointe d'ordre 2? Les statistiques disent F_y (r) * G_y (r)?

— Larry Mintz

Par intérêt, quel cours couvre ce genre de problème? Ce n'est pas quelque chose que j'ai rencontré dans mon cours de probabilité d'ingénierie.

— Alex

@Alex Qu'en est-il d'un cours de statistiques couvrant le rééchantillonnage?

— SOFe

65

Il est possible que cette question soit un devoir, mais j’ai eu l’impression que cette question de probabilité élémentaire classique n’avait toujours pas de réponse complète au bout de plusieurs mois. Je vais donc vous en donner une ici.

De l'énoncé du problème, nous voulons la distribution de

Y = max {X_{1}, . . ., X_{n}}

$Y = \max \{ X_1, ..., X_n \}$

où sont iid . Nous savons que si et seulement si chaque élément de l'échantillon est inférieur à . Puis, comme indiqué dans l’allusion de @varty, combiné au fait que les sont indépendants, nous permet de déduire $X_1, ..., X_n$ ${\rm Uniform}(a,b)$ $Y < x$ $x$ $X_i$

P (Y \leq x) = P (X_{1} \leq x, . . ., X_{n} \leq x) = \prod_{i = 1}^{n} P (X_{i} \leq x) = F_{X} (x)^{n}

$P(Y \leq x) = P(X_1 \leq x, ..., X_n \leq x) = \prod_{i=1}^{n} P(X_i \leq x) = F_{X}(x)^n$

où est le CDF de la distribution uniforme . Donc le CDF de est $F_{X}(x)$ $Y$

F_{Y} (y) = P (Y \leq y) = {\begin{cases} 0 & y \leq a \\ {[(y - a) / (b - a)]}^{n} & y \in (a, b) \\ 1 & y \geq b \end{cases}

$F_{Y}(y) = P(Y \leq y) = \begin{cases} 0 & y \leq a \\ \phantom{} \left[ (y-a)/(b-a) \right]^n & y\in(a,b) \\ 1 & y \geq b \\ \end{cases}$

Puisque a une distribution absolument continue, nous pouvons déduire sa densité en différenciant le CDF . Donc la densité de est $Y$ $Y$

p_{Y} (y) = \frac{n (y - a)^{n - 1}}{(b - a)^{n}}

$p_{Y}(y) = \frac{n(y-a)^{n-1}}{(b-a)^{n}}$

Dans le cas particulier où , nous avons ce , qui est la densité d'une distribution bêta avec et , depuis . $a=0,b=1$ $p_{Y}(y)=ny^{n-1}$ $\alpha=n$ $\beta=1$ ${\rm Beta}(n,1) = \frac{\Gamma(n+1)}{\Gamma(n)\Gamma(1)}=\frac{n!}{(n-1)!} = n$

Notez que la séquence que vous obtenez si vous devez trier votre échantillon par ordre croissant - - est appelée la statistique de l' ordre . Une généralisation de cette réponse est que toutes les statistiques d'ordre d'un échantillon distribué ont une distribution Bêta , comme indiqué dans la réponse de @ bnaul. $X_{(1)}, ..., X_{(n)}$ ${\rm Uniform}(0,1)$

— Macro
source

C'était en fait une question de devoirs pour moi. Merci pour l'explication.

— Paul PM

Je pense que je devrais pouvoir prendre vos idées ici et répondre à cette question , mais je ne vois pas comment faire cela. peux-tu m'aider? Pouvez-vous recommander un manuel ou un chapitre qui traite de cette question générale?

@PaulPM Par intérêt, quel cours couvre ce genre de problème? Ce n'est pas quelque chose que j'ai rencontré dans mon cours de probabilité d'ingénierie.

— Alex

6

Le maximum d'un échantillon est l' un des statistiques d'ordre , et en particulier les ième statistique d'ordre de l'échantillon . En général, il est difficile de calculer la distribution des statistiques des commandes, comme le décrit l'article de Wikipedia; pour certaines distributions spéciales, les statistiques sur les ordres sont bien connues (par exemple, pour la distribution uniforme qui contient des statistiques sur les ordres distribués en mode bêta). $n$ $X_1,\dots,X_n$

EDIT: L'article de Wikipedia sur les échantillons maximum et minimum est également utile et plus spécifique à votre problème.

— Bnaul
source

5

Pour les distributions avec des densités, le calcul de la distribution marginale d’une statistique d’ordre particulier est assez simple. C'est encore plus facile pour les statistiques d'ordre "spécial" comme le minimum et le maximum.

— cardinal

Je suppose que cela dépend de ce que l’on entend par "calculer" dans la question initiale. Certes, le faire numériquement est simple; J'ai interprété la question comme demandant comment trouver une solution sous forme fermée, ce qui n'est généralement pas facile.

— bnaul

8

@bnaul: Soit est une arbitraire fonction de distribution et laisser être un échantillon iid de . Soit la ième statistique d'ordre. AlorsQED .

F (x) = P (X \leq x)

$F(x) = \mathbb P(X \leq x)$

X_{1}, \dots, X_{n}

$X_1,\ldots,X_n$

F

$F$

X_{(k)}

$\newcommand{Xk}{X_{(k)}}\Xk$

k

$k$

P (X_{(k)} \leq x) = \sum_{m = k}^{n} P (| {i : X_{i} \leq x} | = m) = \sum_{m = k}^{n} (\binom{n}{m}) F (x)^{m} (1 - F (x))^{n - m} .

$\mathbb P(\Xk \leq x) = \sum_{m=k}^n \mathbb P( |\{i: X_i \leq x\}| = m) = \sum_{m=k}^n {n \choose m} F(x)^m (1-F(x))^{n-m} \>.$

— Cardinal

1

Peut-être une façon de comprendre la réponse des cardinaux (étant donné que vous comprenez les statistiques d'ordre pour les uniformes) est que, comme les cdfs sont des transformations monotones d'un fichier au format uniforme, nous pouvons toujours exprimer l'événement {X <a} en termes d'uniforme variable aléatoire (c’est pourquoi monte carlo fonctionne). Ainsi, tout résultat basé sur une distribution uniforme généralisera facilement à d'autres variables aléatoires - appliquez simplement la transformation .

U = F_{X} (X)

$U=F_{X}(X)$

— probabilityislogic

2

@probabilityislogic: L'intuition est bonne, bien qu'il semble que vous ayez à l'esprit des variables aléatoires continues dans votre commentaire. (Le résultat dans mon deuxième commentaire ci-dessus, par exemple, fonctionne pour une fonction de distribution arbitraire.)

— cardinal

1

Si est le CDF de , alors Vous pouvez ensuite utiliser la propriété iid et la cdf d'une variable uniforme pour calculer . $F_{Y}(y)$ $Y$

F_{Y} (y) = Prob (y > X_{1}, y > X_{2}, . . ., y > X_{n})

$F_Y(y)=\text{Prob}(y>X_1,y>X_2,...,y>X_n)$

F_{Y} (y)

$F_Y(y)$

— varty
source

-3

Le maximum d'un ensemble de variables aléatoires IID, lorsqu'il est correctement normalisé, converge généralement vers l'un des trois types de valeurs extrêmes. C'est le théorème de Gnedenko, l'équivalence du théorème de la limite centrale pour les extrêmes. Le type dépend du comportement de la distribution de la population. Sachant cela, vous pouvez utiliser la distribution limite pour vous rapprocher de la distribution pour le maximum.

Puisque la distribution uniforme sur [a, b] est le sujet de cette question, Macro a donné la distribution exacte de n et donne une très bonne réponse. Le résultat est plutôt trivial. Pour la distribution normale, une belle forme fermée n'est pas possible, mais le maximum correspondant à la normale converge vers la distribution de Gumbel F (x) = exp (- e ) est normalisé de manière appropriée . $^-$ $^x$

Pour l'uniforme, la normalisation est (ba) -x / n et F (bax / n) = (1-x / [n (ba)]) $^n$ $^n$

qui converge vers e . Notez ici que y = bax / n. et F (y) converge vers 1 lorsque y passe à ba. Ceci est valable pour tous les 0 $^-$ $^x$ $^/$ $^($ $^b$ $^-$ $^a$ $^)$ $^n$

Dans ce cas, il est facile de comparer la valeur exacte à sa limite asymptotique.

— Michael R. Chernick
source

4

Pour que cette réponse soit réalisable, vous devez préciser, en détail, comment on "normalise" les valeurs et vous devez également fournir un moyen d'estimer la taille de doit être avant que la formule asymptotique ne devienne une approximation fiable.

n

$n$

— whuber

@whuber Tout le monde peut regarder le théorème de Gnedenko pour voir la normalisation. Les caractéristiques de la queue qui déterminent lequel des trois types s’applique sont tout aussi importantes. Le théorème se généralise aux processus stochastiques stationnaires. Donc, tous ceux qui veulent en savoir plus peuvent consulter le livre de Leadbetter ou ma thèse de doctorat. Quand n est suffisamment grand, il est difficile de répondre à toute forme d’asymptotique. Je suppose que le théorème de Berry-Esseen aide pour le théorème de la limite centrale. Je ne sais pas ce qui est comparable pour les extrêmes.

— Michael R. Chernick