Quelle est la distribution du CDF normal inverse d'une variable aléatoire bêta?

Supposons que vous définissiez:

$$X\sim\mbox{Beta}(\alpha,\beta)$$

$$Y\sim \Phi^{-1}(X)$$

où $\Phi^{-1}$ est l'inverse du CDF de la distribution normale standard .

Ma question est: Y a$Y$$Y$ - t-il une distribution simple que Y suit, ou qui peut approximer Y ? Je demande parce que j'ai une forte suspicion basée sur les résultats de simulation (montrés ci-dessous) que $Y$ converge vers une distribution normale lorsque $\alpha$ et $\beta$ sont élevés, mais je ne sais pas pourquoi cela se ferait mathématiquement. (Bien sûr, lorsque $\alpha=1;\beta=1$ , $X$ serait uniforme et $Y$ serait la norme normale, mais pourquoi serait-ce vrai pour des valeurs plus élevées?).

Si cela converge vers une normale, quels seraient les paramètres de cette normale, en termes de $\alpha$ et $\beta$ ? (Je suppose que la moyenne serait $\Phi^{-1}(\frac{\alpha}{\alpha+\beta})$puisque c'est la transformation du mode, mais je ne connais pas l'écart type).

(Autrement dit, cela pourrait se demander "est-ce que $\Phi(\mbox{Norm}(\mu, \sigma))$ converge vers une distribution bêta, pour une certaine direction de $\mu$ et $\sigma$ "? Je ne sais pas si c'est plus facile de répondre).

Résultats de la simulation

Ici, je montre pourquoi je soupçonne que le résultat est normal (car je ne peux pas le sauvegarder avec les mathématiques). La simulation de $Y$ peut se faire en R avec qnormet rnorm. Par exemple, en choisissant les paramètres élevés $\alpha=3000$ et $\beta=7000$ :

hist(qnorm(rbeta(5000, 3000, 7000)))

Cela semble normal, et qqnormle test de Shapiro-Wilk (dans lequel la normalité est l'hypothèse nulle) le suggère également:

qqnorm(qnorm(rbeta(5000, 3000, 7000)))

shapiro.test(qnorm(rbeta(5000, 3000, 7000)))
#> 
#>  Shapiro-Wilk normality test
#> 
#> data:  qnorm(rbeta(5000, 3000, 7000))
#> W = 0.99954, p-value = 0.2838

Pour explorer la normalité un peu plus profondément, j'effectue 2 000 simulations, simulant à chaque fois 5 000 valeurs à partir de $Y$ , puis j'effectue le test pour le comparer à la normale. (J'ai choisi des valeurs de 5K car c'est le maximum que l' shapiro.teston peut gérer et maximise la puissance pour détecter les écarts par rapport à la norme).

Si la distribution était vraiment normale, nous nous attendrions à ce que les valeurs de p soient uniformes (puisque le zéro est vrai). Ils sont en effet proches de l'uniforme, suggérant que la distribution est très proche de la normale:

hist(replicate(2000, shapiro.test(qnorm(rbeta(5000, 3000, 7000)))$p.value))

Certaines expérimentations montrent que plus et β sont élevés , plus la distribution se rapproche de la normale (par exemple, elle est assez loin de la normale, mais essayez et elle semble être quelque part entre les deux).$\alpha$$\beta$rbeta(5000, 3, 7)hist(replicate(2000, shapiro.test(qnorm(rbeta(5000, 30, 70)))$p.value))

Synopsis

Vous avez redécouvert une partie de la construction décrite dans le théorème de limite centrale pour les médianes d'échantillon , qui illustre une analyse de la médiane d'un échantillon. (L'analyse s'applique évidemment, mutatis mutandis , à tout quantile, pas seulement à la médiane). Par conséquent, il n'est pas surprenant que pour les grands paramètres bêta (correspondant à de grands échantillons) une distribution normale se produit sous la transformation décrite dans la question. Ce qui est intéressant, c'est à quel point la distribution est normale, même pour les petites paramètres bêta. Cela mérite une explication.

Je vais esquisser une analyse ci-dessous. Pour garder ce message à une longueur raisonnable, il implique beaucoup de signes de main suggestifs: je ne vise qu'à souligner les idées clés. Permettez-moi donc de résumer les résultats ici:

1. Quand est proche de β , tout est symétrique. Cela fait que la distribution transformée a déjà l'air normale.$\alpha$$\beta$

2. Les fonctions de la forme semblent assez normales en premier lieu, même pour les petites valeurs de α et β (à condition que les deux dépassent 1 et que leur rapport ne soit pas trop proche de 0 ou 1 ).$\Phi^{\alpha-1}(x)\left(1-\Phi(x)\right)^{\beta-1}$$\alpha$$\beta$$1$$0$$1$

3. La normalité apparente de la distribution transformée est due au fait que sa densité consiste en une densité normale multipliée par une fonction en (2).

4. À mesure que et β augmentent, l'écart par rapport à la normalité peut être mesuré dans les termes restants dans une série de Taylor pour la densité logarithmique. Le terme d'ordre n décroît proportionnellement aux puissances ( n - 2 ) / 2 de α et β . Cela implique que finalement, pour des α et β suffisamment grands , tous les termes de puissance n = 3 ou plus sont devenus relativement petits, ne laissant qu'un quadratique: qui est précisément la densité logarithmique d'une distribution normale.$\alpha$$\beta$$n$$(n-2)/2$$\alpha$$\beta$$\alpha$$\beta$$n=3$

Collectivement, ces comportements expliquent bien pourquoi même pour les petits et $\alpha$$\beta$ les quantiles non extrêmes d'un échantillon iid Normal semblent approximativement normaux.

---

Une analyse

Parce qu'il peut être utile de généraliser, que soit n'importe quelle fonction de distribution, bien que nous ayons à l'esprit$F$ .$F=\Phi$

La fonction de densité d'un Beta ( α , $g(y)$variable ) est, par définition, proportionnelle à$(\alpha,\beta)$

$$y^{\alpha-1}(1-y)^{\beta-1}dy.$$

Soit la transformée intégrale de probabilité de x et l'écriture de f pour la dérivée de $y=F(x)$$x$$f$$F$ , il est immédiat que ait une densité proportionnelle à$x$

$$G(x;\alpha,\beta)=F(x)^{\alpha-1}(1-F(x))^{\beta-1}f(x)dx.$$

Parce qu'il s'agit d'une transformation monotone d'une distribution fortement unimodale (une Beta), à moins que ne soit plutôt étrange, la distribution transformée sera également unimodale. Pour étudier sa proximité avec la normale, examinons le logarithme de sa densité,$F$

$$\log G(x;\alpha,\beta) = (\alpha-1)\log F(x) + (\beta-1)\log(1-F(x)) + \log f(x) + C\tag{1}$$

où $C$ est une constante de normalisation non pertinente.

Développez les composantes de dans la série de Taylor pour en ordonner trois autour d'une valeur x 0 (qui sera proche d'un mode). Par exemple, nous pouvons écrire l'expansion de log F comme$\log G(x;\alpha,\beta)$$x_0$$\log F$

$$\log F(x) = c^{F}_0 + c^{F}_1 (x-x_0) + c^{F}_2(x-x_0)^2 + c^{F}_3h^3$$

pour certains avec | h | ≤ | x - x 0 | . Utilisez une notation similaire pour log ( 1 - F ) et log f . $h$$|h| \le |x-x_0|$$\log(1-F)$$\log f$

Termes linéaires

Le terme linéaire dans devient ainsi$(1)$

$$g_1(\alpha,\beta) = (\alpha-1)c^{F}_1 + (\beta-1)c^{1-F}_1 + c^{f}_1.$$

Lorsque est un mode de G $x_0$ , cette expression est nulle. Notez que parce que les coefficients sont des fonctions continues de x 0 , comme α et β varient, le mode x 0 variera également en continu. De plus, une fois que α et β sont suffisamment grands, leterme c f 1 devient relativement sans conséquence. Si nous cherchons à étudier la limite α → ∞ et β → ∞ pour laquelle α : β reste en proportion constante γ$G(\,;\alpha,\beta)$$x_0$$\alpha$$\beta$$x_0$$\alpha$$\beta$$c^{f}_1$$\alpha\to\infty$$\beta\to\infty$ $\alpha:\beta$$\gamma$, we may therefore once and for all choose a base point $x_0$ for which

$$\gamma c^{F}_1 + c^{1-F}_1 = 0.$$

A nice case is where $\gamma=1$, where $\alpha=\beta$ throughout, and $F$ is symmetric about $0$. In that case it is obvious $x_0=F(0)=1/2$.

We have achieved a method whereby (a) in the limit, the first-order term in the Taylor series vanishes and (b) in the special case just described, the first-order term is always zero.

Quadratic terms

Ce sont la somme

$$g_2(\alpha,\beta) = (\alpha-1)c^{F}_2 + (\beta-1)c^{1-F}_2 + c^{f}_2.$$

$-(1/2)(x-x_0)^2/\sigma^2$, we may estimate that $-1/(2g_2(\alpha,\beta))$ is approximately the variance of $G$. Let us standardize $G$ by rescaling $x$ by its square root. we don't really need the details; it suffices to understand that this rescaling is going to multiply the coefficient of $(x-x_0)^n$ in the Taylor expansion by $(-1/(2g_2(\alpha,\beta)))^{n/2}.$

Remainder term

Here's the punchline: the term of order $n$ in the Taylor expansion is, according to our notation,

$$g_n(\alpha,\beta) = (\alpha-1)c^{F}_n + (\beta-1)c^{1-F}_n + c^{f}_n.$$

After standardization, it becomes

$$g_n^\prime(\alpha,\beta) = \frac{g_n(\alpha,\beta)}{(-2g_2(\alpha,\beta))^{n/2})}.$$

Both of the $g_i$ are affine combination of $\alpha$ and $\beta$. By raising the denominator to the $n/2$ power, the net behavior is of order $-(n-2)/2$ in each of $\alpha$ and $\beta$. As these parameters grow large, then, each term in the Taylor expansion after the second decreases to zero asymptotically. In particular, the third-order remainder term becomes arbitrarily small.

The case when $F$ is normal

The vanishing of the remainder term is particularly fast when $F$ is standard Normal, because in this case $f(x)$ is purely quadratic: it contributes nothing to the remainder terms. Consequently, the deviation of $G$ from normality depends solely on the deviation between $F^{\alpha-1}(1-F)^{\beta-1}$ and normality.

This deviation is fairly small even for small $\alpha$ and $\beta$. To illustrate, consider the case $\alpha=\beta$. $G$ is symmetric, whence the order-3 term vanishes altogether. The remainder is of order $4$ in $x-x_0=x$.

Here is a plot showing how the standardized fourth order term changes with small values of $\alpha \gt 1$:

The value starts out at $0$ for $\alpha=\beta=1$, because then the distribution obviously is Normal ($\Phi^{-1}$ applied to a uniform distribution, which is what Beta$(1,1)$ is, gives a standard Normal distribution). Although it increases rapidly, it tops off at less than $0.008$--which is practically indistinguishable from zero. After that the asymptotic reciprocal decay kicks in, making the distribution ever closer to Normal as $\alpha$ increases beyond $2$.

Convergence

Suppose that $\alpha = \beta$ and let $\alpha \to \infty$ and take any small $\varepsilon > 0$. Then $var(X) \to 0$. By Chebyshev's inequality we have $\mathbb{P} [\vert X - 0.5 \vert > \varepsilon] \to 0$ and $\mathbb{P} [\vert Y \vert > \varepsilon] \to 0$. This means that $Y$ converges in probability (not in distribution actually it converges in distribution - to singleton).

Exact distribution

Denote by $f_X$ the density of beta distribution. Then your variable $Y$ has density

$$f_Y (y) = f_X ( \Phi (y) ) \phi (y).$$ Since $\Phi$ does not have a closed form I believe that this is the furthest you can get (analytically). You can try to put it into FullSimplify function in Wolfram Mathematica to see if it finds some better form.

Here is the density in R so you can plot it instead of histogram.

f_y <- function(x, alpha, beta) {
  dbeta(pnorm(x), alpha, beta) * dnorm(x)
}

Modification

However, you are maybe interested in distribution of

$$Z = \Phi^{-1} (\sqrt{\alpha} X)$$ . (still assuming $\alpha = \beta$) This may be useful because $var(\sqrt{\alpha} X) \to 1/8$ (useful because it is not zero).

Here I present a heuristic explanation (which can be made rigorous at least asymptotically). For simplicity, take $k \in \mathbb N$, $k \geq 2$. Let $X \sim \text{Beta}(k,k)$. I want to argue that $Y = \Phi^{-1}(X)$ is approximately normal.

Now let $n=2k-1$. We start by drawing $n$ i.i.d. uniformly distributed random variables $U_1, \dotsc, U_n$. Next, form the order statistics $U_{(1)} \leq \dotsc \leq U_{(n)}$.

It is well known that $U_{(k)} \sim \text{Beta}(k, n+1-k)$, thus:

$$U_{(k)} \sim \text{Beta}(k, k)$$

In other words: The sample median of $n$ i.i.d. uniformly distributed random variables is $\text{Beta}(k,k)$ distributed.

Now let's transform by $Z_i = \Phi^{-1}(U_i)$. Then by the probability integral transform, the $Z_i$ are i.i.d. normally distributed. Also form the order statistics of the $Z_i$ ($Z_{(1)} \leq \dotsc \leq Z_{(n)}$). Since $\Phi^{-1}$ is strictly increasing, it follows that:

$$\Phi^{-1}(U_{(k)}) = Z_{(k)}$$

Therefore, to show that $Y$ is approximately normal, we just have to argue that the sample median of $n$ i.i.d. normal random variables is approximately normal.

For $k$ large, this can be made precise by a central limit theorem for sample medians. For $k$ small, say $k=2$, I will let everyone's gut feeling do the speaking.

For $a \neq b$ (but not too different) one can argue similarly by using corresponding quantiles.