La relation entre la distribution gamma et la distribution normale

J'ai récemment trouvé nécessaire de dériver un pdf pour le carré d'une variable aléatoire normale avec une moyenne de 0. Pour une raison quelconque, j'ai choisi de ne pas normaliser la variance au préalable. Si je l'ai fait correctement, ce pdf est le suivant:

N^{2} (x; σ^{2}) = \frac{1}{σ \sqrt{2 π} \sqrt{x}} e^{\frac{- x}{2 σ^{2}}}

$N^2(x; \sigma^2) = \frac{1}{\sigma \sqrt{2 \pi} \sqrt{x}} e^{\frac{-x}{2\sigma^2}}$

J'ai remarqué que ce n'était en fait qu'une paramétrisation d'une distribution gamma:

N^{2} (x; σ^{2}) = Gamma (x; \frac{1}{2}, 2 σ^{2})

$N^2(x; \sigma^2) = \operatorname{Gamma}(x; \frac{1}{2}, 2 \sigma^2)$

Et puis, du fait que la somme de deux gammas (avec le même paramètre d'échelle) est égale à un autre gamma, il s'ensuit que le gamma est équivalent à la somme de variables aléatoires normales au carré. $k$

N_{Σ}^{2} (x; k, σ^{2}) = Gamma (x; \frac{k}{2}, 2 σ^{2})

$N^2_\Sigma(x; k, \sigma^2) = \operatorname{Gamma}(x; \frac{k}{2}, 2 \sigma^2)$

C'était un peu surprenant pour moi. Même si je savais que la - une distribution de la somme des VR normaux au carré standard - était un cas spécial du gamma, je ne savais pas que le gamma était essentiellement juste une généralisation permettant la somme de la normale variables aléatoires de toute variance. Cela conduit également à d'autres caractérisations que je n'avais pas rencontrées auparavant, telles que la distribution exponentielle étant équivalente à la somme de deux distributions normales au carré. $\chi^2$

Tout cela est quelque peu mystérieux pour moi. La distribution normale est-elle fondamentale pour la dérivation de la distribution gamma, de la manière décrite ci-dessus? La plupart des ressources que j'ai vérifiées ne mentionnent pas que les deux distributions sont intrinsèquement liées comme ça, ou même d'ailleurs décrivent comment le gamma est dérivé. Cela me fait penser qu'une vérité de niveau inférieur est en jeu que j'ai simplement mise en évidence de manière alambiquée?

normal-distribution gamma-distribution

— timxyz
source

De nombreux manuels de premier cycle sur la théorie des probabilités mentionnent tous les résultats ci-dessus; mais peut-être que les textes statistiques ne couvrent pas ces idées? Dans tous les cas, une variable aléatoire est juste où est une variable aléatoire normale standard, et donc (pour les variables iid) est simplement une variable aléatoire mise à l'échelle n'est pas surprenant pour ceux qui ont étudié la théorie des probabilités.

N (0, σ^{2})

$N(0,\sigma^2)$

Y_{i}

$Y_i$

σ X_{i}

$\sigma X_i$

X_{i}

$X_i$

\sum_{i} Y_{i}^{2} = σ^{2} \sum_{i} X_{i}^{2}

$\sum_i Y_i^2 = \sigma^2 \sum_i X_i^2$

χ^{2}

$\chi^2$

— Dilip Sarwate

Je suis issu de la vision par ordinateur, donc je ne rencontre pas normalement la théorie des probabilités. Aucun de mes manuels (ou Wikipedia) ne mentionne cette interprétation. Je suppose que je demande aussi, quelle est la particularité de la somme du carré de deux distributions normales qui en fait un bon modèle pour le temps d'attente (c'est-à-dire la distribution exponentielle). J'ai toujours l'impression de manquer quelque chose de plus profond.

— timxyz

Étant donné que Wikipedia définit la distribution du chi carré comme une somme des normales au carré sur en.wikipedia.org/wiki/Chi-squared_distribution#Definition et mentionne que le chi carré est un cas spécial du Gamma (sur en.wikipedia.org/wiki / Gamma_distribution # Others ), on peut difficilement affirmer que ces relations ne sont pas bien connues. La variance elle-même établit simplement l'unité de mesure (un paramètre d'échelle) dans tous les cas et n'introduit donc aucune complication supplémentaire.

— whuber

Bien que ces résultats soient bien connus dans le domaine des probabilités et des statistiques, bravo @timxyz pour les avoir redécouverts dans votre propre analyse.

— Rétablir Monica le

La connexion n'est pas mystérieuse, c'est parce qu'ils sont membres de la famille exponentielle des distributions dont la propriété saillante est qu'elles peuvent être atteintes par substitution de variables et / ou de paramètres. Voir la réponse plus longue ci-dessous avec des exemples.

— Carl

Réponses:

Comme l'a noté le commentaire du professeur Sarwate, les relations entre la normale au carré et le chi carré sont un fait très largement diffusé - car il devrait également être le fait qu'un chi carré n'est qu'un cas particulier de la distribution Gamma:

X \sim N (0, σ^{2}) \Rightarrow X^{2} / σ^{2} \sim χ_{1}^{2} \Rightarrow X^{2} \sim σ^{2} χ_{1}^{2} = Gamma (\frac{1}{2}, 2 σ^{2})

$X \sim N(0,\sigma^2) \Rightarrow X^2/\sigma^2 \sim \mathcal \chi^2_1 \Rightarrow X^2 \sim \sigma^2\mathcal \chi^2_1= \text{Gamma}\left(\frac 12, 2\sigma^2\right)$

la dernière égalité résultant de la propriété de mise à l'échelle du Gamma.

En ce qui concerne la relation avec l'exponentielle, pour être précis, c'est la somme de deux normales de moyenne nulle au carré, chacune mise à l'échelle par la variance de l'autre , qui conduit à la distribution exponentielle:

X_{1} \sim N (0, σ_{1}^{2}), X_{2} \sim N (0, σ_{2}^{2}) \Rightarrow \frac{X_{1}^{2}}{σ_{1}^{2}} + \frac{X_{2}^{2}}{σ_{2}^{2}} \sim χ_{2}^{2} \Rightarrow \frac{σ_{2}^{2} X_{1}^{2} + σ_{1}^{2} X_{2}^{2}}{σ_{1}^{2} σ_{2}^{2}} \sim χ_{2}^{2}

$X_1 \sim N(0,\sigma^2_1),\;\; X_2 \sim N(0,\sigma^2_2) \Rightarrow \frac{X_1^2}{\sigma^2_1}+\frac{X_2^2}{\sigma^2_2} \sim \mathcal \chi^2_2 \Rightarrow \frac{\sigma^2_2X_1^2+ \sigma^2_1X_2^2}{\sigma^2_1\sigma^2_2} \sim \mathcal \chi^2_2$

\Rightarrow σ_{2}^{2} X_{1}^{2} + σ_{1}^{2} X_{2}^{2} \sim σ_{1}^{2} σ_{2}^{2} χ_{2}^{2} = Gamma (1, 2 σ_{1}^{2} σ_{2}^{2}) = Exp (\frac{1}{2 σ_{1}^{2} σ_{2}^{2}})

$\Rightarrow \sigma^2_2X_1^2+ \sigma^2_1X_2^2 \sim \sigma^2_1\sigma^2_2\mathcal \chi^2_2 = \text{Gamma}\left(1, 2\sigma^2_1\sigma^2_2\right) = \text{Exp}( {1\over {2\sigma^2_1\sigma^2_2}})$

Mais le soupçon qu'il y a "quelque chose de spécial" ou de "plus profond" dans la somme de deux normales moyennes au carré zéro qui "en fait un bon modèle pour le temps d'attente" n'est pas fondé: tout d'abord, ce qui est spécial au sujet de la distribution exponentielle qui fait -ce un bon modèle pour le "temps d'attente"? L'absence de mémoire bien sûr, mais y a-t-il quelque chose de "plus profond" ici, ou simplement la forme fonctionnelle simple de la fonction de distribution exponentielle, et les propriétés de ? Les propriétés uniques sont éparpillées partout dans les mathématiques, et la plupart du temps, elles ne reflètent pas une "intuition plus profonde" ou une "structure" - elles existent simplement (heureusement). $e$

Deuxièmement, le carré d'une variable a très peu de relation avec son niveau. Considérez simplement in, disons, : $f(x) = x$ $[-2,\,2]$

entrez la description de l'image ici

... ou représenter graphiquement la densité normale standard par rapport à la densité du chi carré: ils reflètent et représentent des comportements stochastiques totalement différents, même s'ils sont si intimement liés, car le second est la densité d'une variable qui est le carré du premier. La normale peut être un pilier très important du système mathématique que nous avons développé pour modéliser le comportement stochastique - mais une fois que vous l'ajustez, cela devient quelque chose de totalement différent.

— Alecos Papadopoulos
source

Merci d'avoir répondu en particulier aux questions de mon dernier paragraphe.

— timxyz

De rien. Je dois admettre que je suis heureux que ma réponse ait atteint le PO d'origine 26 mois après la publication de la question.

— Alecos Papadopoulos

Abordons la question posée: tout cela est quelque peu mystérieux pour moi. La distribution normale est-elle fondamentale pour la dérivation de la distribution gamma ...? Pas de mystère vraiment, c'est simplement que la distribution normale et la distribution gamma sont membres, entre autres de la famille exponentielle de distributions, laquelle famille est définie par la capacité de convertir entre des formes équationnelles par substitution de paramètres et / ou de variables. En conséquence, il existe de nombreuses conversions par substitution entre distributions, dont quelques - unes sont résumées dans la figure ci-dessous.

LEEMIS, Lawrence M .; Jacquelyn T. MCQUESTON (février 2008). "Relations de distribution univariées" (PDF). Statisticien américain. 62 (1): 45-53. doi: 10.1198 / 000313008x270448 citer

Voici deux relations de distribution normale et gamma plus en détail (parmi un nombre inconnu d'autres, comme via le chi carré et la bêta).

Premièrement, une relation plus directe entre la distribution gamma (GD) et la distribution normale (ND) avec zéro moyen suit. Autrement dit, le GD prend une forme normale car son paramètre de forme peut augmenter. Il est plus difficile de prouver que tel est le cas. Pour le GD,

GD (z; a, b) = \begin{array}{cc} {\begin{cases} \frac{b^{- a} z^{a - 1} e^{- \frac{z}{b}}}{Γ (a)} & z > 0 \\ 0 & other \end{cases} . \end{array}

$\text{GD}(z;a,b)=\begin{array}{cc} & \begin{cases} \dfrac{b^{-a} z^{a-1} e^{-\dfrac{z}{b}}}{\Gamma (a)} & z>0 \\ 0 & \text{other} \\ \end{cases} \,. \\ \end{array}$

Comme le paramètre de forme GD , la forme GD devient plus symétrique et normale, cependant, comme la moyenne augmente avec l'augmentation de , nous devons déplacer le GD de gauche de pour le maintenir stationnaire, et enfin, si nous souhaitons conserver le même écart-type pour notre GD décalé, nous devons diminuer le paramètre d'échelle ( ) proportionnel à . $a\rightarrow \infty$ $a$ $(a-1) \sqrt{\dfrac{1}{a}} k$ $b$ $\sqrt{\dfrac{1}{a}}$

A savoir, pour transformer un GD en un cas limite ND, nous définissons l'écart type comme une constante ( ) en laissant et en déplaçant le GD vers la gauche pour avoir un mode de zéro en substituantEnsuite $k$ $b=\sqrt{\dfrac{1}{a}} k$ $z=(a-1) \sqrt{\dfrac{1}{a}} k+x\ .$

GD ((a - 1) \sqrt{\frac{1}{a}} k + x; a, \sqrt{\frac{1}{a}} k) = \begin{array}{cc} {\begin{cases} \frac{{(\frac{k}{\sqrt{a}})}^{- a} e^{- \frac{\sqrt{a} x}{k} - a + 1} {(\frac{(a - 1) k}{\sqrt{a}} + x)}^{a - 1}}{Γ (a)} & x > \frac{k (1 - a)}{\sqrt{a}} \\ 0 & other \end{cases} \end{array} .

$\text{GD}\left((a-1) \sqrt{\frac{1}{a}} k+x;\ a,\ \sqrt{\frac{1}{a}} k\right)=\begin{array}{cc} & \begin{cases} \dfrac{\left(\dfrac{k}{\sqrt{a}}\right)^{-a} e^{-\dfrac{\sqrt{a} x}{k}-a+1} \left(\dfrac{(a-1) k}{\sqrt{a}}+x\right)^{a-1}}{\Gamma (a)} & x>\dfrac{k(1-a)}{\sqrt{a}} \\ 0 & \text{other} \\ \end{cases} \\ \end{array}\,.$

Notez que dans la limite en tant la valeur la plus négative de pour laquelle ce GD est différent de zéro . Autrement dit, le support GD semi-infini devient infini . En prenant la limite comme du GD reparameterized, nous trouvons $a\rightarrow\infty$ $x$ $\rightarrow -\infty$ $a\rightarrow \infty$

lim_{a \to \infty} \frac{{(\frac{k}{\sqrt{a}})}^{- a} e^{- \frac{\sqrt{a} x}{k} - a + 1} {(\frac{(a - 1) k}{\sqrt{a}} + x)}^{a - 1}}{Γ (a)} = \frac{e^{- \frac{x^{2}}{2 k^{2}}}}{\sqrt{2 π} k} = ND (x; 0, k^{2})

$\lim_{a\to \infty } \, \frac{\left(\frac{k}{\sqrt{a}}\right)^{-a} e^{-\frac{\sqrt{a} x}{k}-a+1} \left(\frac{(a-1) k}{\sqrt{a}}+x\right)^{a-1}}{\Gamma (a)}=\dfrac{e^{-\dfrac{x^2}{2 k^2}}}{\sqrt{2 \pi } k}=\text{ND}\left(x;0,k^2\right)$

Graphiquement pour et le GD est en bleu et le limitant est en orange, en dessous $k=2$ $a=1,2,4,8,16,32,64$ $\text{ND}\left(x;0,\ 2^2\right)$

Deuxièmement, soulignons qu'en raison de la similitude de forme entre ces distributions, on peut à peu près développer des relations entre le gamma et les distributions normales en les tirant hors de l'air. A savoir, nous développons ensuite une généralisation de la distribution gamma "dépliée" d'une distribution normale.

Notez d'abord que c'est le support semi-infini de la distribution gamma qui entrave une relation plus directe avec la distribution normale. Cependant, cet obstacle peut être supprimé en considérant la distribution semi-normale, qui a également un support semi-infini. Ainsi, on peut généraliser la distribution normale (ND) en la pliant d'abord pour qu'elle soit semi-normale (HND), en la reliant à la distribution gamma généralisée (GD), puis pour notre tour de force, on "déplie" les deux (HND et GD) pour faire ainsi un ND généralisé (un GND).

La distribution gamma généralisée

GD (x; α, β, γ, μ) = \begin{array}{cc} {\begin{cases} \frac{γ e^{- {(\frac{x - μ}{β})}^{γ}} {(\frac{x - μ}{β})}^{α γ - 1}}{β Γ (α)} & x > μ \\ 0 & other \end{cases} \end{array},

$\text{GD}\left(x;\alpha ,\beta ,\gamma ,\mu \right)=\begin{array}{cc} & \begin{cases} \dfrac{\gamma e^{-\left(\dfrac{x-\mu }{\beta }\right)^{\gamma }} \left(\dfrac{x-\mu }{\beta }\right)^{\alpha \gamma -1}}{\beta \,\Gamma (\alpha )} & x>\mu \\ 0 & \text{other} \\ \end{cases} \\ \end{array}\,,$

Peut être reparamétrisé pour être la distribution semi-normale ,

GD (x; \frac{1}{2}, \frac{\sqrt{π}}{θ}, 2, 0) = \begin{array}{cc} {\begin{cases} \frac{2 θ e^{- \frac{θ^{2} x^{2}}{π}}}{π} & x > 0 \\ 0 & other \end{cases} \end{array} = HND (x; θ)

$\text{GD}\left(x;\frac{1}{2},\frac{\sqrt{\pi }}{\theta },2,0 \right)=\begin{array}{cc} & \begin{cases} \dfrac{2 \theta e^{-\dfrac{\theta ^2 x^2}{\pi }}}{\pi } & x>0 \\ 0 & \text{other} \\ \end{cases} \\ \end{array}\,\,\,=\text{HND}(x;\theta)$

Notez queAinsi, $\theta=\frac{\sqrt{\pi}}{\sigma\sqrt{2}}.$

ND (x; 0, σ^{2}) = \frac{1}{2} HND (x; θ) + \frac{1}{2} HND (- x; θ) = \frac{1}{2} GD (x; \frac{1}{2}, \frac{\sqrt{π}}{θ}, 2, 0) + \frac{1}{2} GD (- x; \frac{1}{2}, \frac{\sqrt{π}}{θ}, 2, 0),

$\text{ND}\left(x;0,\sigma^2\right)=\frac{1}{2}\text{HND}(x;\theta)+\frac{1}{2}\text{HND}(-x;\theta)=\frac{1}{2}\text{GD}\left(x;\frac{1}{2},\frac{\sqrt{\pi }}{\theta },2,0 \right)+\frac{1}{2}\text{GD}\left(-x;\frac{1}{2},\frac{\sqrt{\pi }}{\theta },2,0 \right)\,,$

ce qui implique que

\begin{aligned} GND (x; μ, α, β) & = \frac{1}{2} GD (x; \frac{1}{β}, α, β, μ) + \frac{1}{2} GD (- x; \frac{1}{β}, α, β, μ) \\ = \frac{β e^{- {(\frac{| x - μ |}{α})}^{β}}}{2 α Γ (\frac{1}{β})} \end{aligned},

$\begin{align} \text{GND}(x;\mu,\alpha,\beta) &= \frac{1}{2}\text{GD}\left(x;\frac{1}{\beta},\alpha,\beta,\mu \right)+\frac{1}{2}\text{GD}\left(-x;\frac{1}{\beta},\alpha,\beta,\mu \right)\\ &= \frac{\beta e^{-\left(\dfrac{\left|x-\mu\right|}{\alpha }\right)^{\mathrm{\Large{\beta}}}}}{2 \alpha \Gamma \left(\dfrac{1}{\beta }\right)}\\ \end{align} \,,$

est une généralisation de la distribution normale, où est l'emplacement, est l'échelle et est la forme et où donne une distribution normale. Il inclut la distribution de Laplace lorsque . Comme , la densité converge ponctuellement vers une densité uniforme sur . Vous trouverez ci-dessous la distribution normale généralisée tracée pour en bleu avec le cas normal en orange. $\mu$ $\alpha>0$ $\beta>0$ $\beta=2$ $\beta=1$ $\beta\rightarrow\infty$ $(\mu-\alpha,\mu+\alpha)$ $\alpha =\frac{\sqrt{\pi} }{2}\,,\beta=1/2,1,4$ $\alpha =\frac{\sqrt{\pi} }{2},\,\beta=2$

Ce qui précède peut être considéré comme la distribution normale généralisée version 1 et dans différentes paramétrisations est connue comme la distribution de puissance exponentielle et la distribution d'erreur généralisée, qui sont à leur tour l'une des nombreuses autres distributions normales généralisées .

— Carl
source

La dérivation de la distribution chi carré de la distribution normale est très analogue à la dérivation de la distribution gamma de la distribution exponentielle.

Nous devrions pouvoir généraliser ceci:

Si les sont des variables indépendantes d'une distribution normale généralisée avec un coefficient de puissance alors peut être lié à une distribution chi carré à l'échelle (avec des "degrés de liberté" égaux à ). $X_i$ $m$ $Y = \sum_{i}^n {X_i}^m$ $n/m$

L'analogie est la suivante:

Les distributions normale et khi carré se rapportent à la somme des carrés

La distribution de densité conjointe de plusieurs variables distribuées normales standard indépendantes dépend de $\sum x_i^2$
$f(x_1, x_2, ... ,x_n) = \frac{\exp \left( {-0.5\sum_{i=1}^{n}{x_i}^2}\right)}{(2\pi)^{n/2}}$
Si $X_i \sim N(0,1)$

alors $\sum_{i=1}^n {X_i}^2 \sim \chi^2(\nu)$

Les distributions exponentielles et gamma se rapportent à la somme régulière

La distribution de densité conjointe de plusieurs variables distribuées exponentielles indépendantes dépend de $\sum x_i$

$f(x_1, x_2, ... ,x_n) = \frac{\exp \left( -\lambda\sum_{i=1}^{n}{x_i} \right)}{\lambda^{-n}}$
Si $X_i \sim Exp(\lambda)$

alors $\sum_{i=1}^n X_i \sim \text{Gamma}(n,\lambda)$

La dérivation peut être effectuée par un changement de variables intégrant non pas sur tous les mais plutôt sur le terme sommé (c'est ce que Pearson a fait en 1900). Cela se déroule de manière très similaire dans les deux cas. $x_1,x_2,...x_n$

Pour la : $\chi^2$

\begin{array}{rcl} f_{χ^{2} (n)} (s) d s & = & \frac{e^{- s / 2}}{{(2 π)}^{n / 2}} \frac{d V}{d s} d s \\ = & \frac{e^{- s / 2}}{{(2 π)}^{n / 2}} \frac{π^{n / 2}}{Γ (n / 2)} s^{n / 2 - 1} d s \\ = & \frac{1}{2^{n / 2} Γ (n / 2)} s^{n / 2 - 1} e^{- s / 2} d s \end{array}

$\begin{array}{rcl} f_{\chi^2(n)}(s) ds &=& \frac{e^{-s/2}}{\left( 2\pi \right)^{n/2}} \frac{dV}{ds} ds\\ &=& \frac{e^{-s/2}}{\left( 2\pi \right)^{n/2}} \frac{\pi^{n/2}}{\Gamma(n/2)}s^{n/2-1} ds \\ &=& \frac{1}{2^{n/2}\Gamma(n/2)}s^{n/2-1}e^{-s/2} ds \\ \end{array}$

Où est le volume à n dimensions d'une n-boule de rayon carré . $V(s) = \frac{\pi^{n/2}}{\Gamma (n/2+1)}s^{n/2}$ $s$

Pour la distribution gamma:

\begin{array}{rcl} f_{G (n, λ)} (s) d s & = & \frac{e^{- λ s}}{λ^{- n}} \frac{d V}{d s} d s \\ = & \frac{e^{- λ s}}{λ^{- n}} n \frac{s^{n - 1}}{n!} d s \\ = & \frac{λ^{n}}{Γ (n)} s^{n - 1} e^{- λ s} d s \end{array}

$\begin{array}{rcl} f_{G(n,\lambda)}(s) ds &=& \frac{e^{-\lambda s}}{\lambda^{-n}} \frac{dV}{ds} ds\\ &=& \frac{e^{-\lambda s}}{\lambda^{-n}} n \frac{s^{n-1}}{n!}ds \\ &=& \frac{\lambda^{n}}{ \Gamma(n)} s^{n-1} e^{-\lambda s} ds \\ \end{array}$

Où Est le volume à n dimensions d'un n-polytope avec . $V(s) = \frac{s^n}{n!}$ $\sum x_i < s$

La distribution gamma peut être considérée comme le temps d'attente pour le ème événement dans un processus de Poisson qui est distribué comme la somme de variables distribuées exponentiellement. $Y$ $n$ $n$

Comme Alecos Papadopoulos l'a déjà noté, il n'y a pas de connexion plus profonde qui fait des sommes de variables normales au carré «un bon modèle pour le temps d'attente». La distribution gamma est la distribution d'une somme de variables distribuées normales généralisées. Voilà comment les deux se rejoignent.

Mais le type de somme et le type de variables peuvent être différents. Alors que la distribution gamma, lorsqu'elle est dérivée de la distribution exponentielle (p = 1), obtient l'interprétation de la distribution exponentielle (temps d'attente), vous ne pouvez pas revenir en arrière et revenir à une somme de variables gaussiennes au carré et utiliser cette même interprétation.

La distribution de densité pour le temps d'attente qui diminue de façon exponentielle, et la distribution de densité pour une erreur gaussienne diminue de manière exponentielle (avec un carré). C'est une autre façon de voir les deux connectés.

— Sextus Empiricus
source