Student t as mixture of gaussian

23

Utilisation de la distribution t de Student avec $k > 0$ degrés de liberté, paramètre de localisation et paramètre d'échelle ayant une densité $l$ $s$

\frac{Γ (\frac{k + 1}{2})}{Γ (\frac{k}{2} \sqrt{k π s^{2}})} {1 + k^{- 1} (\frac{x - l}{s})}^{- (k + 1) / 2},

$\frac{\Gamma \left(\frac{k+1}{2}\right)}{\Gamma\left(\frac{k}{2}\sqrt{k \pi s^2}\right)} \left\{ 1 + k^{-1}\left( \frac{x-l}{s}\right)\right\}^{-(k+1)/2},$

comment montrer que la distribution Student peut être écrite comme un mélange de distributions gaussiennes en laissant , , et intégrant la densité conjointe pour obtenir la densité marginale ? Quels sont les paramètres de la distribution résultante, en tant que fonctions de ? $t$ $X\sim N(\mu,\sigma^2)$ $\tau = 1/\sigma^2\sim\Gamma(\alpha,\beta)$ $f(x,\tau|\mu)$ $f(x|\mu)$ $t$ $\mu,\alpha,\beta$

Je me suis perdu dans le calcul en intégrant la densité conditionnelle conjointe à la distribution gamma.

distributions mixture

— Salih Ucan
source

31

Le PDF d'une distribution normale est

f_{μ, σ} (x) = \frac{1}{\sqrt{2 π} σ} e^{- \frac{(x - μ)^{2}}{2 σ^{2}}} d x

$f_{\mu, \sigma}(x) = \frac{1}{\sqrt{2 \pi} \sigma} e^{-\frac{(x-\mu )^2}{2 \sigma ^2}}dx$

mais en termes de il est $\tau = 1/\sigma^2$

g_{μ, τ} (x) = \frac{\sqrt{τ}}{\sqrt{2 π}} e^{- \frac{τ (x - μ)^{2}}{2}} d x .

$g_{\mu, \tau}(x) = \frac{\sqrt{\tau}}{\sqrt{2 \pi}} e^{-\frac{\tau(x-\mu )^2}{2 }}dx.$

Le PDF d'une distribution Gamma est

h_{α, β} (τ) = \frac{1}{Γ (α)} e^{- \frac{τ}{β}} τ^{- 1 + α} β^{- α} d τ .

$h_{\alpha, \beta}(\tau) = \frac{1}{\Gamma(\alpha)}e^{-\frac{\tau}{\beta }} \tau^{-1+\alpha } \beta ^{-\alpha }d\tau.$

Leur produit, légèrement simplifié avec l'algèbre facile, est donc

f_{μ, α, β} (x, τ) = \frac{1}{β^{α} Γ (α) \sqrt{2 π}} e^{- τ (\frac{(x - μ)^{2}}{2} + \frac{1}{β})} τ^{- 1 / 2 + α} d τ d x .

$f_{\mu, \alpha, \beta}(x,\tau) =\frac{1}{\beta^\alpha\Gamma(\alpha)\sqrt{2 \pi}} e^{-\tau\left(\frac{(x-\mu )^2}{2 } + \frac{1}{\beta}\right)} \tau^{-1/2+\alpha}d\tau dx.$

Sa partie intérieure a évidemment la forme , ce qui en fait un multiple d'une fonction Gamma lorsqu'elle est intégrée sur toute la plage à . Cette intégrale est donc immédiate (obtenue en sachant que l'intégrale d'une distribution gamma est l'unité), donnant la distribution marginale $\exp(-\text{constant}_1 \times \tau) \times \tau^{\text{constant}_2}d\tau$ $\tau=0$ $\tau=\infty$

f_{μ, α, β} (x) = \frac{\sqrt{β} Γ (α + \frac{1}{2})}{\sqrt{2 π} Γ (α)} \frac{1}{{(\frac{β}{2} (x - μ)^{2} + 1)}^{α + \frac{1}{2}}} .

$f_{\mu, \alpha, \beta}(x) = \frac{\sqrt{\beta } \Gamma \left(\alpha +\frac{1}{2}\right) }{\sqrt{2\pi } \Gamma (\alpha )}\frac{1}{\left(\frac{\beta}{2} (x-\mu )^2+1\right)^{\alpha +\frac{1}{2}}}.$

Essayer de faire correspondre le modèle fourni pour la distribution montre qu'il y a une erreur dans la question: le PDF pour la distribution t de Student est en fait proportionnel à $t$

\frac{1}{\sqrt{k} s} {(\frac{1}{1 + k^{- 1} {(\frac{x - l}{s})}^{2}})}^{\frac{k + 1}{2}}

$\frac{1}{\sqrt{k} s }\left(\frac{1}{1+k^{-1}\left(\frac{x-l}{s}\right)^2}\right)^{\frac{k+1}{2}}$

(la puissance de est , pas ). La correspondance des termes indique , et $(x-l)/s$ $2$ $1$ $k = 2 \alpha$ $l=\mu$ . $s = 1/\sqrt{\alpha\beta}$

Notez qu'aucun calcul n'était nécessaire pour cette dérivation: tout consistait à rechercher les formules des PDF normaux et gamma, à effectuer des manipulations algébriques triviales impliquant des produits et des puissances, et à associer des modèles dans des expressions algébriques (dans cet ordre).

— whuber
source

10

Inspiré par cette réponse, j'ai fait une animation de la distribution t comme un mélange de distributions normales. Il est disponible ici: sumsar.net/blog/2013/12/t-as-a-mixture-of-normals

— Rasmus Bååth

1

@whuber: Techniquement, pour ce type de correspondance, il y a toujours une utilisation implicite du calcul dans votre reconnaissance que vous pouvez intégrer la densité gamma en utilisant sa forme intégrale connue. (C'est l'équivalent pour le statisticien de cacher le brocoli en le mélangeant avec la viande et les pommes de terre.) Une façon intelligente de cacher le calcul!

— Rétablir Monica le

1

$t$ $k$ $Y$ $Y$ $X$ $t(k)$ $X$ $\sqrt Y$ $\Phi$ ,where $Y$ ~ $IG(k/2,k/2)$ , $\Phi$ is standard normal rv. I hope this could help you in some sense.

— Jingjings
source

0

To simplify we assume mean $0$ . Using representation, we show the result for integer degrees of freedom.

\sqrt{1 / τ} X = Y

$\sqrt{1/\tau} X =Y$ is equivalent to a Gaussian mixture with that prior: conditioned on

τ

$\tau$ ,

Y

$Y$ is Gaussian with precision

τ

$\tau$ , and the prior

τ

$\tau$ is as desired. Then it remains to show that

\sqrt{1 / τ} X

$\sqrt{1/\tau} X$ is a t-distribution. We can write

τ \sim Γ (α, β) \sim \frac{β}{2} Γ (α, 2) \sim \frac{β}{2} χ^{2} (2 α)

$\tau \sim \Gamma(\alpha, \beta) \sim \frac{\beta}{2} \Gamma(\alpha, 2) \sim \frac{\beta}{2} \chi^2(2\alpha)$ using a well-known result about gammas and Chi-squares (decompose a gamma as a sum of exponentials and combine the exponentials to normals to Chi squares) This in turn implies that

Y \sim X \frac{1}{\sqrt{(β / 2) χ^{2} (2 α)}}

$Y \sim X \frac{1}{\sqrt{(\beta/2) \chi^2(2\alpha)} }$

= \frac{X \sqrt{α β}}{\sqrt{χ_{2 α}^{2} / (2 α)}}

$= \frac{ X \sqrt{\alpha \beta} }{\sqrt{ \chi^2_{2\alpha}/(2\alpha)}}$ which is a scaled t with

k = 2 α

$k=2\alpha$ and

s = 1 / \sqrt{α β}

$s=1/\sqrt{\alpha \beta}$ by variance of t. We can recenter our representation at

μ

$\mu$ and

l

$l$ would follow.

— Romil Sirohi
source