Probabilité gaussienne + quel a priori = Marginal gaussien?

Étant donné une probabilité gaussienne pour un échantillon comme avec étant l'espace des paramètres et , paramétrisations arbitraires du vecteur moyen et de la matrice de covariance.$y$

$$p(y|\theta) = \mathcal{N}(y;\mu(\theta),\Sigma(\theta))$$ $\Theta$$\mu(\theta)$$\Sigma(\theta)$

Est-il possible de spécifier une densité antérieure et un paramétrage du vecteur moyen et de la matrice de covariance tels que la vraisemblance marginale est une vraisemblance gaussienne?$p(\theta)$$\mu(\theta)$$\Sigma(\theta)$

$$p(y)=\int_{\theta\in\Theta}N(y;\mu(\theta),\Sigma(\theta))p(\theta)d\theta$$

J'imagine qu'en excluant la solution triviale que la covariance est connue, c'est-à-dire , où est une matrice de covariance fixe arbitraire, ce n'est pas possible.$\Sigma(\theta)=\Sigma$$\Sigma$

Pour le cas particulier et , c'est-à-dire que est unidimensionnel, et , où dénote la densité uniforme que je peux lui montrer: $\mu(\sigma^2)=\mu$$\Sigma(\sigma^2)=\sigma^2$$y$$p(\sigma^2)=\mathcal{U}(\sigma^2;a,b)$$\mathcal{U}(\sigma^2;a,b)$

$$\begin{align} p(y)&=\int_0^\infty \mathcal{N}(y;\mu,\sigma^2)\mathcal{U}(\sigma^2;a,b)d\sigma^2 \\ &= \frac{1}{b-a} \underbrace{\int_a^b \mathcal{N}(y;\mu,\sigma^2)}_\text{not a Gaussian density} \end{align}$$

La réponse acceptée contient une preuve formelle ou informelle ou des indications.

Votre conjecture semble être vraie: seule une variance constante peut conduire à une marge normale. Ma preuve se limite au cas où l'espérance est connue et peut donc être supposée nulle. Pour le cas général, des arguments plus sophistiqués de l'analyse fonctionnelle semblent nécessaires.$\boldsymbol{\mu}$

Notez que la question porte sur le mélange continu de normales ainsi que sur Bayes. La déclaration a prouvé ici qu'un mélange d'échelle (continue) de normales ne peut être normal que pour un mélange trivial.

Considérons d'abord le cas d'une normale unidimensionnelle avec une moyenne et un paramètre de précision connus . Sans perte de généralité, nous pouvons supposer que le paramètre est la précision lui-même. Si la distribution marginale de est normale, alors est une densité normale jusqu'à une constante multiplicative. Cette densité étant une fonction paire de doit prendre la forme pour certains et certains constants . Étant donné que cela vaut pour tout$\mu = 0$$\omega := 1 / \Sigma >0$$\boldsymbol{\theta}$$\omega$$y$$\int \exp\{-y^2 \omega / 2\}\,\omega^{1/2} p(\omega)\,\text{d}\omega$$y$$c\exp\{ -y^2 \omega_0 / 2\}$$\omega_0 >0$$c >0$$y$on obtient avec pour tout , ce qui montre que la mesure finie avec fonction de densité est proportionnelle à la masse de Dirac à car ces deux mesures ont la même transformée de Laplace, jusqu'à une constante multiplicative. Ainsi, est presque sûrement (comme) égal à . $s := y^2$

$$\int_0^\infty \exp\{-s \omega \,/ 2\}\,\omega^{1/2} p(\omega)\text{d}\omega = c \exp\{ -s \omega_0 \,/ 2\}$$ $s \geq 0$$\omega \mapsto \omega^{1/2} p(\omega)$$\omega_0$$\omega$$\omega_0$

Cette preuve s'étend à la normale dimensionnelle avec un zéro moyen et une matrice de précision . La marge s'écrit ensuite comme où l'intégrale est sur l'ensemble de symétrique définie positive matrices. Si cette intégrale est identique à , alors en prenant pour un scalaire et un vecteur arbitraire$d$$\boldsymbol{\Omega}:=\boldsymbol{\Sigma}^{-1}$$\propto \int \exp\{-\mathbf{y}^\top \boldsymbol{\Omega}\,\mathbf{y} \,/ 2\}\, \left|\boldsymbol{\Omega}\right|^{1/2}p(\boldsymbol{\Omega})\,\text{d}\boldsymbol{\Omega}$$\mathcal{P}$$d \times d$$c\exp\{ -\mathbf{y}^\top \boldsymbol{\Omega}_0 \mathbf{y} / 2\}$$\mathbf{y}:= \sqrt{s} \,\boldsymbol{u}$$s \geq 0$$\mathbf{u}$ , nous trouvons comme ci-dessus que doit être aussi égal à , qui montre que est aussi égal à . La preuve fonctionne même si la mesure écrite commodément comme ayant la densité concentre sur un sous-ensemble de avec Lebesgue mesure zéro, car l'argument de transformation de Laplace s'applique toujours. La preuve fonctionne donc pour une paramétrisation générale de la matrice de précision (ou variance).$\mathbf{u}^\top \boldsymbol{\Omega}\, \mathbf{u}$$\mathbf{u}^\top \boldsymbol{\Omega}_0 \mathbf{u}$$\boldsymbol{\Omega}$$\boldsymbol{\Omega}_0$$|\boldsymbol{\Omega}|^{1/2} p(\boldsymbol{\Omega})$$\mathcal{P}$

Supposons que et sont a priori indépendants et que a une marge normale avec une moyenne et une variance . Je prouverai alors que la variance doit être constante, et que la moyenne doit avoir un a priori normal (éventuellement dégénéré).$\mu$$\Sigma$$y$$\mu_0$$\Sigma_0$$\Sigma$$\mu$

Je vais m'en tenir au cas unidimensionnel pour plus de simplicité, en utilisant la fonction caractéristique (cf) de , c'est-à-dire . Nous savons que } et une formule similaire s'applique à la distribution de conditionnelle à et , ce qui est normal par hypothèse. Donc pour tout vrai et en réorganisant l'intégrale, nous devons avoir $y$$\phi_y(t) := \mathbb{E}[e^{yit}]$$\phi_y(t) = \exp\{\mu_0 it - \Sigma_0 t^2 /2$$y$$\mu$$\Sigma$$t$

$$\mathbb{E}[e^{yit}] = \int \mathbb{E}\left[e^{yit} \, \vert \,\mu,\,\Sigma\right]\, p(\mu) p(\Sigma) \,\text{d}\mu \text{d} \Sigma = \int \exp\left\{ \mu it - \Sigma t^2/2 \right\} \,p(\mu) p(\Sigma) \,\text{d}\mu \text{d}\Sigma,$$ $$\exp\left\{ \mu_0 it - \Sigma_0 t^2 /2 \right\} = \left[\int \exp\left\{ \mu it \right\} p(\mu) \,\text{d}\mu \right] \left[\int \exp\left\{ -\Sigma t^2/2\right\} p(\Sigma) \,\text{d}\Sigma \right].$$ Les hypothèses nécessaires à un tel réarrangement sont facilement vérifiables.

La première intégrale à droite, disons , est le cf de . Notez que puisque se trouve être réel, nous voyons que la distribution de est symétrique par rapport à , et donc que , comme cela aurait pu être prévu.$\phi_1(t)$$\mu$$\phi_1(t) e^{-\mu_0 it}$$\mu$$\mu_0$$\mathbb{E}[\mu] = \mu_0$

Maintenant, il s'avère que la deuxième intégrale à droite, disons , est aussi un cf Pour voir cela, nous devons vérifier que , que est continu à et aussi que la fonction est définie positive (pd). La première exigence est évidente, la seconde est prouvée par la convergence dominée. Passons maintenant à l'exigence de pd: si la distribution précédente écrite comme est une masse de Dirac, alors est pd car est alors le cf d'une distribution normale. Si l'a priori est un mélange discret de masses de Dirac, cela est également vrai puisque$\phi_2(t)$$\phi_2(0) = 1$$\phi_2$$t=0$$\phi_2$$p(\Sigma)\text{d}\Sigma$$\phi_2$$\phi_2$$\phi_2$est alors le cf d'un mélange de normales. Par un argument de continuité, nous voyons que est pd$\phi_2$

maintenant le puissant théorème de Lévy-Cramér qui dit que les deux fonctions pour , doivent prendre la forme avec real et . Donc doit être normal (éventuellement dégénéré) avec une moyenne . Par algèbre simple on a alors qui vaut pour tout réel . Puisque tout réel non négatif s'écrit comme , nous voyons que la transformée de Laplace du prieur de$\phi_j$$j=1$$2$$\exp\{a_j i t - b_jt^2 /2 \}$$a_j$$b_j \geq 0$$\mu$$a_1 = \mu_0$

$$\exp\{ -(\Sigma_0 - b_1) t^2 /2 \} = \int_0^\infty \exp\{ - \Sigma t^2 /2\} p(\Sigma) \, \text{d} \Sigma$$ $t$$t^2/2$$\Sigma$doit être égal à celui de la masse de Dirac à et nous avons terminé.$\Sigma_0 - b_1$

J'ai une proposition de preuve pour vous, mais vous devez la vérifier.

Supposons que la vraisemblance marginale soit gaussienne:

$p(y)=\mathcal{N}(y,m,\Gamma)$

alors la densité antérieure peut être définie par

$p(\theta)=\mathcal{N}(y,\mu(\theta),\Sigma(\theta))^{-1}\mathcal{N}(y,m,\Gamma)f(\theta)$

où vérifie et pour . ( est ).$f$$\int_{\theta\in\Theta}f(\theta)d\theta =1$$f(\theta)\geq 0$$\theta\in\Theta$$f(\theta)$$p(\theta|y)$

Pour être une densité, l'intégrale de la densité antérieure sur doit être égale à 1. En d'autres termes,$p(\theta)$$\Theta$

$\int_{\theta\in\Theta}\mathcal{N}(y,\mu(\theta),\Sigma(\theta))^{-1}\mathcal{N}(y,m,\Gamma)f(\theta)d\theta =1$ .

Cela mène à

$\int_{\theta\in\Theta}\mathcal{N}(y,\mu(\theta),\Sigma(\theta))^{-1}\mathcal{N}(y,m,\Gamma)f(\theta)d\theta = \int_{\theta\in\Theta}f(\theta)d\theta$

Cette égalité étant vraie si et seulement si et .$\mu(\theta)=m$$\Sigma(\theta)=\Gamma$