Postérieure normale multivariée

C'est une question très simple mais je ne trouve la dérivation nulle part sur Internet ou dans un livre. J'aimerais voir comment un bayésien met à jour une distribution normale multivariée. Par exemple: imaginez que

\begin{array}{rcl} P (x | μ, Σ) & = & N (μ, Σ) \\ P (μ) & = & N (μ_{0}, Σ_{0}) . \end{array}

$\begin{array}{rcl} \mathbb{P}({\bf x}|{\bf μ},{\bf Σ}) & = & N({\bf \mu}, {\bf \Sigma}) \\ \mathbb{P}({\bf \mu}) &= & N({\bf \mu_0}, {\bf \Sigma_0})\,. \end{array}$

Après avoir observé un ensemble de ${\bf x_1 ... x_n}$ , je voudrais calculer $\mathbb{P}({\bf \mu | x_1 ... x_n})$ . Je sais que la réponse est $\mathbb{P}({\bf \mu | x_1 ... x_n}) = N({\bf \mu_n}, {\bf \Sigma_n})$ où

\begin{array}{rcl} μ_{n} & = & Σ_{0} {(Σ_{0} + \frac{1}{n} Σ)}^{- 1} (\frac{1}{n} \sum_{i = 1}^{n} x_{i}) + \frac{1}{n} Σ {(Σ_{0} + \frac{1}{n} Σ)}^{- 1} μ_{0} \\ Σ_{n} & = & Σ_{0} {(Σ_{0} + \frac{1}{n} Σ)}^{- 1} \frac{1}{n} Σ \end{array}

$\begin{array}{rcl} \bf \mu_n &=& \displaystyle\Sigma_0 \left(\Sigma_0 + \frac{1}{n}\Sigma\right)^{-1}\left(\frac{1}{n}\sum_{i=1}^{n}{\bf x_i}\right) + \frac{1}{n}\Sigma\left(\Sigma_0+\frac{1}{n}\Sigma\right)^{-1}\mu_0 \\ \bf \Sigma_n & =&\displaystyle \Sigma_0\left(\Sigma_0 + \frac{1}{n}\Sigma\right)^{-1}\frac{1}{n}\Sigma \end{array}$

Je recherche la dérivation de ce résultat avec toute l'algèbre matricielle intermédiaire.

Toute aide est très appréciée.

— Alex
source

Il est également résolu dans notre livre Bayesian Core , Chap. 3, Section 3.2, pages 54-57 avec ce que nous pensons être une algèbre matricielle détaillée!

— Xi'an

Le PO a déclaré que ce n'était pas un problème de devoirs et a même expliqué pourquoi il l'avait demandé et comment il voulait utiliser la réponse. Pourquoi ne pas l'afficher pour les autres? Je comprends pourquoi nous ne voulons pas fournir un service de résolution de problèmes de devoirs mais cela va un peu trop loin.

— Michael R. Chernick

@Alex: Désolé, mauvais lien, je voulais dire Bayesian Core . Notez que nous avons également publié des solutions à tous les problèmes sur arXiv . Donc, publier une solution complète ici ne ferait pas de mal!

— Xi'an

J'ai supprimé la partie des commentaires qui équivaut à un échange privé entre des particuliers avec un arrangement pour partager une réponse privée à la question. Ce genre de chose abuse de ce site, qui est tout au sujet des questions publiques et des réponses publiques .

— whuber

Tout comme un FYI, la dérivation est dans la classification de modèle par Duda, Hart et Stork. Cependant, j'avais du mal à suivre certaines de leurs étapes, ce qui ne m'importe que. S'il s'agissait simplement de devoirs, on pourrait simplement écrire exactement ce qu'ils ont.

— Alex

Avec les distributions sur nos vecteurs aléatoires:

$\mathbf x_i | \mathbf \mu \sim N(\mu , \mathbf \Sigma)$

$\mathbf \mu \sim N(\mathbf \mu_0, \mathbf \Sigma_0)$

Selon la règle de Bayes, la distribution postérieure ressemble à:

$p(\mu| \{\mathbf x_i\}) \propto p(\mu) \prod_{i=1}^N p(\mathbf x_i | \mu)$

Donc:

$\ln p(\mu| \{\mathbf x_i\}) = -\frac{1}{2}\sum_{i=1}^N(\mathbf x_i - \mu)'\mathbf \Sigma^{-1}(\mathbf x_i - \mu) -\frac{1}{2}(\mu - \mu_0)'\mathbf \Sigma_0^{-1}(\mu - \mu_0) + const$

$= -\frac{1}{2} N \mu' \mathbf \Sigma^{-1} \mu + \sum_{i=1}^N \mu' \mathbf \Sigma^{-1} \mathbf x_i -\frac{1}{2} \mu' \mathbf \Sigma_0^{-1} \mu + \mu' \mathbf \Sigma_0^{-1} \mu_0 + const$

$= -\frac{1}{2} \mu' (N \mathbf \Sigma^{-1} + \mathbf \Sigma_0^{-1}) \mu + \mu' (\mathbf \Sigma_0^{-1} \mu_0 + \mathbf \Sigma^{-1} \sum_{i=1}^N \mathbf x_i) + const$

$= -\frac{1}{2}(\mu - (N \mathbf \Sigma^{-1} + \mathbf \Sigma_0^{-1})^{-1}(\mathbf \Sigma_0^{-1} \mu_0 + \mathbf \Sigma^{-1} \sum_{i=1}^N \mathbf x_i))' (N \mathbf \Sigma^{-1} + \mathbf \Sigma_0^{-1}) (\mu - (N \mathbf \Sigma^{-1} + \mathbf \Sigma_0^{-1})^{-1}(\mathbf \Sigma_0^{-1} \mu_0 + \mathbf \Sigma^{-1} \sum_{i=1}^N \mathbf x_i)) + const$

Which is the log density of a Gaussian:

$\mu| \{\mathbf x_i\} \sim N((N \mathbf \Sigma^{-1} + \mathbf \Sigma_0^{-1})^{-1}(\mathbf \Sigma_0^{-1} \mu_0 + \mathbf \Sigma^{-1} \sum_{i=1}^N \mathbf x_i), (N \mathbf \Sigma^{-1} + \mathbf \Sigma_0^{-1})^{-1})$

Using the Woodbury identity on our expression for the covariance matrix:

$(N \mathbf \Sigma^{-1} + \mathbf \Sigma_0^{-1})^{-1} = \mathbf \Sigma(\frac{1}{N} \mathbf \Sigma + \mathbf \Sigma_0)^{-1} \frac{1}{N} \mathbf \Sigma_0$

Which provides the covariance matrix in the form the OP wanted. Using this expression (and its symmetry) further in the expression for the mean we have:

$\mathbf \Sigma(\frac{1}{N} \mathbf \Sigma + \mathbf \Sigma_0)^{-1} \frac{1}{N} \mathbf \Sigma_0 \mathbf \Sigma_0^{-1} \mu_0 + \frac{1}{N} \mathbf \Sigma_0(\frac{1}{N} \mathbf \Sigma + \mathbf \Sigma_0)^{-1} \mathbf \Sigma \mathbf \Sigma^{-1} \sum_{i=1}^N \mathbf x_i$

$= \mathbf \Sigma(\frac{1}{N} \mathbf \Sigma + \mathbf \Sigma_0)^{-1} \frac{1}{N} \mu_0 + \mathbf \Sigma_0(\frac{1}{N} \mathbf \Sigma + \mathbf \Sigma_0)^{-1} \sum_{i=1}^N (\frac{1}{N} \mathbf x_i)$

Which is the form required by the OP for the mean.

— conjectures
source