Estimation de la distribution postérieure de la covariance d'un gaussien multivarié

15

J'ai besoin "d'apprendre" la distribution d'un gaussien bivarié avec peu d'échantillons, mais une bonne hypothèse sur la distribution précédente, donc je voudrais utiliser l'approche bayésienne.

J'ai défini mon avant:

P (μ) \sim N (μ_{0}, Σ_{0})

$\mathbf{P}(\mathbf{\mu}) \sim \mathcal{N}(\mathbf{\mu_0},\mathbf{\Sigma_0})$

μ_{0} = [\begin{matrix} 0 \\ 0 \end{matrix}] Σ_{0} = [\begin{matrix} 16 & 0 \\ 0 & 27 \end{matrix}]

$\mathbf{\mu_0} = \begin{bmatrix} 0 \\ 0 \end{bmatrix} \ \ \ \mathbf{\Sigma_0} = \begin{bmatrix} 16 & 0 \\ 0 & 27 \end{bmatrix}$

Et ma distribution étant donnée l'hypothèse

P (x | μ, Σ) \sim N (μ, Σ)

$\mathbf{P}(x|\mathbf{\mu},\mathbf{\Sigma}) \sim \mathcal{N}(\mathbf{\mu},\mathbf{\Sigma})$

μ = [\begin{matrix} 0 \\ 0 \end{matrix}] Σ = [\begin{matrix} 18 & 0 \\ 0 & 18 \end{matrix}]

$\mathbf{\mu} = \begin{bmatrix} 0 \\ 0 \end{bmatrix} \ \ \ \mathbf{\Sigma} = \begin{bmatrix} 18 & 0 \\ 0 & 18 \end{bmatrix}$

Maintenant je sais grâce à ici que pour estimer la moyenne étant donné les données

P (μ | x_{1}, \dots, x_{n}) \sim N ({\hat{μ}}_{n}, {\hat{Σ}}_{n})

$\mathbf{P} (\mathbf{\mu} | \mathbf{x_1}, \dots , \mathbf{x_n}) \sim \mathcal{N}(\mathbf{\hat{\mu}_n}, \mathbf{\hat{\Sigma}_n})$

Je peux calculer:

{\hat{μ}}_{n} = Σ_{0} {(Σ_{0} + \frac{1}{n} Σ)}^{- 1} (\frac{1}{n} \sum_{i = 1}^{n} x_{i}) + \frac{1}{n} Σ {(Σ_{0} + \frac{1}{n} Σ)}^{- 1} μ_{0}

$\mathbf{\hat{\mu}_n} = \mathbf{\Sigma_0} \left( \mathbf{\Sigma_0} + {1 \over n} \mathbf{\Sigma} \right) ^ {-1} \left( {1 \over n} \sum_{i=1}^{n} \mathbf{x_i} \right) + {1 \over n} \mathbf{\Sigma} \left( \mathbf{\Sigma_0} + {1 \over n} \mathbf{\Sigma} \right) ^{-1} \mathbf{\mu_0}$

{\hat{Σ}}_{n} = \frac{1}{n} Σ_{0} {(Σ_{0} + \frac{1}{n} Σ)}^{- 1} Σ

$\mathbf {\hat{\Sigma}_n} = {1 \over n} \mathbf{\Sigma_0} \left( \mathbf{\Sigma_0} + {1 \over n} \mathbf{\Sigma} \right) ^{-1} \mathbf{\Sigma}$

Vient maintenant la question, peut-être que je me trompe, mais il me semble que n'est que la matrice de covariance pour le paramètre estimé , et non la covariance estimée de mes données. Ce que je voudrais serait de calculer aussi $\mathbf{\Sigma_n}$ $\mathbf{\mu_n}$

P (Σ_{n_{1}} | x_{1}, \dots, x_{n})

$\mathbf{P} (\mathbf{\Sigma_{n_1}} | \mathbf{x_1}, \dots , \mathbf{x_n})$

afin d'avoir une distribution entièrement spécifiée tirée de mes données.

Est-ce possible? Est-il déjà résolu par le calcul de $\mathbf{\Sigma_n}$ et est-il simplement exprimé de manière erronée la formule ci-dessus (ou je me contente de l'interpréter)? Des références seraient appréciées. Merci beaucoup.

ÉDITER

D'après les commentaires, il est apparu que mon approche était "fausse", dans le sens où je supposais une covariance constante, définie par . Ce dont j'ai besoin serait de mettre aussi un prior dessus, , mais je ne sais pas quelle distribution je dois utiliser, et par la suite quelle est la procédure pour la mettre à jour. $\mathbf{\Sigma}$ $\mathbf{P}(\mathbf{\Sigma})$

— unziberla
source

Vous avez déjà spécifié la covariance de vos données sous la forme - et vous n'avez pas spécifié de distribution préalable pour la mise à jour de?

Σ = [\begin{matrix} 18 & 0 \\ 0 & 18 \end{matrix}]

$\mathbf{\Sigma} = \begin{bmatrix} 18 & 0 \\ 0 & 18 \end{bmatrix}$

— Corone

Je vois ce que tu veux dire. Donc, avec mon approche, j'ai supposé que la variance était constante et spécifiée. Si je veux l'estimer, j'ai besoin d'un préalable. Maintenant, mon problème est qu'il n'est pas clair comment le définir, et ce qui serait une distribution appropriée pour cela, mais cela semble être hors de portée de la première question.

P (Σ) \sim F (μ_{Σ}, Σ_{Σ})

$\mathbf{P}(\mathbf{\Sigma}) \sim \mathcal{F} (\mathbf{\mu_{\Sigma}} , \Sigma_{\Sigma})$

— unziberla

Alors changez la question :-)

— Corone

11

Vous pouvez effectuer une mise à jour bayésienne pour la structure de covariance dans le même esprit que vous avez mis à jour la moyenne. Le conjugué a priori pour la matrice de covariance de la normale multivariée est la distribution inverse-Wishart, il est donc logique de commencer par là,

$P(\Sigma) \sim W^{-1}(\mathbf{\Psi}, \nu)$

Ensuite, lorsque vous obtenez votre échantillon de longueur vous pouvez calculer l'estimation de covariance de l'échantillon $X$ $n$ $\Sigma_X = \frac{1}{n}(X-\mu)^\top(X-\mu)$

Cela peut ensuite être utilisé pour mettre à jour votre estimation de la matrice de covariance

$P(\Sigma|X) \sim W^{-1}(n\Sigma_X + \mathbf{\Psi}, n + \nu)$

Vous pouvez choisir d'utiliser la moyenne de cette valeur comme estimation ponctuelle de la covariance (Estimateur moyen postérieur)

$E[\Sigma|X] = \frac{n\Sigma_X + \mathbf{\Psi}}{\nu+n-p-1}$

ou vous pouvez choisir d'utiliser le mode (Maximum A Posteriori Estimator)

$\text{Mode}[\Sigma|X] = \frac{n\Sigma_X + \mathbf{\Psi}}{\nu+n+p+1}$

— Corone
source

Merci beaucoup. Maintenant, je suppose que quelque chose va changer dans mon processus d'estimation. Dans un premier temps, je devrais estimer la covariance avec votre procédure, puis ma distribution étant donné l'hypothèse estimée serait et puisque est estimé et a sa propre distribution, je suis sûr que cela changera en quelque sorte ma formule précédente pour calculer (comme cela se produit sur le MLE gaussien lors de l'utilisation de la variance de l'échantillon).

\hat{Σ}

$\mathbf{\hat{\Sigma}}$

P (X | μ, \hat{Σ})

$\mathbf{P} (\mathbf{X} | \mu, \mathbf{\hat{\Sigma}} )$

\hat{Σ}

$\mathbf{\hat{\Sigma}}$

{\hat{μ}}_{n}

$\mathbf{\hat{\mu}_n}$

— unziberla

L'approche que vous décrivez serait plutôt d'utiliser afin d'avoir une valeur réelle pour la covariance, comme si je la connaissais auparavant. Dans une approche fréquentiste, cela semblerait faux, mais peut-être y a-t-il quelque chose qui me manque du fait que je suppose que le prieur est connu et que cela rend la procédure correcte?

\hat{Σ} = E [Σ | x_{1} \dots x_{n}]

$\mathbf{\hat{\Sigma}} = E[ \Sigma | \mathbf{x_1} \dots \mathbf{x_n} ]$

— unziberla

7

Ok, j'ai trouvé la vraie solution à mon problème. Je le poste même si la bonne réponse à ma question (mal placée) est celle choisie.

Fondamentalement, ma question explique comment estimer la moyenne en connaissant la covariance, et la réponse comment estimer la covariance en connaissant la moyenne. Mais mon problème réel était d'estimer avec les deux paramètres inconnus.

J'ai trouvé la réponse sur Wikipedia avec la dérivation expliquée ici . L'ancien conjugué de la normale multivariée est le normal-inverse-Wishart, qui est essentiellement une distribution sur des normales multivariées.

Les paramètres antérieurs qui doivent être spécifiés sont pour définir la moyenne, pour définir la covariance, et deux valeurs scalaires et qui, je dirais, définissent notre confiance sur l'estimation des deux premiers paramètres respectivement. $\mathbf{\mu}_0$ $\mathbf{\Psi}$ $\kappa_0$ $\nu_0$

La distribution mise à jour après avoir observé échantillons d'une normale à variables a la forme $n$ $p$

P (μ, Σ | X) \sim N I W (\frac{κ_{0} μ_{0} + n \bar{x}}{κ_{0} + n}, κ_{0} + n, ν_{0} + n, Ψ + C + \frac{κ_{0} n}{κ_{0} + n} (\bar{x} - μ_{0}) (\bar{x} - μ_{0})^{T})

$\mathbf{P}(\boldsymbol\mu, \mathbf{\Sigma} | \mathbf{X}) \sim \mathrm{NIW} \left( \frac{\kappa_0\boldsymbol\mu_0+n\mathbf{\bar{x}}}{\kappa_0+n} ,\, \kappa_0+n,\, \nu_0+n ,\, \boldsymbol\Psi + \mathbf{C} + \frac{\kappa_0 n}{\kappa_0+n}(\mathbf{\bar{x}}-\boldsymbol\mu_0)(\mathbf{\bar{x}}-\boldsymbol\mu_0)^T \right)$

où

\bar{x} = \frac{1}{n} \sum_{i = 0}^{n} x_{i}

$\mathbf{\bar{x}} = {1 \over n} \sum_{i=0}^{n} \mathbf{x_i}$

C = \sum_{i = 1}^{n} (x_{i} - \bar{x}) (x_{i} - \bar{x})^{T}

$\mathbf{C} = \sum_{i=1}^n (\mathbf{x_i} - \mathbf{\bar{x}}) (\mathbf{x_i} - \mathbf{\bar{x}})^T$

donc mes paramètres estimés souhaités sont

E (μ | X) = \frac{κ_{0} μ_{0} + n \bar{x}}{κ_{0} + n}

$E (\boldsymbol\mu | \mathbf{X}) = {{\kappa_0\boldsymbol\mu_0+n\mathbf{\bar{x}}} \over{\kappa_0+n} }$

E (Σ | X) = \frac{Ψ + C + \frac{κ_{0} n}{κ_{0} + n} (\bar{x} - μ_{0}) (\bar{x} - μ_{0})^{T}}{ν_{0} + n - p - 1}

$E (\mathbf{\Sigma} | \mathbf{X}) = \frac{ \boldsymbol\Psi + \mathbf{C} + \frac{\kappa_0 n}{\kappa_0+n}(\mathbf{\bar{x}}-\boldsymbol\mu_0)(\mathbf{\bar{x}}-\boldsymbol\mu_0)^T }{ \nu_0 + n - p - 1}$

— unziberla
source