Dérivation de Normal-Wishart postérieur


11

Je travaille sur la dérivation d'un postérieur de Normal-Wishart mais je suis bloqué sur l'un des paramètres (le postérieur de la matrice d'échelle, voir en bas).

Juste pour le contexte et l'exhaustivité, voici le modèle et le reste des dérivations:

xiN(μ,Λ)μN(μ0,(κ0Λ)1)ΛW(υ0,W0)

Les formes étendues de chacun des trois facteurs sont (jusqu'à une constante de proportionnalité) sont:

  • Probabilité:

    N(xi|μ,Λ)|Λ|N/2exp(12i=1N(xiTΛxi2μTΛxi+μTΛμ))
  • Priorité normale:

    N(μ|(μ0,κ0Λ)1)|Λ|1/2exp(12(μTκ0Λμ2μTκ0Λμ0+μ0Tκ0Λμ0))
  • Priorité de Wishart:

    W(Λ|υ0,W0)|Λ|υ0D12exp(12tr(W01Λ))

Nous voulons le Normal-Wishart postérieur ( ) qui peut être décomposé ainsi que N ( μ | μ , κ Λ ) W ( Λ | υ , W ′) ) :μ,Λ|μ,κ,υ,WN(μ|μ,κΛ)W(Λ|υ,W)

Dégressivité υ

En fusionnant les premiers facteurs de la probabilité et le Wishart, nous obtenons le premier facteur du facteur Wishart dans la partie postérieure: et donc on a le premier paramètre de la postérieure: υ=υ0+N

|Λ|υ0+ND12
υ=υ0+N

Facteur d'échelle κ

Nous identifions les éléments entourés de et μ pour trouver qui l'a priori κ 0 Λ est mis à jour par la vraisemblance: μ T ( ( κ 0 + N ) Λ ) μ et nous avons donc obtenu le deuxième paramètre: κ = κ 0 + NμTμκ0Λ

μT((κ0+N)Λ)μ
κ=κ0+N

Moyenne μ

2μT...

2μT(ΛNx¯+κ0Λμ0)=2μTκΛμ(ΛNx¯+κ0Λμ0)=κΛμ(Nx¯+κ0μ0)=κμ
μ=1k(Nx¯+κ0μ0)

W

tr(W1Λ)=tr(W01Λ)+i=1NxiTΛxi+μ0Tκ0Λμ0=tr(W01Λ)+i=1Ntr(xiTΛxi)+tr(μ0Tκ0Λμ0)=tr(W01Λ+i=1NxiTΛxi+μ0Tκ0Λμ0)

W

Modifier 1 :

tr(W1Λ)=tr(W1Λ+i=1N(xiTΛxi+x¯TΛx¯2xiTΛx¯)+κ0(μ0TΛμ0+x¯TΛx¯2x¯TΛμ0)i=1Nx¯TΛx¯+2i=1NxiTΛx¯κ0x¯TΛx¯+2κ0x¯TΛμ0)=tr(W1Λ+i=1N(xix¯)Λ(xix¯)T+κ0(x¯μ0)Λ(x¯μ0)TNx¯Λx¯T+2Nx¯Λx¯Tκ0x¯Λx¯T+2κ0x¯Λμ0T)

tr(W1Λ)=tr(W1Λ+i=1N(xix¯)TΛ(xix¯)+κ0(x¯μ0)TΛ(x¯μ0)+(Nκ0)x¯TΛx¯+2κ0x¯TΛμ0)

Edit 2 ( suivi grâce à la réponse de @bdeonovic )

tr(ABC)=tr(BCA)=tr(CAB)

tr(W1Λ)=tr(W1Λ+i=1N(xix¯)(xix¯)TΛ+κ0(x¯μ0)(x¯μ0)TΛ+(Nκ0)x¯x¯TΛ+2κ0x¯μ0TΛ)
tr(W1)=tr(W1+i=1N(xix¯)(xix¯)T+κ0(x¯μ0)(x¯μ0)T+(Nκ0)x¯x¯T+2κ0x¯μ0T)

W1+i=1N(xix¯)(xix¯)T+κ0Nκ0+N(x¯μ0)(x¯μ0)T

Réponses:


4

tr(ABC)=tr(BCA)=tr(CAB)tr(A+B)=tr(A)+tr(B)Λ

W1=W1+i=1Nxixi+μ0μ0

Merci! pourtant, je ne vois pas comment aller de là aux résultats standard ( en.wikipedia.org/wiki/Conjugate_prior ) qui contient et . Je n'ai même pas de signes négatifs: O(xix¯)x¯μ0
alberto

3

La probabilité avant est ×

|Λ|N/2exp{12(i=1NxiTΛxiNx¯TΛμμTΛNx¯+NμTΛμ)}×|Λ|(ν0D1)/2exp{12tr(W01Λ)}×|Λ|1/2exp{κ02(μTΛμμTΛμ0μ0TΛμ+μ0TΛμ0)}.
Cela peut être réécrit sous la forme Nous pouvons réécrire
|Λ|1/2|Λ|(ν0+ND1)/2×exp{12((κ0+N)μTΛμμTΛ(κ0μ0+Nx¯)(κ0μ0+Nx¯)TΛμ+κ0μ0TΛμ0+i=1NxiTΛxi+tr(W01Λ))}
(κ0+N)μTΛμμTΛ(κ0μ0+Nx¯)(κ0μ0+Nx¯)TΛμ+κ0μ0TΛμ0+i=1NxiTΛxi+tr(W01Λ)
comme suit en ajoutant et en soustrayant un terme:
(κ0+N)μTΛμμTΛ(κ0μ0+Nx¯)(κ0μ0+Nx¯)TΛμ+1κ0+N(κ0μ0+Nx¯)TΛ(κ0μ0+Nx¯)1κ0+N(κ0μ0+Nx¯)TΛ(κ0μ0+Nx¯)+κ0μ0TΛμ0+i=1NxiTΛxi+tr(W01Λ).
Les deux premières lignes factorisent désormais
(κ0+N)(μκ0μ+Nx¯κ0+N)TΛ(μκ0μ+Nx¯κ0+N).

Ajouter et soustraire , comme suit: peut être réécrit comme Nx¯TΛx¯

1κ0+N(κ0μ0+Nx¯)TΛ(κ0μ0+Nx¯)+κ0μ0TΛμ0+i=1NxiTΛxi+tr(W01Λ)
i=1N(xiTΛxixiTΛx¯x¯TΛxi+x¯TΛx¯)+Nx¯TΛx¯+κ0μ0TΛμ01κ0+N(κ0μ0+Nx¯)TΛ(κ0μ0+Nx¯)+tr(W01Λ).
Le terme somme
i=1N(xiTΛxixiTΛx¯x¯TΛxi+x¯TΛx¯)
est égal à Maintenant peut être développé comme
i=1N(xix¯)TΛ(xix¯).
Nx¯TΛx¯+κ0μ0TΛμ01κ0+N(κ0μ0+Nx¯)TΛ(κ0μ0+Nx¯)
Nx¯TΛx¯+κ0μ0TΛμ01κ0+N(κ02μ0TΛμ0+Nκ0μ0TΛx¯0+Nκ0x¯TΛμ0+N2x¯TΛx¯),
ce qui équivaut à
Nκ0κ0+N(x¯TΛx¯x¯TΛμ0μ0TΛx¯+μ0TΛμ0)=Nκ0κ0+N(x¯μ0)TΛ(x¯μ0).

Les deux termes suivants sont des scalaires: Et tout scalaire est égal à sa trace, donc

i=1N(xix¯)TΛ(xix¯),Nκ0κ0+N(x¯μ0)TΛ(x¯μ0).
tr(W01Λ)+i=1N(xix¯)TΛ(xix¯)+Nκ0κ0+N(x¯μ0)TΛ(x¯μ0)
peut être réécrit en Puisque , la somme ci-dessus est égale à
tr(W01Λ)+tr(i=1N(xix¯)TΛ(xix¯))+tr(Nκ0κ0+N(x¯μ0)TΛ(x¯μ0)).
tr(ABC)=tr(CAB)
tr(W01Λ)+tr(i=1N(xix¯)(xix¯)TΛ)+tr(Nκ0κ0+N(x¯μ0)(x¯μ0)TΛ).
En utilisant le fait que , nous pouvons réécrire la somme comme tr(A+B)=tr(A)+tr(B)
tr(W01Λ+i=1N(xix¯)(xix¯)TΛ+Nκ0κ0+N(x¯μ0)(x¯μ0)TΛ)=tr((W01+i=1N(xix¯)(xix¯)T+Nκ0κ0+N(x¯μ0)(x¯μ0)T)Λ).

En mettant tout cela ensemble, si nous laissons nous avons que la probabilité avant est égale à S=i=1N(xix¯)(xix¯)T×

|Λ|1/2exp{κ0+N2(μκ0μ+Nx¯κ0+N)TΛ(μκ0μ+Nx¯κ0+N)}×|Λ|(ν0+ND1)/2exp{12tr((W01+S+Nκ0κ0+N(x¯μ0)(x¯μ0)T)Λ)},
comme requis.
En utilisant notre site, vous reconnaissez avoir lu et compris notre politique liée aux cookies et notre politique de confidentialité.
Licensed under cc by-sa 3.0 with attribution required.