Relation entre Bayes variationnels et EM

J'ai lu quelque part que la méthode variationnelle de Bayes est une généralisation de l'algorithme EM. En effet, les parties itératives des algorithmes sont très similaires. Afin de tester si l'algorithme EM est une version spéciale des Bayes variationnels, j'ai essayé ce qui suit:

$Y$ est des données, est la collection de variables latentes et est les paramètres. Dans les Bayes variationnels que nous faisons, nous pouvons faire une approximation telle que . Où s sont des distributions plus simples et exploitables. $X$ $\Theta$ $P(X,\Theta|Y) \approx Q_X(X)Q_\Theta(\Theta)$ $Q$
Puisque l'algorithme EM trouve une estimation de point MAP, je pensais que les Bayes variationnels peuvent converger vers EM si j'utilise une fonction Delta telle que: . est la première estimation des paramètres, comme c'est généralement le cas dans EM. $Q^1_\Theta(\Theta)=\delta_{\Theta^1}(\Theta)$ $\Theta_1$
Lorsque est donné, qui minimise la divergence KL est trouvé par la formule La formule ci-dessus se simplifie en , cette étape se révèle être l'équivalent de l'étape Attente de l'algorithme EM! $Q^1_\Theta(\Theta)=\delta_{\Theta^1}(\Theta)$ $Q^1_X(X)$
$Q_{X}^{1} (X) = \frac{\exp (E_{δ_{Θ^{1}}} [\ln P (X, Y, Θ)])}{\int \exp (E_{δ_{Θ^{1}}} [\ln P (X, Y, Θ)]) d X}$ $Q^1_X(X)=\frac{\exp(E_{\delta_{\Theta^1}}[\ln P(X,Y,\Theta)])}{\int\exp(E_{\delta_{\Theta^1}}[\ln P(X,Y,\Theta)])dX}$ $Q^1_X(X)=P(X|\Theta^1,Y)$

Mais je ne peux pas dériver l'étape de maximisation comme la continuation de cela. Dans l'étape suivante, nous devons calculer et selon la règle d'itération variationnelle Bayes, c'est: $Q^2_\Theta(\Theta)$

Q_{Θ}^{2} (Θ) = \frac{\exp (E_{P (X | Θ^{1}, Y)} [\ln P (X, Y, Θ)])}{\int \exp (E_{P (X | Θ^{1}, Y)} [\ln P (X, Y, Θ)]) d Θ}

$Q^2_\Theta(\Theta)=\frac{\exp(E_{P(X|\Theta^1,Y)}[\ln P(X,Y,\Theta)])}{\int\exp(E_{P(X|\Theta^1,Y)}[\ln P(X,Y,\Theta)])d\Theta}$

Les algorithmes VB et EM sont-ils vraiment connectés de cette manière? Comment pouvons-nous dériver EM comme un cas particulier des Bayes variationnels, mon approche est-elle vraie?

bayesian expectation-maximization variational-bayes

— Ufuk Can Bicici
source

Où avez-vous lu que l'algorithme EM trouve une estimation MAP? La relation entre l'inférence variationnelle et la MÉ deviendra claire une fois que vous comprendrez la vue de la MÉ présentée dans cet article par Neal et Hinton (1998) . Voir aussi ma réponse ici .

— Lucas

Je pense que j'ai appris l'algorithme EM de la même manière que cet article l'explique, il est considéré comme un problème de maximisation de la limite inférieure. En utilisant l'égalité de Jensen et le calcul des variations, on trouve que dans l'étape d'attente, est la distribution qui maximise la borne inférieure de et dans l'étape de maximisation, on trouve , qui est un maximum sur la limite inférieure. Donc, c'est similaire aux Bayes variationnels. (Et il converge vers un maximum local du marginal postérieur, d'où une estimation MAP)

P (X | Θ^{t}, Y)

$P(X|\Theta^t,Y)$

Θ^{t}

$\Theta^t$

Θ^{t + 1} = a r g m a x_{Θ} < \ln P (X, Y, Θ) >_{P (X | Θ^{t}, Y)}

$\Theta^{t+1} = arg max_{\Theta} <\ln P(X,Y,\Theta)>_{P(X|\Theta^t,Y)}$

— Ufuk Can Bicici

Toutes mes excuses, je n'ai pas lu votre question suffisamment attentivement. Je crois que votre étape de maximisation pour calculer n'est valide que si vous autorisez une distribution, c'est-à-dire si vous ne faites que l'hypothèse de factorisation. Mais vous avez également supposé que est une distribution delta. Essayez de maximiser explicitement la borne inférieure par rapport à , le paramètre de .

Q_{Θ}^{2}

$Q_\Theta^2$

Q_{Θ}^{2}

$Q_\Theta^2$

Θ^{2}

$\Theta^2$

Q_{Θ}^{2} (Θ) = δ_{Θ^{2}} (Θ)

$Q_\Theta^2(\Theta) = \delta_{\Theta^2}(\Theta)$

— Lucas

J'ai trouvé à la page 21 de la présentation cs.cmu.edu/~tom/10-702/Zoubin-702.pdf une comparaison de EM et VB a été montrée, de même en utilisant la fonction Dirac. Mais comment VB se réduit à EM n'est pas donné.

— Ufuk Can Bicici

Votre approche est correcte. EM est équivalent à VB sous la contrainte que la postérieure approximative de est contrainte d'être une masse ponctuelle. (Ceci est mentionné sans preuve à la page 337 de l'analyse des données bayésiennes .) Soit l'emplacement inconnu de cette masse ponctuelle: VB sera minimiser la divergence KL suivante: Le minimum sur donne le pas E de EM, et le minimum sur donne le pas M de EM. $\Theta$ $\Theta^*$

Q_{Θ} (Θ) = δ (Θ - Θ^{*})

$Q_\Theta(\Theta) = \delta(\Theta - \Theta^*)$

K L (Q | | P) = \int \int Q_{X} (X) Q_{Θ} (Θ) \ln \frac{Q_{X} (X) Q_{Θ} (Θ)}{P (X, Y, Θ)} d X d Θ = \int Q_{X} (X) \ln \frac{Q_{X} (X) Q_{Θ} (Θ^{*})}{P (X, Y, Θ^{*})} d X

$KL(Q||P)=\int \int Q_X(X) Q_\Theta(\Theta) \ln \frac{Q_X(X) Q_\Theta(\Theta)}{P(X,Y,\Theta)} dX d\Theta \\ = \int Q_X(X) \ln \frac{Q_X(X) Q_\Theta(\Theta^*)}{P(X,Y,\Theta^*)} dX$

Q_{X} (X)

$Q_X(X)$

Θ^{*}

$\Theta^*$

Bien sûr, si vous deviez réellement évaluer la divergence KL, ce serait infini. Mais ce n'est pas un problème si vous considérez la fonction delta comme une limite.

— Tom Minka
source

Techniquement, maximiser wrt correspond à l'étape M de MAP-EM (avec antérieur ). - section 3.1 du journal VBEM

E_{Q_{x}} [\ln P (X, Y, Θ^{*})] = E_{Q_{x}} [\ln P (X, Y | Θ^{*})] + \ln P (Θ^{*})

$\mathbb{E}_{Q_x}[\ln P(X, Y, \Theta^*)] = \mathbb{E}_{Q_x}[\ln P(X, Y | \Theta^*)] + \ln P(\Theta^*)$

Θ^{*}

$\Theta^*$

P (Θ^{*})

$P(\Theta^*)$

— Yibo Yang