Clarification de la maximisation des attentes

J'ai trouvé un tutoriel très utile concernant l' algorithme EM .

L'exemple et l'image du tutoriel sont tout simplement géniaux.

entrez la description de l'image ici

Question connexe sur le calcul des probabilités comment fonctionne la maximisation des attentes?

J'ai une autre question concernant la façon de connecter la théorie décrite dans le tutoriel à l'exemple.

$g_t$ $\log P(x;\Theta)$ $g_t( \hat{\Theta}^{(t)}) = \log P(x; \hat{\Theta}^{(t)})$

$g_t$

$\hat{\Theta}_A^{(0)} = 0.6$ $\hat{\Theta}_B^{(0)} = 0.5$ $\hat{\Theta}_A^{(1)} = 0.71$ $\hat{\Theta}_B^{(1)} = 0.58$ $\hat{\Theta}^{(0)}$ $\hat{\Theta}^{(1)}$

$Q(z)$ $Q(z)=P(z|x;\Theta)$

Je vous remercie.

— user16168
source

J'ai trouvé ces notes très utiles pour comprendre ce qui se passait dans le matériel supplémentaire.

Je vais répondre à ces questions un peu dans le désordre pour la continuité.

Premièrement: pourquoi

$\theta^{(0)} \ne \theta^{(1)}$

$g_0$ $\log(P(x;\theta))$ $\theta^{(0)}$ $\theta^{(1)}$ $g_0$ $\theta$

Deuxièmement: pourquoi l'inégalité est-elle resserrée quand

Q (z) = P (z | x; θ)

$Q(z) = P(z|x;\theta)$

Il y a un indice dans les notes de bas de page à ce sujet où il est dit,

$y=E[y]$

$Q$ $\frac{P(x, z; \theta)}{Q(z)}$

P (x, z; θ) = P (z | x; θ) P (x; θ)

$P(x, z ; \theta) = P(z | x; \theta) P(x; \theta)$

ce qui fait notre fraction

\frac{P (z | x; θ) P (x; θ)}{P (z | x; θ)} = P (x; θ)

$\frac{P(z | x; \theta) P(x; \theta)}{P(z|x;\theta)} = P(x; \theta)$

$P(x; \theta)$ $z$ $C$

\log (\sum_{z} Q (z) C) \geq \sum_{z} Q (z) \log (C)

$\log{\big( \sum_z{Q(z)C} \big)} \ge \sum_z{Q(z)\log(C)}$

$Q(z)$

$g_t$

La réponse donnée dans les notes que j'ai liées est légèrement différente de celle dans les notes supplémentaires, mais elles ne diffèrent que par une constante et nous la maximisons donc elle n'a pas de conséquence. Celui dans les notes (avec dérivation) est:

g_{t} (θ) = \log (P (x | θ^{(t)})) + \sum_{z} P (z | x; θ^{(t)}) \log (\frac{P (x | z; θ) P (z | θ)}{P (z | x; θ^{(t)}) P (x | θ^{(t)})})

$g_t(\theta) = \log(P(x|\theta^{(t)})) + \sum_z{P(z|x;\theta^{(t)})\log{\big( \frac{P(x|z;\theta)P(z|\theta)}{P(z|x;\theta^{(t)})P(x|\theta^{(t)})} \big)}}$

Cette formule complexe n'est pas abordée en détail dans les notes complémentaires, probablement parce que beaucoup de ces termes seront des constantes qui seront jetées lorsque nous maximiserons. Si vous êtes intéressé par la façon dont nous arrivons ici, je recommande ces notes que j'ai liées.

$g_t(\theta^{(t)})$ $g_t(\theta^{(t)}) = \log P(x|\theta^{(t)})$

— Mike
source