Problème de pratique de l'algorithme EM

Il s'agit d'un problème de pratique pour un examen à mi-parcours. Le problème est un exemple d'algorithme EM. J'ai des problèmes avec la partie (f). J'énumère les parties (a) - (e) à compléter et au cas où j'aurais fait une erreur plus tôt.

Soit des variables aléatoires exponentielles indépendantes avec un taux . Malheureusement, les valeurs réelles ne sont pas observées, et nous observons uniquement si les valeurs tombent dans certains intervalles. Soit , , et pour . Les données observées sont constituées de . $X_1,\ldots,X_n$ $\theta$ $X$ $X$ $G_{1j} = \mathbb{1}\left\{X_j < 1\right\}$ $G_{2j} = \mathbb{1}\left\{1< X_j<2\right\}$ $G_{3j} = \mathbb{1}\left\{X_j > 2\right\}$ $j=1,\ldots,n$ $(G_{1j},G_{2j},G_{3j})$

(a) Donner la probabilité des données observées:

$\begin{align*} L(\theta | G) &= \prod_{j=1}^n \text{Pr}\left\{X_j < 1\right\}^{G_{1j}}\text{Pr}\left\{1<X_j<2 \right\}^{G_{2j}}\text{Pr}\left\{X_j >2\right\}^{G_{3j}}\\ &= \prod_{j=1}^n \left(1-e^{-\theta}\right)^{G_{1j}}\left(e^{-\theta}-e^{-2\theta}\right)^{G_{2j}}\left(e^{-2\theta}\right)^{G_{3j}} \end{align*}$

(b) Donner la probabilité complète des données

$\begin{align*} L(\theta | X,G) &= \prod_{j=1}^n \left(\theta e^{-\theta x_j}\right)^{G_{1j}}\left(\theta e^{-\theta x_j}\right)^{G_{2j}}\left(\theta e^{-\theta x_j}\right)^{G_{3j}} \end{align*}$

$\begin{align*} f(x_j|G,\theta) &= \dfrac{f_{X,G}(x_j, g)}{f_G(g)}\\ &= \dfrac{ \theta e^{-\theta x_j}\mathbb{1}\left\{x_j \in \text{region r s.t. } G_{rj}=1\right\}}{\left(1-e^{-\theta}\right)^{g_{1j}}\left(e^{-\theta}-e^{-2\theta}\right)^{g_{2j}}\left(e^{-2\theta}\right)^{g_{3j}}} \end{align*}$

(d) E-étape. Donnez la fonction $Q(\theta,\theta^i)$

$\begin{align*} Q(\theta,\theta^i) &= \text{E}_{X|G,\theta^i}\left[ \log{f(\mathbf{x}|G,\theta)}\right]\\ &= n\log{\theta} - \theta\sum_{j=1}^n\text{E}\left[X_j|G,\theta^i\right] - N_1\log{(1-e^{-\theta})} - N_2\log{(e^{-\theta}-e^{-2\theta})} - N_3\log{e^{-2\theta}}\\ &= n\log{\theta} - \theta\sum_{j=1}^n\text{E}\left[X_j|G,\theta^i\right] - N_1\log{(1-e^{-\theta})} - N_2\log{(e^{-\theta}(1-e^{-\theta}))} + 2\theta N_3\\ &= n\log{\theta} - \theta\sum_{j=1}^n\text{E}\left[X_j|G,\theta^i\right] - N_1\log{(1-e^{-\theta})} + \theta N_2 -N_2\log{(1-e^{-\theta})} + 2\theta N_3 \end{align*}$

où $N_1=\sum_{j=1}^n g_{1j}, N_2=\sum_{j=1}^n g_{2j}, N_3=\sum_{j=1}^n g_{3j}$

(e) Donner des expressions pour pour . $\text{E}\left[X_j|G_{rj}=1,\theta^i\right]$ $r=1,2,3$

Je vais énumérer mes résultats qui, j'en suis sûr, ont raison, mais les dérivations seraient un peu longues pour cette question déjà longue:

$\begin{align*} \text{E}\left[X_j|G_{1j}=1,\theta^i\right] &= \left(\dfrac{1}{1-e^{-\theta^i}}\right)\left(\dfrac{1}{\theta^i}-e^{-\theta^i}(1+1/\theta^i)\right)\\ \text{E}\left[X_j|G_{2j}=1,\theta^i\right] &= \left(\dfrac{1}{e^{-\theta^i}-e^{-2\theta^i}}\right)\left(e^{-\theta^i}(1+1/\theta^i)-e^{-2\theta^i}(2+1/\theta^i)\right)\\ \text{E}\left[X_j|G_{3j}=1,\theta^i\right] &= \left(\dfrac{1}{e^{-2\theta^i}}\right)\left(e^{-2\theta^i}(2+1/\theta^i)\right) \end{align*}$

C'est la partie sur laquelle je suis coincé, et cela pourrait être dû à une erreur antérieure:

(f) Étape M. Trouvez le qui maximise $\theta$ $Q(\theta,\theta^i)$

D'après la loi de l'espérance totale, nous avons ainsi tous $\begin{align*} \text{E}\left[X_j|G,\theta^i\right] &= \left(\dfrac{1}{\theta^i}-e^{-\theta^i}(1+1/\theta^i)\right) + \left(e^{-\theta^i}(1+1/\theta^i)-e^{-2\theta^i}(2+1/\theta^i)\right) + \left(e^{-2\theta^i}(2+1/\theta^i)\right)\\ &= 1/\theta^i \end{align*}$

$\begin{align*} Q(\theta,\theta^i) &= n\log{\theta} - \theta\sum_{j=1}^n\text{E}\left[X_j|G,\theta^i\right] - N_1\log{(1-e^{-\theta})} + \theta N_2 -N_2\log{(1-e^{-\theta})} + 2\theta N_3\\ &= n\log{\theta} - \theta\dfrac{n}{\theta^i} - N_1\log{(1-e^{-\theta})} + \theta N_2 -N_2\log{(1-e^{-\theta})} + 2\theta N_3\\ \dfrac{\partial Q(\theta,\theta^i)}{\partial \theta} &= \dfrac{n}{\theta} - \dfrac{n}{\theta^i} - \dfrac{(N_1+N_2)e^{-\theta}}{1-e^{-\theta}} + N_2+2N_3 \end{align*}$

Ensuite, je devrais mettre cela égal à zéro et résoudre pour , mais j'ai essayé cela depuis très longtemps et je n'arrive pas à résoudre pour ! $\theta$ $\theta$

— bdeonovic
source

J'interprétais en tant que puissance de pendant une minute. Le plus déroutant. Habituellement, le numéro d'itération (numéro d'étape) est placé entre crochets ou entre parenthèses afin que ne soit pas confondu avec le ème pouvoir . Il vaut probablement mieux dire au moins que c'est ce que c'est dans la question (en supposant que j'ai maintenant raison).

θ^{i}

$\theta^i$

θ

$\theta$

[i]

$[i]$

(i)

$(i)$

θ^{(i)}

$\theta^{(i)}$

i

$i$

θ^{i}

$\theta^{i}$

— Glen_b -Reinstate Monica

Oui Glen, désolé, c'est bien l' ième itération de l'algorithme EM.

i

$i$

— bdeonovic

La probabilité de données complètes ne doit pas impliquer G! Cela devrait simplement être la probabilité de lorsque les sont exponentiels. Notez que la probabilité de données complète telle que vous l'avez écrite se simplifie en une probabilité exponentielle car un seul des peut être 1. Laisser les dans la probabilité de données complètes, cependant, vous gâche plus tard. $\theta$ $X$ $G_{rj}$ $G$

Dans la partie (d), il faut tenir compte de la vraisemblance complète du journal de données, et non de la probabilité observée du journal de données.

De plus, vous ne devriez pas utiliser la loi de l'attente totale! Rappelez-vous que G est observé et n'est pas aléatoire, vous ne devez donc effectuer qu'une seule de ces attentes conditionnelles pour chaque . Remplacez simplement cette attente conditionnelle par le terme , puis effectuez l'étape M. $X_j$ $X_j^{(i)}$

— jsk
source

@Benjamin Comment se passe le problème? Ai-je pu vous aider à comprendre comment le faire?

— jsk

Merci pour les commentaires @jsk. J'étais fatigué la nuit dernière alors je suis allé me coucher, mais je m'attaquerai à nouveau à ce problème ce matin après le petit déjeuner :)

— bdeonovic

Je pense que je l'ai compris! Merci encore! C'était en fait en préparation d'une finale que j'ai aujourd'hui, donc cela a vraiment aidé à clarifier certaines choses à propos de l'EM.

— bdeonovic

Je vous en prie. J'espère que votre finale se passera bien aujourd'hui!

— jsk

Sur la base des commentaires de @ jsk, je vais essayer de remédier à mes erreurs:

$\begin{align*} L(\theta|X,G) &= \prod_{j=1}^n \theta e^{-\theta x_j} \end{align*}$

$\begin{align*} Q(\theta,\theta^i) &= n\log{\theta} - \theta\sum_{j=1}^n \text{E}\left[X_j|G,\theta^i\right]\\ &= n\log{\theta} - \theta\left(\dfrac{\sum_{j=1}^n g_{1j}}{1-e^{-\theta^i}}\right)\left(\dfrac{1}{\theta^i} - e^{-\theta^i}(1+1/\theta^i)\right) - \theta\left(\dfrac{\sum_{j=1}^n g_{2j}}{e^{-\theta^i}(1-e^{-\theta^i})}\right)\left(e^{-\theta^i}(1+1/\theta^i)-e^{-2\theta^i}(2+1/\theta^i)\right) - \theta\left(\dfrac{\sum_{j=1}^n g_{3j}}{e^{-2\theta^i}}\right)\left(e^{-2\theta^i}(2+1/\theta^i)\right)\\ &= n\log{\theta} - \theta N_1 A - \theta N_2 B - \theta N_3 C\\ \dfrac{\partial Q(\theta,\theta^i)}{\partial \theta} &= \dfrac{n}{\theta} - N_1A-N_2B - N_3C \overset{set}{=}0 \end{align*}$

en résolvant pour on obtient $\theta$ $\theta^{(i+1)} = \dfrac{n}{N_1A+N_2B+N_3C}$

— bdeonovic
source