Aide à la maximisation des attentes à partir du papier: comment inclure la distribution préalable?

9

La question est basée sur l'article intitulé: Reconstruction d'images en tomographie optique diffuse à l'aide du modèle couplé de transport et de diffusion radiatifs

Lien de téléchargement

Les auteurs appliquent l'algorithme EM avec régularisation de densité d'un vecteur inconnu pour estimer les pixels d'une image. Le modèle est donné par $l_1$ $\mu$

\begin{matrix} (1) & y = A μ + e \end{matrix}

$y=A\mu + e \tag{1}$ L'estimation est donnée en Eq (8) comme

\begin{matrix} (2) & \hat{μ} = \arg m a x \ln p (y | μ) + γ \ln p (μ) \end{matrix}

$\hat{\mu} = \arg max {\ln p(y|\mu) + \gamma \ln p(\mu)} \tag{2}$

Dans mon cas, j'ai considéré que est un filtre de longueur et sont vecteurs représentant les filtres. Donc, $\mu$ $L$ $\mathbf{\mu}$ $L \times 1$

Le modèle peut être réécrit comme

\begin{matrix} (3) & y (n) = μ^{T} a (n) + v (n) \end{matrix}

$y(n) = \mathbf{\mu^T}a(n) + v(n) \tag{3}$

Question: Formulation du problème: (n par 1) est l'entrée non observée et est la moyenne nulle avec une variance inconnue bruit additif. La solution MLE sera basée sur la maximisation des attentes (EM). ${\mu(n)}$ $\{e(n)\}$ $\sigma^2_e$

Dans l'article Eq (19) est la fonction - la log-vraisemblance complète mais pour mon cas, je ne comprends pas comment je peux inclure la distribution de dans l'expression log-vraisemblance complète. $A$ $A, \mu$

Quelle sera la log-vraisemblance complète en utilisant EM de compris la distribution précédente? $y$

— SKM
source

Voulez-vous réellement la log-vraisemblance ou voulez-vous plutôt la log-postérieure? Seul ce dernier inclura le prieur laplacien. Le premier peut simplement être obtenu en prenant le journal de la probabilité, qui semble avoir déjà été écrit

Il y a deux expressions que je veux - (1) L'une qui sera utilisée pour trouver la matrice d'informations de Fisher et l'autre (2) sera le pdf de l'ensemble de données complet qui comprend la variable cachée et les observances qui est le joint densité de probabilité des données observées en fonction du paramètre . Le pdf que j'ai écrit est applicable au modèle MA pour l'estimation aveugle de . Mais, comment sera-t-il différent pour la contrainte de rareté = Priorité laplacienne afin que la matrice d'informations de Fisher à partir des dérivées partielles de la log-vraisemblance puisse être trouvée.

Z

$Z$

θ

$\theta$

θ

$\theta$

— SKM

@ Xi'an: Je ne comprends pas comment brancher les 3 pdf qui incluent le prieur dans la formulation du log-vraisemblance. Je peux calculer la maximisation qui consiste à prendre la dérivée partielle et à la mettre à zéro. Pourriez-vous s'il vous plaît mettre une réponse avec l'expression de vraisemblance explicitement écrite. Cela vous aidera vraiment

— SKM

3

Si nous considérons la cible comme la représentation à la base de EM est pour un arbitraire , à cause de la décomposition ou qui fonctionne pour une valeur arbitraire de (car il n'y en a pas sur les lhs ) et fonctionne donc pour toute attente dans :

\arg max_{θ} L (θ | x) π (θ) = \arg max_{θ} \log L (θ | x) + \log π (θ)

$\arg\max_\theta L(\theta|x)\pi(\theta) = \arg\max_\theta \log L(\theta|x) + \log \pi(\theta)$

\log L (θ | x) = E [\log L (θ | x, Z) | x, θ ⁰] - E [\log q (Z | x, θ) | x, θ ⁰]

$\log L(\theta|x) = \mathbb{E}[\log L(\theta|x,Z)|x,\theta⁰]-\mathbb{E}[\log q(Z|x,\theta)|x,\theta⁰]$

θ ⁰

$\theta⁰$

q (z | x, θ) = f (x, z | θ) / g (x | θ)

$q(z|x,\theta)=f(x,z|\theta) \big/ g(x|\theta)$

g (x | θ) = f (x, z | θ) / q (z | x, θ)

$g(x|\theta) = f(x,z|\theta) \big/ q(z|x,\theta)$

z

$z$

Z

$Z$

\log g (x | θ) = \log f (x, z | θ) - \log q (z | x, θ) = E [\log f (x, Z | θ) - \log q (Z | x, θ) | x]

$\log g(x|\theta) = \log f(x,z|\theta) - \log q(z|x,\theta) = \mathbb{E}[\log f(x,Z|\theta) - \log q(Z|x,\theta)|x]$ pour toute distribution conditionnelle de donnée , par exemple . Par conséquent, si nous maximisons dans avec la solution nous avons while par les arguments standard de EM. Par conséquent,

Z

$Z$

X = x

$X=x$

q (z | x, θ ⁰)

$q(z|x,\theta⁰)$

θ

$\theta$

E [\log L (θ | x, Z) | x, θ ⁰] + \log π (θ)

$\mathbb{E}[\log L(\theta|x,Z)|x,\theta⁰]+ \log \pi(\theta)$

θ^{1}

$\theta^1$

E [\log L (θ^{1} | x, Z) | x, θ ⁰] + \log π (θ^{1}) \geq E [\log L (θ ⁰ | x, Z) | x, θ ⁰] + \log π (θ ⁰)

$\mathbb{E}[\log L(\theta^1|x,Z)|x,\theta⁰]+ \log \pi(\theta^1)\ge\mathbb{E}[\log L(\theta⁰|x,Z)|x,\theta⁰]+ \log \pi(\theta⁰)$

E [\log q (Z | x, θ ⁰) | x, θ ⁰] \geq E [\log q (Z | x, θ^{1}) | x, θ ⁰]

$\mathbb{E}[\log q(Z|x,\theta⁰)|x,\theta⁰]\ge\mathbb{E}[\log q(Z|x,\theta^1)|x,\theta⁰]$

E [\log L (θ^{1} | x, Z) | x, θ ⁰] + \log π (θ^{1}) \geq E [\log L (θ ⁰ | x, Z) | x, θ ⁰] + \log π (θ ⁰)

$\mathbb{E}[\log L(\theta^1|x,Z)|x,\theta⁰]+ \log \pi(\theta^1)\ge\mathbb{E}[\log L(\theta⁰|x,Z)|x,\theta⁰]+ \log \pi(\theta⁰)$ et en utilisant comme étape E la cible conduit à une augmentation du postérieur à chaque M étape, ce qui signifie que l'algorithme EM modifié converge vers une MAP locale.

E [\log L (θ | x, Z) | x, θ ⁰] + \log π (θ)

$\mathbb{E}[\log L(\theta|x,Z)|x,\theta⁰]+ \log \pi(\theta)$

— Xi'an
source

Merci pour votre réponse. Est représentent le pdf de ? Pourriez-vous s'il vous plaît pourquoi il y a 2 attentes avec Soustrait dans l'équation mentionnée dans la deuxième ligne?

q ()

$q()$

Z

$Z$

E [l o g q (.)]

$E[log q(.)]$

— SKM

J'ai ajouté quelques explications, mais vous devriez vérifier dans un manuel la dérivation de l'algorithme EM car c'est du matériel standard.

— Xi'an

1

Je ne pense pas que montrer un log-postérieur croissant monotone (ou log vraisemblance pour MLE) soit suffisant pour montrer la convergence au point stationnaire de l'estimation MAP (ou MLE). Par exemple, les incréments peuvent devenir arbitrairement petits. Dans le célèbre article de Wu 1983 , une condition suffisante pour converger vers un point stationnaire de EM est la différenciation dans les deux arguments de la fonction de limite inférieure.

— Jim.Z
source