Pourquoi l'algorithme EM doit-il être itératif?

Supposons que vous ayez une population avec unités, chacune avec une variable aléatoire . Vous observez valeurs pour toute unité pour laquelle . Nous voulons une estimation de . $N$ $X_i \sim \text{Poisson}(\lambda)$ $n = N-n_0$ $X_i > 0$ $\lambda$

Il existe une méthode des moments et des moyens conditionnels de probabilité maximale d'obtenir la réponse, mais je voulais essayer l'algorithme EM. J'obtiens l'algorithme EM comme où l' indice indique la valeur de l'itération précédente de l'algorithme et est constant par rapport à Les paramètres. (Je pense en fait que le dans la fraction entre parenthèses devrait être , mais cela ne semble pas exact; une question pour une autre fois).

Q (λ_{- 1}, λ) = λ (n + \frac{n}{exp (λ_{- 1}) - 1}) + \log (λ) \sum_{i = 1}^{n} x_{i} + K,

$Q\left(\lambda_{-1}, \lambda\right) = \lambda \left(n + \frac{n}{\text{exp}(\lambda_{-1}) - 1}\right) + \log(\lambda)\sum_{i=1}^n{x_i} + K,$

- 1

$-1$

K

$K$

n

$n$

n + 1

$n+1$

Pour rendre cela concret, supposons que , . Bien sûr, et sont pas observés et doit être estimé. $n=10$ $\sum{x_i} = 20$ $N$ $n_0$ $\lambda$

Lorsque j'itère la fonction suivante, en branchant la valeur maximale de l'itération précédente, j'atteins la bonne réponse (vérifiée par CML, MOM et une simulation simple):

EmFunc <- function(lambda, lambda0){
  -lambda * (10 + 10 / (exp(lambda0) - 1)) + 20 * log(lambda)
}

lambda0 <- 2
lambda  <- 1

while(abs(lambda - lambda0) > 0.0001){
  lambda0 <- lambda
  iter    <- optimize(EmFunc, lambda0 = lambda0, c(0,4), maximum = TRUE)
  lambda  <- iter$maximum
}

> iter
$maximum
[1] 1.593573

$objective
[1] -10.68045

Mais c'est un problème simple; maximisons sans itérer:

MaxFunc <- function(lambda){
  -lambda * (10 + 10 / (exp(lambda) - 1)) + 20 * log(lambda)
}

optimize(MaxFunc, c(0,4), maximum = TRUE)
$maximum
[1] 2.393027

$objective
[1] -8.884968

La valeur de la fonction est plus élevée que dans la procédure non itérative et le résultat est incompatible avec les autres méthodologies. Pourquoi la deuxième procédure donne-t-elle une réponse différente et (je présume) incorrecte?

expectation-maximization

— Charlie
source

Lorsque vous avez trouvé votre fonction objective pour l'algorithme EM, je suppose que vous avez traité le nombre d'unités avec , que j'appellerai , comme paramètre latent. Dans ce cas, je suppose (encore) que représente une forme réduite de la valeur attendue sur de la probabilité donnée . Ce n'est pas la même chose que la vraisemblance complète, parce que est traité comme indiqué. $x_i=0$ $y$ $Q$ $y$ $\lambda_{-1}$ $\lambda_{-1}$

Par conséquent, vous ne pouvez pas utiliser pour la pleine probabilité, car il ne contient pas d'informations sur la façon dont la modification de modifie la distribution de (et vous souhaitez également sélectionner les valeurs les plus probables de lorsque vous maximisez la pleine probabilité). C'est pourquoi la probabilité maximale totale pour le Poisson tronqué zéro diffère de votre fonction , et pourquoi vous obtenez une réponse différente (et incorrecte) lorsque vous maximisez . $Q$ $\lambda$ $y$ $y$ $Q$ $f(\lambda)=Q(\lambda,\lambda)$

Numériquement, maximiser entraînera nécessairement une fonction objective au moins aussi grande que votre résultat EM, et probablement plus grande car il n'y a aucune garantie que l'algorithme EM convergera vers un maximum de - il est seulement supposé converger vers un maximum de la fonction de vraisemblance ! $f(\lambda)$ $f$

— jayk
source