K-means comme cas limite de l'algorithme EM pour les mélanges gaussiens avec covariances

Mon objectif est de voir que l'algorithme K-means est en fait un algorithme d'expectation-maximisation pour les mélanges gaussiens dans lequel toutes les composantes ont une covariance dans la limite comme . $\sigma^2 I$ $\lim_{\sigma \to 0}$

Supposons que nous ayons un ensemble de données $\{x_1, \dots ,x_N\}$ des observations de variable aléatoire $X$ .
La fonction objective pour les moyennes M est donnée par:

J = \sum_{n = 1}^{N} \sum_{k = 1}^{K} r_{n k} | | x_{n} - μ_{k} | |^{2}

$J = \sum_{n=1}^{N}\sum_{k=1}^{K} r_{nk} ||x_n - \mu_k ||^2$ où

r_{n k}

$r_{nk}$ est une variable indicatrice binaire d'une affectation dure de

x_{n}

$x_n$ au cluster

k

$k$ .
(si le point de données

x_{n}

$x_n$ est affecté au cluster

k

$k$ , alors

r_{n k} = 1

$r_{nk} = 1$ et

r_{n j} = 0

$r_{nj} = 0$ pour

j \neq

$j \ne$ k).
L'algorithme K-means minimise

J

$J$ par itération jusqu'à la convergence, ce qui implique deux étapes successives:
(E) minimiser

J

$J$ par rapport à

{r_{n k}}_{n, k}

$\{r_{nk}\}_{n,k}$ gardant tous les

μ_{k}

$\mu_k$ fixes
(M) minimiser

J

$J$ par rapport à

{μ_{k}}_{k}

$\{\mu_k\}_k$ gardant tous les

r_{n k}

$r_{nk}$ fixes

En général, désignant toutes les données observées par $X$ , toutes les variables latentes par $Z$ et l'ensemble de tous les paramètres du modèle par $\theta$ , l'algorithme EM maximise la distribution postérieure $p(\theta | X)$ par itération jusqu'à convergence, de deux étapes alternées:
(E ) calculer l'espérance $Q(\theta, \theta^{\text{old}}) := \sum_{Z}p(Z | X, \theta^{\text{old}})\log p(Z,X|\theta)$
(M) find $\theta^{\text{new}} = \arg \max_{\theta} Q(\theta, \theta^{\text{old}})$

Considérons maintenant la distribution du mélange gaussien: Présentation d'une variable aléatoire binaire latente de dimension par , on voit que: Donc

p (x) = \sum_{k = 1}^{K} π_{k} N (x | μ_{k}, Σ_{k})

$p(x) = \sum_{k=1}^K \pi_k N(x | \mu_k, \Sigma_k)$

K

$K$

z

$z$

p (z_{k} = 1) = π_{k}

$p(z_k = 1) = \pi_k$

p (X, Z) = \prod_{n = 1}^{N} \prod_{k = 1}^{K} π_{k}^{z_{n k}} N (x_{n} | μ_{k}, Σ_{k})^{z_{n k}}

$p(X, Z) = \prod_{n=1}^N\prod_{k=1}^K \pi_k^{z_{nk}} N(x_n | \mu_k, \Sigma_k)^{z_{nk}}$

γ (z_{k}) := p (z_{k} = 1 | x) = \frac{π_{k} N (x | μ_{k}, Σ_{k})}{\sum_{j = 1}^{K} π_{j} N (x | μ_{j}, Σ_{j})}

$\gamma(z_k) := p(z_k = 1 | x) = \frac{\pi_k N(x| \mu_k, \Sigma_k)}{\sum_{j=1}^{K} \pi_j N(x | \mu_j, \Sigma_j)}$

\log p (X, Z | μ, Σ, π) = \sum_{n = 1}^{N} \sum_{k = 1}^{K} z_{n k} (\log π_{k} + \log N (x_{n} | μ_{k}, Σ_{k}))

$\log p(X,Z | \mu, \Sigma, \pi) = \sum_{n=1}^N \sum_{k=1}^K z_{nk}(\log \pi_k + \log N(x_n| \mu_k, \Sigma_k))$

E (z_{n k}) = γ (z_{n k})

$\mathbb{E}(z_{nk}) = \gamma(z_{nk})$

Q ((π, μ, Σ), (π, μ, Σ)^{old}) = \sum_{n = 1}^{N} \sum_{k = 1}^{K} γ (z_{n k}) (\log π_{k} + \log N (x_{n} | μ_{k}, Σ_{k}))

$Q((\pi, \mu, \Sigma), (\pi, \mu, \Sigma)^{\text{old}}) = \sum_{n=1}^N \sum_{k=1}^K \gamma(z_{nk})(\log \pi_k + \log N(x_n| \mu_k, \Sigma_k))$

Si maintenant tous les Gaussiens dans le modèle de mélange ont une covariance , considérant la limite je peux facilement montrer que où est aussi défini ci-dessus. Ainsi, l'étape (E) met à jour comme dans l'algorithme K-means. $\sigma^2 I$ $\sigma \to 0$ $\gamma(z_{nk}) \to r_{nk}$ $r_{nk}$ $r_{nk}$

Cependant, j'ai du mal à maximiser dans ce contexte, comme pour . Est-il vrai que jusqu'à une multiplication constante et scalaire: ? $Q((\pi, \mu, \Sigma), (\pi, \mu, \Sigma)^{\text{old}})$ $x \ne \mu$ $\lim_{\sigma \to 0} log(N(x|\mu,\sigma^2)) = - \infty$
$\lim_{\sigma \to 0} Q((\pi, \mu, \Sigma), (\pi, \mu, \Sigma)^{\text{old}}) = -J$

Peut-être que je manque quelque chose. Aucun conseil?

— Andrzej Neugebauer
source

Bienvenue sur le site, @Andrzej. Veuillez poster la question complète - ne vous attendez pas à ce que les gens recherchent votre livre.

— StasK

Cher StasK, Je viens de publier la question complète et j'espère qu'elle est claire maintenant.

— Andrzej Neugebauer

Est-il vrai que jusqu'à une multiplication constante et scalaire: ? $\lim_{\sigma \to 0} Q((\pi, \mu, \Sigma), (\pi, \mu, \Sigma)^{\text{old}}) = -J$

Ce n'est pas le cas puisque - comme vous l'avez constaté vous-même - la limite diverge.

Cependant, si l' on d' abord transformons et puis prendre la limite, on converge à l'objectif k-means. Pour et nous avons $Q$ $\Sigma_k = \sigma^2 I$ $\pi_k = 1/K$

\begin{aligned} Q & = \sum_{n, k} γ_{n k} (\log π_{k} + \log N (x_{n} ∣ μ_{k}, Σ_{k})) \\ = N \log \frac{1}{K} - \frac{1}{σ^{2}} \sum_{n, k} γ_{n k} | | x_{n} - μ_{k} | |^{2} - N \frac{D}{2} \log 2 π σ^{2} . \end{aligned}

$\begin{align} Q &= \sum_{n,k} \gamma_{nk} \left( \log \pi_k + \log N(x_n \mid \mu_k, \Sigma_k) \right) \\ &= N \log\frac{1}{K} - \frac{1}{\sigma^2} \sum_{n,k} \gamma_{nk} ||x_n - \mu_k||^2 - N \frac{D}{2} \log 2\pi\sigma^2. \end{align}$

En multipliant par (ce qui n'affecte pas l'algorithme EM, car n'est pas optimisé mais constant) et en collectant tous les termes constants en , nous voyons que Notez que maximiser cette fonction par rapport à pour tout et donne la même chose comme fonction objectif ci-dessus, c'est-à-dire qu'il s'agit d'une formulation équivalente de l'étape M. Mais prendre la limite donne maintenant . $\sigma^2$ $\sigma$ $C$

\begin{aligned} Q & \propto - \sum_{n, k} γ_{n k} | | x_{n} - μ_{k} | |^{2} + σ^{2} C . \end{aligned}

$\begin{align} Q &\propto - \sum_{n,k} \gamma_{nk} ||x_n - \mu_k||^2 + \sigma^2 C. \end{align}$

μ

$\mu$

γ

$\gamma$

σ

$\sigma$

- J

$-J$

Soit dit en passant, à mon avis, une formulation légèrement plus élégante d'EM consiste à utiliser la fonction objectif En utilisant cette fonction objective, l'algorithme EM revient à alterner entre l'optimisation de par rapport à (étape M) et (étape E). En prenant la limite, nous voyons que le pas M et le pas E convergent vers l'algorithme des k-moyennes.

\begin{aligned} F (μ, γ) & = \sum_{n, k} γ_{n k} \log π_{k} N (x_{n} ∣ μ_{k}, Σ_{k}) / γ_{n k} \\ \propto - \sum_{n, k} \sum_{n, k} γ_{n k} | | x_{n} - μ_{k} | |^{2} - σ^{2} \sum_{n, k} γ_{n k} \log γ_{n k} + σ^{2} C . \end{aligned}

$\begin{align} F(\mu, \gamma) &= \sum_{n,k} \gamma_{nk} \log \pi_k N(x_n \mid \mu_k, \Sigma_k)/\gamma_{nk} \\ &\propto -\sum_{n,k} \sum_{n, k} \gamma_{nk} ||x_n - \mu_k||^2 - \sigma^2 \sum_{n,k} \gamma_{nk} \log \gamma_{nk} + \sigma^2 C. \end{align}$

F

$F$

μ

$\mu$

γ

$\gamma$

Voir également une vue alternative de EM .

— Lucas
source