Distance entre deux mélanges gaussiens pour évaluer les solutions de cluster

11

J'exécute une simulation rapide pour comparer différentes méthodes de clustering et je suis actuellement confronté à un problème en essayant d'évaluer les solutions de cluster.

Je connais différentes métriques de validation (beaucoup se trouvent dans cluster.stats () dans R), mais je suppose que celles-ci sont mieux utilisées si le nombre estimé de clusters est réellement égal au nombre réel de clusters. Je souhaite conserver la capacité de mesurer la performance d'une solution de clustering lorsqu'elle ne spécifie pas le nombre correct de clusters dans la simulation d'origine (c.-à-d. La qualité des données d'un modèle de solution à trois clusters simulés pour avoir un cluster à 4 clusters) Solution). Juste pour votre information, les clusters sont simulés pour posséder des matrices de covariance identiques.

Je pensais que la divergence KL entre deux mélanges de gaussiens serait utile à mettre en œuvre, mais aucune solution de forme fermée n'existe ( Hershey et Olson (2007) ) et la mise en œuvre d'une simulation de Monte Carlo commence à être coûteuse en termes de calcul.

Existe-t-il d'autres solutions qui pourraient être faciles à mettre en œuvre (même si ce n'est qu'une approximation)?

clustering kullback-leibler gaussian-mixture

— dmartin
source

La distance L2 entre deux mélanges gaussiens est disponible sous forme fermée. Utilisez-le et vous devriez être prêt.

Je ne sais pas comment tu le ferais, mais cela ne me semble pas une bonne idée. Prenez un mélange, permutez les composants (pas de changement à p (x)) et la distance L2 peut être n'importe quoi. De plus, la distance L2 n'est pas une bonne idée sur les matrices de covariance.

— bayerj

Probabilité prédictive postérieure d'un ensemble de données de test retenu. Je suppose que vous auriez besoin de priors sur k cependant.

— conjectures

Le premier lien est rompu

— ttnphns

6

Supposons que nous ayons deux mélanges gaussiens dans : Appelons leurs densités et , respectivement, et dénotons les densités de leurs composantes , par , . $\mathbb R^d$ $\DeclareMathOperator{\N}{\mathcal N} \newcommand{\ud}{\mathrm{d}} \DeclareMathOperator{\E}{\mathbb E} \DeclareMathOperator{\MMD}{\mathrm{MMD}}$

P = \sum_{i = 1}^{n} α_{i} P_{i} = \sum_{i = 1}^{n} α_{i} N (μ_{i}, Σ_{i}) Q = \sum_{j = 1}^{m} β_{j} Q_{j} = \sum_{j = 1}^{m} N (m_{j}, S_{j}) .

$P = \sum_{i=1}^{n} \alpha_i P_i = \sum_{i=1}^n \alpha_i \N(\mu_i, \Sigma_i) \qquad Q = \sum_{j=1}^m \beta_j Q_j = \sum_{j=1}^m \N(m_j, S_j) .$

p (\cdot)

$p(\cdot)$

q (\cdot)

$q(\cdot)$

P_{i}

$P_i$

Q_{j}

$Q_j$

p_{i} (x) = N (x; μ_{i}, Σ_{i})

$p_i(x) = \N(x; \mu_i, \Sigma_i)$

q_{j} (x) = N (x; m_{j}, S_{j})

$q_j(x) = \N(x; m_j, S_j)$

Les distances suivantes sont disponibles sous forme fermée:

$L_2$ Distance , comme suggéré dans un commentaire de user39665. C'est: Notez que, comme le montre par exemple la section 8.1.8 du livre de recettes matriciel : donc cela peut être évalué facilement en temps .
$\begin{aligned} L_{2} (P, Q)^{2} & = \int (p (x) - q (x))^{2} d x \\ = \int {(\sum_{i} α_{i} p_{i} (x) - \sum_{j} β_{j} q_{j} (x))}^{2} d x \\ = \sum_{i, i^{'}} α_{i} α_{i^{'}} \int p_{i} (x) p_{i^{'}} (x) d x + \sum_{j, j^{'}} β_{j} β_{j^{'}} \int q_{j} (x) q_{j^{'}} (x) d x \\ - 2 \sum_{i, j} α_{i} β_{j} \int p_{i} (x) q_{j} (x) d x . \end{aligned}$ $\begin{align} L_2(P, Q)^2 &= \int (p(x) - q(x))^2 \,\ud x \\&= \int \left( \sum_{i} \alpha_i p_i(x) - \sum_j \beta_j q_j(x) \right)^2 \ud x \\&= \sum_{i,i'} \alpha_i \alpha_{i'} \int p_i(x) p_{i'}(x) \ud x + \sum_{j,j'} \beta_j \beta_{j'} \int q_j(x) q_{j'}(x) \ud x \\&\qquad - 2 \sum_{i,j} \alpha_i \beta_j \int p_i(x) q_j(x) \ud x .\end{align}$ $\begin{aligned} \int N (x; μ, Σ) N (x; μ^{'}, Σ^{'}) d x & = N (μ; μ^{'}, Σ + Σ^{'}) \end{aligned}$ $\begin{align} \int \N(x; \mu, \Sigma) \N(x; \mu', \Sigma') \,\ud x &= \N(\mu; \mu', \Sigma + \Sigma') \end{align}$ $O(m n)$
L'écart moyen maximum (MMD) avec un noyau RBF gaussien. Il s'agit d'une distance intéressante, pas encore très bien connue de la communauté des statistiques, qui nécessite un peu de mathématiques pour être définie.

Soit définissez l'espace Hilbert comme l'espace Hilbert du noyau reproducteur correspondant à : .
$k (x, y) := \exp (- \frac{1}{2 σ^{2}} ‖ x - y ‖^{2}),$ $k(x, y) := \exp\left( - \frac{1}{2 \sigma^2} \lVert x - y \rVert^2 \right),$ $\mathcal{H}$ $k$

Définissez le noyau de carte moyen comme
$K (P, Q) = E_{X \sim P, Y \sim Q} k (X, Y) = ⟨ E_{X \sim P} φ (X), E_{Y \sim Q} φ (Y) ⟩ .$ $K(P, Q) = \E_{X \sim P, Y \sim Q} k(X, Y) = \langle \E_{X \sim P} \varphi(X), \E_{Y \sim Q} \varphi(Y) \rangle .$

Le MMD est alors
$\begin{aligned} M M D (P, Q) & = ‖ E_{X \sim P} [φ (X)] - E_{Y \sim Q} [φ (Y)] ‖ \\ = \sqrt{K (P, P) + K (Q, Q) - 2 K (P, Q)} \\ = sup_{f : ‖ f ‖_{H} \leq 1} E_{X \sim P} f (X) - E_{Y \sim Q} f (Y) . \end{aligned}$ $\begin{align} \MMD(P, Q) &= \lVert \E_{X \sim P}[\varphi(X)] - \E_{Y \sim Q}[\varphi(Y)] \rVert \\&= \sqrt{K(P, P) + K(Q, Q) - 2 K(P, Q)} \\&= \sup_{f : \lVert f \rVert_{\mathcal H} \le 1} \E_{X \sim P} f(X) - \E_{Y \sim Q} f(Y) .\end{align}$

Pour nos mélanges et , notons que et de même pour et . $P$ $Q$
$K (P, Q) = \sum_{i, j} α_{i} β_{j} K (P_{i}, Q_{j})$ $K(P, Q) = \sum_{i, j} \alpha_i \beta_j K(P_i, Q_j)$ $K(P, P)$

Il s'avère, en utilisant des astuces similaires à celles de , que est $L_2$ $K(\N(\mu, \Sigma), \N(\mu', \Sigma'))$
$(2 π σ^{2})^{d / 2} N (μ; μ^{'}, Σ + Σ^{'} + σ^{2} I) .$ $(2 \pi \sigma^2)^{d/2} \N(\mu; \mu', \Sigma + \Sigma' + \sigma^2 I) .$

Comme , cela converge clairement vers un multiple de la distance . Vous voudriez normalement utiliser un différent , cependant, un à l'échelle de la variation des données. $\sigma \to 0$ $L_2$ $\sigma$

Des formes fermées sont également disponibles pour les noyaux polynomiaux dans le MMD; voir $k$

Muandet, Fukumizu, Dinuzzo et Schölkopf (2012). Apprendre des distributions via des machines de mesure de support. In Advances in Neural Information Processing Systems ( version officielle ). arXiv: 1202.6504 .

Pour beaucoup de belles propriétés de cette distance, voir

Sriperumbudur, Gretton, Fukumizu, Schölkopf et Lanckriet (2010). Plongements dans l'espace de Hilbert et métriques sur les mesures de probabilité. Journal of Machine Learning Research, 11, 1517–1561 . arXiv: 0907.5309 .
Divergence quadratique Jensen-Rényi. L' entropie Rényi- est définie comme Sa limite comme est l'entropie de Shannon. La divergence Jensen-Rényi est où désigne un mélange égal entre et . Il s'avère que, lorsque et lorsque et sont des mélanges gaussiens (comme ici), vous pouvez calculer une forme fermée pour . Cela a été fait par $\alpha$
$H_{α} (p) = \frac{1}{1 - α} \log (\int p (x)^{α} d x) .$ $H_\alpha(p) = \frac{1}{1-\alpha} \log\left( \int p(x)^\alpha \,\ud x \right) .$ $\alpha \to 1$ ${J R}_{α} (p, q) = H_{α} (\frac{p + q}{2}) - \frac{H_{α} (p) + H_{α} (q)}{2}$ $\mathrm{JR}_\alpha(p, q) = H_\alpha\left( \frac{p + q}{2} \right) - \frac{H_\alpha(p) + H_\alpha(q)}{2}$ $\frac{p + q}{2}$ $p$ $q$ $\alpha = 2$ $P$ $Q$ $\mathrm{JR}_2$

Wang, Syeda-Mahmood, Vemuri, Beymer et Rangarajan (2009). Divergence de Jensen-Renyi sous forme fermée pour le mélange de gaussiens et applications à l'enregistrement de forme en groupe. Med Image Comput Comput Assist Interv., 12 (1), 648–655. ( version gratuite publiée )

— Dougal
source

0

Si vos clusters ne sont en fait pas des mélanges gaussiens mais qu'ils ont une forme arbitraire, vos résultats peuvent en fait être bien meilleurs lorsque vous produisez beaucoup plus de clusters, puis en fusionnez à nouveau par la suite.

Dans de nombreux cas, on choisit simplement k comme étant arbitrairement élevé, par exemple 1000 pour un grand ensemble de données; en particulier lorsque vous n'êtes pas vraiment intéressé par les modèles, mais que vous souhaitez simplement réduire la complexité de l'ensemble de données via la quantification vectorielle.

— A QUIT - Anony-Mousse
source

J'ai simulé les grappes à tirer d'un mélange gaussien, donc je pense que mon hypothèse est valide. Le but ici n'est pas de réduire la complexité ou de proposer un critère de décision pour choisir k, mais de comparer la façon dont k clusters modélise les données lorsque k est réellement incorrect. Certains choix incorrects pourraient mieux modéliser les données que d'autres, et j'essaie de quantifier ce degré de décalage avec certains calculs (comme la divergence KL, mais plus facile à implémenter pour les mélanges gaussiens).

— dmartin

0

Voici une généralisation du Mahalanobis D aux GMM en utilisant la méthode du noyau de Fisher et d'autres techniques:

Tipping, Michael E. "Dérivation des fonctions de distance analytique de cluster à partir de modèles de mélange gaussiens." (1999): 815-820. https://pdfs.semanticscholar.org/08d2/0f55442aeb79edfaaaafa7ad54c513ee1dcb.pdf

Voir aussi: Existe - t-il une version multi-gaussienne de la distance de Mahalanobis?

— Lenar Hoyt
source