L'algorithme EM estime-t-il de manière cohérente les paramètres du modèle de mélange gaussien?


9

J'étudie le modèle du mélange gaussien et je pose cette question moi-même.

Supposons que les données sous-jacentes soient générées à partir d'un mélange de distribution gaussienne et que chacune d'elles ait un vecteur moyen μ k ∈ R p , où 1 ≤ k ≤ K et chacune d'elles ait la même matrice de co-variance Σ et supposons que Σ est une matrice diagonale. Et supposons que le rapport de mélange soit de 1 / K , c'est-à-dire que chaque grappe a le même poids.Kμk∈Rp1≤k≤KΣΣ1/K

Donc, dans cet exemple idéal, la seule tâche consiste à estimer les vecteurs moyens μ k ∈ R p , où 1 ≤ k ≤ K et la matrice de co-variance Σ .Kμk∈Rp1≤k≤KΣ

Ma question est la suivante: si nous utilisons l'algorithme EM, serons-nous en mesure d'estimer de manière cohérente et Σ , c'est-à-dire, lorsque la taille de l'échantillon n → ∞ , l'estimateur produit par l'algorithme EM atteindra-t-il la vraie valeur de μ k et Σ ?μkΣn→∞μkΣ

Réponses:


1

μk

1/KΣk


J'ai expérimenté numériquement, au moins pour 2 classes indépendantes de distribution normale, l'EM produit un estimateur cohérent de la moyenne de classe. Cependant, K signifie que je ne peux pas faire ça, je l'ai prouvé mathématiquement
— KevinKim

1
Pourriez-vous donner plus de détails s'il vous plaît? Par exemple, quelles données vous utilisiez, comment vous avez initialisé les paramètres, etc.
— dcorney

D'accord avec @dcorney. Cela dépend vraiment des valeurs initiales que vous choisirez. Au moins dans la pratique, un mauvais choix des valeurs initiales conduit à une estimation non cohérente (j'utilise le package mixtools R)
— Allemand Demidov
En utilisant notre site, vous reconnaissez avoir lu et compris notre politique liée aux cookies et notre politique de confidentialité.
Licensed under cc by-sa 3.0 with attribution required.