L'algorithme EM estime-t-il de manière cohérente les paramètres du modèle de mélange gaussien?


9

J'étudie le modèle du mélange gaussien et je pose cette question moi-même.

Supposons que les données sous-jacentes soient générées à partir d'un mélange de distribution gaussienne et que chacune d'elles ait un vecteur moyen μ kR p , où 1 k K et chacune d'elles ait la même matrice de co-variance Σ et supposons que Σ est une matrice diagonale. Et supposons que le rapport de mélange soit de 1 / K , c'est-à-dire que chaque grappe a le même poids.KμkRp1kKΣΣ1/K

Donc, dans cet exemple idéal, la seule tâche consiste à estimer les vecteurs moyens μ kR p , où 1 k K et la matrice de co-variance Σ .KμkRp1kKΣ

Ma question est la suivante: si nous utilisons l'algorithme EM, serons-nous en mesure d'estimer de manière cohérente et Σ , c'est-à-dire, lorsque la taille de l'échantillon n , l'estimateur produit par l'algorithme EM atteindra-t-il la vraie valeur de μ k et Σ ?μkΣnμkΣ

Réponses:


1

μk

1/KΣk


J'ai expérimenté numériquement, au moins pour 2 classes indépendantes de distribution normale, l'EM produit un estimateur cohérent de la moyenne de classe. Cependant, K signifie que je ne peux pas faire ça, je l'ai prouvé mathématiquement
KevinKim

1
Pourriez-vous donner plus de détails s'il vous plaît? Par exemple, quelles données vous utilisiez, comment vous avez initialisé les paramètres, etc.
dcorney

D'accord avec @dcorney. Cela dépend vraiment des valeurs initiales que vous choisirez. Au moins dans la pratique, un mauvais choix des valeurs initiales conduit à une estimation non cohérente (j'utilise le package mixtools R)
Allemand Demidov
En utilisant notre site, vous reconnaissez avoir lu et compris notre politique liée aux cookies et notre politique de confidentialité.
Licensed under cc by-sa 3.0 with attribution required.