Différents types de covariance pour les modèles de mélanges gaussiens

En essayant ici des modèles de mélanges gaussiens , j'ai trouvé ces 4 types de covariances.

'full' (each component has its own general covariance matrix),
'tied' (all components share the same general covariance matrix),
'diag' (each component has its own diagonal covariance matrix),
'spherical' (each component has its own single variance).

J'ai beaucoup cherché sur Google pour trouver plus de détails sur chacun de ces types, mais j'ai trouvé des descriptions de très haut niveau (comme celle- ci ) uniquement.

Appréciez si quelqu'un peut m'aider à les comprendre, ou au moins me diriger vers un endroit où je peux en lire plus.

covariance-matrix gaussian-mixture

— abeille
source

Une distribution gaussienne est entièrement déterminée par sa matrice de covariance et sa moyenne (un emplacement dans l'espace). La matrice de covariance d'une distribution gaussienne détermine les directions et les longueurs des axes de ses contours de densité, qui sont tous des ellipsoïdes.

$(0,0)$ $(4,5)$ $3/5$ $2/5$

Cliquer sur l'image affichera une version à une résolution plus élevée.

NB Ce sont des graphiques des mélanges réels, pas des composants individuels. Parce que les composants sont bien séparés et de poids comparable, les contours du mélange ressemblent étroitement aux contours des composants (sauf à de faibles niveaux où ils peuvent se déformer et fusionner, comme indiqué au centre du tracé "lié" par exemple).

Plein signifie que les composants peuvent adopter indépendamment n'importe quelle position et forme.
Liés signifie qu'ils ont la même forme, mais la forme peut être n'importe quoi.
Diagonale signifie que les axes de contour sont orientés le long des axes de coordonnées, mais sinon les excentricités peuvent varier entre les composants.
La diagonale liée est une situation «liée» où les axes de contour sont orientés le long des axes de coordonnées. (J'ai ajouté cela parce qu'au départ, c'était comme ça que j'avais mal interprété "diagonale".)
Sphérique est une situation "diagonale" aux contours circulaires (sphérique en dimensions supérieures, d'où le nom).

$n$ $n(n+1)/2$

— whuber
source

Très bonne réponse. Je vous remercie. Une dernière question. S'agit-il des 4 seuls types? ou y en a-t-il d'autres types aussi?

— Bee

1

$1$

Merci. Je viens de comparer la description citée dans mon message et votre réponse. Dans le mien, «Tied» est le seul qui soit partagé par toutes les composantes. Mais dans le vôtre, 'Full' semble être le seul qui ne soit PAS partagé par chaque composant. J'ai juste l'impression que ces 2 sont contradictoires. (Je suis sûr que je manque quelque chose). Ça vous dérange d'expliquer cela? Merci beaucoup.

— Bee

Je ne vois aucune contradiction: j'ai fidèlement représenté précisément les conditions que vous décrivez. En effet, je n'ai fait référence à aucune autre source pour créer ces images.

— whuber

Merci - je vois ce que vous voulez dire. Je mettrai à jour l'explication pour refléter cela.

— whuber