Références justifiant l'utilisation de mélanges gaussiens

Les modèles de mélange gaussiens (GMM) sont attrayants car ils sont simples à utiliser à la fois en analyse et en pratique, et sont capables de modéliser certaines distributions exotiques sans trop de complexité. Il y a quelques propriétés analytiques que nous devrions nous attendre à conserver qui ne sont pas claires en général. En particulier:

Disons que $S_n$ est la classe de tous les mélanges gaussiens à $n$ composants. Pour toute distribution continue $P$ sur les réels, avons-nous la garantie qu'à mesure que $n$ croît, nous pouvons approcher $P$ avec un GMM avec une perte négligeable au sens d'entropie relative? C'est, ne $lim_{n \to \infty} inf_{\hat{P} \in S_{n}} D (P | | \hat{P}) = 0 ?$ $\lim_{n\rightarrow \infty}\inf_{\hat{P}\in S_n} D(P||\hat{P})=0?$
Disons que nous avons une distribution continue $P$ et nous avons identifié un $N$ monocomposant mélange gaussien qui est proche de dans la variation totale: . Peut - on lié en termes de ? $\hat{P}$ $P$ $\delta(P,\hat{P})<\varepsilon$ $D(P||\hat{P})$ $\epsilon$
Si nous voulons observer $X\sim P_X$ par le bruit additif indépendant $Y\sim P_Y$ (réelle, continue), et nous avons GMM où , alors cette valeur est-elle petite: $\hat{X} \sim Q_X, \hat{Y} \sim Q_N$ $\delta(P,Q)<\epsilon$ $| m m s e (X | X + Y) - m m s e (\hat{X} | \hat{X} + \hat{Y}) |,$ $\left|\mathsf{mmse}(X|X+Y)-\mathsf{mmse}(\hat{X}| \hat{X}+\hat{Y})\right|,$ Autrement ditestil vrai queestimation $X$ par $Y$ estbruitpeu près aussi difficile queestimation par bruit? $\hat{X}$ $\hat{Y}$
Pouvez-vous le faire pour des modèles de bruit non additifs comme le bruit de Poisson?

Jusqu'à présent, ma (courte) revue de la littérature vient de révéler des didacticiels très appliqués. Quelqu'un at-il des références qui démontrent rigoureusement dans quelles conditions nous sommes justifiés d'utiliser des modèles de mélange?

— enthdegree
source

L'ensemble des GMM est dense dans l'ensemble des distributions dans la topologie faible (correspondant à la convergence dans la distribution); voir par exemple ici . Je ne suis pas sûr que votre première déclaration contient, mais il aurait certainement besoin d' éléments permettant zéro la variance dans le mélange pour traiter des masses ponctuelles dans

. Je suis également sceptique quant au deuxième point, encore une fois à cause du problème des masses ponctuelles.

P

$P$

— Dougal

Bon point, j'ai spécifié que tout devait être continu

— enthdegree

Vous pourriez avoir plus de chance en regardant la littérature sur l'estimation de la densité du noyau avec les noyaux gaussiens. Étant donné que vous avez un mélange de gaussiens avec un par échantillon, à mesure que le nombre d'échantillons augmente, obtenez-vous un estimateur asymptotiquement non biaisé et cohérent de la distribution? Je pense que la réponse est oui, mais je n'ai pas pu trouver immédiatement une référence.

— Greg Ver Steeg

@enthdegree: Très bonne question. Parce que vous voulez utiliser des topologies fortes (divergence KL et variation totale), la réponse générale à vos deux premiers points est non: par exemple, considérez une distribution à queue grasse; Le KL à tout mélange gaussien fini est infini (je suis sûr que cela fonctionne, mais pas à 100%). Mais cela conduit à la question beaucoup plus intéressante, pour quelle sous-classe de distributions de probabilités tous vos puces s'appliqueraient-ils? Je ne connais pas la réponse mais cela semble extrêmement intéressant. Je suppose que c'est probablement presque toutes les distributions de probabilité.

— Guillaume Dehaene

J'ai pris un cours avec ce livre. link Il fait un peu de fond décent sur les fondamentaux.

— EngrStudent

Réponses:

En économétrie, où le contexte est celui des distributions mixtes des coefficients dans les modèles logit, la référence standard est: MODÈLES MIXTES MNL POUR UNE RÉPONSE DISCRETE DANIEL MCFADDEN ET KENNETH TRAIN, JOURNAL OF APPLIED ECONOMETRICS, J. Appl. Econ. 15: 447-470 (2000).

— Tim
source

Concernant vos questions:

Pour le problème bayésien très similaire du mélange de gaussiens de Dirichlet Process, je comprends que la réponse est oui. Ghosal (2013) .
Lorsque j'ai assisté à quelques discussions sur ce sujet, il semblait que des progrès avaient été réalisés principalement en utilisant la divergence KL. Voir les diapositives de Harry van Zanten .
Je ne suis pas clair. Cependant, cela ressemble à un problème de séparation des sources ( inconnu). Celles-ci sont généralement beaucoup plus difficiles que la modélisation de mélange seule. En particulier pour le cas simple de vous ne pourrez pas identifier les vrais et $P_N, P_S$ $P_N = P_S = N(0,1)$ $X$ $Y$ raison de la symétrie des distributions autour de zéro.
Voir la quatrième des diapositives liées ci-dessus, il y a une liste de modèles bayésiens pour lesquels les garanties de convergence sont valables.

— conjectures
source

Voici une réponse partielle.

Disons que est la classe de tous les mélanges gaussiens à composants. Pour toute distribution continue sur les réels, avons-nous la garantie qu'à mesure que croît, nous pouvons approcher avec un GMM avec une perte négligeable au sens d'entropie relative? C'est, ne $S_n$ $n$ $P$ $n$ $P$
$lim_{n \to \infty} inf_{\hat{P} \in S_{n}} D (P | | \hat{P}) = 0 ?$ $\lim_{n\rightarrow \infty}\inf_{\hat{P}\in S_n} D(P||\hat{P})=0?$

Non . Vous ne pouvez espérer qu'une divergence KL est faible si vous savez que « s queues sont finalement du même ordre que » s. Ce n'est pas vrai en général. Il n'est pas difficile de voir que pour Cauchy alors pour tout , $D(P\|Q)$ $Q$ $P$ $P$ $n$

inf_{\hat{P} \in S_{n}} D (P | | \hat{P}) = \infty

$\inf_{\hat{P}\in S_n} D(P||\hat{P})=\infty$

Plus de conditions sur $P$ sont nécessaires pour dire cela.

Disons que nous avons une distribution continue et nous avons identifié un monocomposant mélange gaussien qui est proche de dans la variation totale: . Peut - on lié $P$ $N$ $\hat{P}$ $P$ $\delta(P,\hat{P})<\varepsilon$ en termes de ? $D(P||\hat{P})$ $\epsilon$

Non. Le même exemple ci-dessus s'applique.

$X\sim P_X$ $Y\sim P_Y$ $\hat{X} \sim Q_X, \hat{Y} \sim Q_Y$ $\delta(P,Q)<\epsilon$
$| m m s e (X | X + Y) - m m s e (\hat{X} | \hat{X} + \hat{Y}) |,$ $\left|\mathsf{mmse}(X|X+Y)-\mathsf{mmse}(\hat{X}| \hat{X}+\hat{Y})\right|,$ $X$ $Y$ le bruit est aussi difficile que d'estimer $\hat{X}$ through $\hat{Y}$ noise?

I don't know. If $X,Y,\hat{X},\hat{Y}$ have finite mean and variance then the MMSEs are $E[X|Y]$ and $E[\hat{X}|\hat{Y}]$ (simple derivation here). With these assumptions, the object is to determine whether $|E_P[(E_P[X|Y]-X)^2]-E_Q[(E_Q[X|Y]-X)^2]|$ is small when $TV(P,Q)$ is small. Related.

I haven't been able to prove this, either in general or using the extra additive structure we have assumed on P,Q, or come up with any counterexamples.

Can you do it for non-additive noise models like Poisson noise?

This is ambiguous. In the context of the previous question, if the statement in that answer can be proven in general then the answer is yes.

— enthdegree
source