Relation entre la somme des RV gaussiens et le mélange gaussien

13

Je sais qu'une somme de gaussiens est gaussienne. Alors, en quoi un mélange de gaussiens est-il différent?

Je veux dire, un mélange de gaussiens n'est qu'une somme de gaussiens (où chaque gaussien est multiplié par le coefficient de mélange respectif), n'est-ce pas?

— njk
source

7

Un mélange de gaussiens est une somme pondérée des densités gaussiennes , et non une somme pondérée de variables aléatoires gaussiennes.

— probabilitéislogic

7

Une somme pondérée de variables aléatoires gaussiennes est une variable aléatoire gaussienne : si alors $X_1,\ldots,X_p$

\sum_{je = 1}^{p} β_{je} X_{je}

$\sum_{i=1}^p \beta_i X_i$

(X_{1}, \dots, X_{p}) \sim N_{p} (μ, Σ)

$(X_1,\ldots,X_p)\sim\text{N}_p(\mu,\Sigma)$

β^{T} (X_{1}, \dots, X_{p}) \sim N_{1} (β^{T} μ, β^{T} Σ β)

$\beta^\text{T}(X_1,\ldots,X_p)\sim\text{N}_1(\beta^\text{T}\mu,\beta^\text{T}\Sigma\beta)$

Un mélange de densités gaussiennes a une densité donnée comme une somme pondérée des densités gaussiennes :

F (\cdot; θ) = \sum_{je = 1}^{p} ω_{je} φ (\cdot; μ_{je}, σ_{je})

$f(\cdot;\theta)=\sum_{i=1}^p \omega_i \varphi(\cdot;\mu_i,\sigma_i)$ qui est presque invariablement pas égal à un gaussien densité. Voir par exemple la densité de mélange estimée bleue ci-dessous (où la bande jaune est une mesure de la variabilité du mélange estimé): entrez la description de l'image ici

[Source: Marin et Robert, noyau bayésien , 2007]

$X\sim f(\cdot;\theta)$

X = \sum_{je = 1}^{p} je (Z = je) X_{je} = X_{Z}

$X=\sum_{i=1}^p \mathbb{I}(Z=i) X_i = X_{Z}$

X_{i} \sim N_{p} (μ_{i}, σ_{i})

$X_i\sim\text{N}_p(\mu_i,\sigma_i)$

Z

$Z$

P (Z = i) = ω_{i}

$\mathbb{P}(Z=i)=\omega_i$

Z \sim M (1; ω_{1}, \dots, ω_{p})

$Z\sim\text{M}(1;\omega_1,\ldots,\omega_p)$

— Xi'an
source

3

Et voici un code R pour compléter la réponse @ Xi'an:

par(mfrow=c(2,1))
nsamples <- 100000

# Sum of two Gaussians
x1 <- rnorm(nsamples, mean=-10, sd=1)
x2 <- rnorm(nsamples, mean=10, sd=1)
hist(x1+x2, breaks=100)

# Mixture of two Gaussians
z <- runif(nsamples)<0.5 # assume mixture coefficients are (0.5,0.5)
x1_x2 <- rnorm(nsamples,mean=ifelse(z,-10,10),sd=1)
hist(x1_x2,breaks=100)

entrez la description de l'image ici

— alberto
source

1

La distribution de la somme des variables aléatoires indépendantes est la convolution leurs distributions. Comme vous l'avez noté, la convolution de deux gaussiens se trouve être gaussienne.

$X,Y$ $Z$ $X$ $Y$ $Z=X$ $Z=Y$

— enthdegree
source

Merci enthdegree. Je sais que l'exemple suivant est intrinsèquement faux, mais il pourrait être intéressant de toute façon: disons que nous avons un type spécial de "mélange" (si nous pouvons encore l'appeler un "mélange") de 2 densités gaussiennes, où les coefficients de mélange correspondent tous deux à 1, serait-ce la même chose qu'une somme de RV gaussiens?

— njk

Non, même si votre mélange RV sera gaussien dans ce cas, si vous deviez ajouter deux VR avec la distribution du composant, la somme RV aurait plus de variance que le mélange RV.

— enthdegree

@enthdegree Comment est le mélange rv gaussien? Cela pourrait encore être bimodal si les moyens ne coïncident pas, non?

— apprentissage

@learning, oui vous avez raison. Quand j'ai écrit le précédent. commentaire pour une raison quelconque, je suppose qu'ils avaient la même moyenne.

— enthdegree