Problèmes de singularité dans le modèle de mélange gaussien

Dans le chapitre 9 du livre Reconnaissance de formes et apprentissage automatique, il y a cette partie sur le modèle de mélange gaussien:

Pour être honnête, je ne comprends pas vraiment pourquoi cela créerait une singularité. Quelqu'un peut-il m'expliquer cela? Je suis désolé mais je suis juste un étudiant de premier cycle et un novice en apprentissage automatique, donc ma question peut sembler un peu idiote, mais aidez-moi s'il vous plaît. Merci beaucoup

Si nous voulons adapter un gaussien à un seul point de données en utilisant le maximum de vraisemblance, nous obtiendrons un gaussien très hérissé qui "s'effondrera" à ce point. La variance est nulle lorsqu'il n'y a qu'un seul point, ce qui dans le cas gaussien multivarié, conduit à une matrice de covariance singulière, donc on l'appelle le problème de singularité.

Lorsque la variance atteint zéro, la probabilité de la composante gaussienne (formule 9.15) passe à l'infini et le modèle devient surajusté. Cela ne se produit pas lorsque nous ajustons un seul gaussien à un certain nombre de points, car la variance ne peut pas être nulle. Mais cela peut arriver quand nous avons un mélange de gaussiens, comme illustré sur la même page de PRML.

Mise à jour :
le livre propose deux méthodes pour résoudre le problème de la singularité, qui sont

1) réinitialiser la moyenne et la variance en cas de singularité

2) en utilisant MAP au lieu de MLE en ajoutant un prior.

Rappelons que ce problème ne s'est pas posé dans le cas d'une seule distribution gaussienne. Pour comprendre la différence, notez que si un seul gaussien s'effondre sur un point de données, il contribuera à des facteurs multiplicatifs à la fonction de vraisemblance résultant des autres points de données et ces facteurs iront à zéro exponentiellement rapidement, donnant une probabilité globale qui va à zéro plutôt que l'infini.

Je suis également un peu confus par cette partie, et voici mon interprétation. Prenez le boîtier 1D pour plus de simplicité.

Lorsqu'un seul gaussien "s'effondre" sur un point de données , c'est-à-dire μ = x i , la probabilité globale devient:$x_i$$\mu=x_i$

$$p(\mathbf{x}) = p(x_i) p(\mathbf{x}\setminus{i}) = (\frac{1}{\sqrt{2\pi}\sigma}) (\prod_{n \neq i}^N \frac{1}{\sqrt{2\pi}\sigma} e^{-\frac{(x_n-\mu)^2}{2\sigma^2}} )$$

Vous voyez comme , le terme à gauche p ( x i ) → ∞ , qui est comme le cas pathologique dans GMM, mais le terme à droite, qui est la probabilité d'autres points de données p ( x ∖ i ) , contient toujours des termes comme e - ( x n - μ ) $\sigma \to 0$$p(x_i) \to \infty$$p(\mathbf{x}\setminus{i})$ qui→0exponentiellement rapide commeσ→0, donc l'effet global sur la probabilité est qu'il aille à zéro.$e^{-\frac{(x_n-\mu)^2}{2\sigma^2}}$$\to 0$$\sigma \to 0$

Le point principal ici est que lors de l'ajustement d'un seul gaussien, tous les points de données doivent partager un ensemble de paramètres , contrairement au cas du mélange où un composant peut "se concentrer" sur un point de données sans pénaliser la probabilité globale des données .$\mu, \sigma$

Cette réponse donnera un aperçu de ce qui se passe qui conduit à une matrice de covariance singulière lors de l'ajustement d'un GMM à un ensemble de données, pourquoi cela se produit ainsi que ce que nous pouvons faire pour éviter cela.

Par conséquent, il est préférable de commencer par récapituler les étapes lors de l'ajustement d'un modèle de mélange gaussien à un ensemble de données.

0. Décidez du nombre de sources / clusters (c) que vous souhaitez adapter à vos données
1. Initialisez les paramètres moyenne , covariance Σ c et fraction_per_class π c par cluster c $\mu_c$$\Sigma_c$$\pi_c$

$\underline{E-Step}$

2. Calculez pour chaque point de données la probabilité r i c que le point de données x i appartient au cluster c avec: $x_i$$r_{ic}$$x_i$
   
   oùN(x| $$r_{ic} = \frac{\pi_c N(\boldsymbol{x_i} \ | \ \boldsymbol{\mu_c},\boldsymbol{\Sigma_c})}{\Sigma_{k=1}^K \pi_k N(\boldsymbol{x_i \ | \ \boldsymbol{\mu_k},\boldsymbol{\Sigma_k}})}$$ décrit la gaussienne multivariée avec: N ( x i , μ c , Σ c ) = $N(\boldsymbol{x} \ | \ \boldsymbol{\mu},\boldsymbol{\Sigma})$
   
   ricnous donne pour chaque point de donnéexila mesure de:Probabilitythatxibelongstocla $$N(\boldsymbol{x_i},\boldsymbol{\mu_c},\boldsymbol{\Sigma_c}) \ = \ \frac{1}{(2\pi)^{\frac{n}{2}}|\Sigma_c|^{\frac{1}{2}}}exp(-\frac{1}{2}(\boldsymbol{x_i}-\boldsymbol{\mu_c})^T\boldsymbol{\Sigma_c^{-1}}(\boldsymbol{x_i}-\boldsymbol{\mu_c}))$$
   
   $r_{ic}$$x_i$ doncsixiest très proche deune gaussienne c, on obtiendra une hautericvaleur pour cette gaussienne et des valeurs relativement faibles sinon. M-Step_ Pour chaque cluster c: calculer le poids totalm$\frac{Probability \ that \ x_i \ belongs \ to \ class \ c}{Probability \ of \ x_i \ over \ all \ classes}$$x_i$$r_{ic}$
   
   $\underline{M-Step}$
   
   $m_c$(en gros, la fraction des points alloués au cluster c) et mettre à jour , μ c et Σ c en utilisant r i c avec: m c = Σ i r i c π c = m $\pi_c$$\mu_c$$\Sigma_c$$r_{ic}$
   
   $$m_c \ = \ \Sigma_i r_ic$$
   μc= $$\pi_c \ = \ \frac{m_c}{m}$$
   Σc= $$\boldsymbol{\mu_c} \ = \ \frac{1}{m_c}\Sigma_i r_{ic} \boldsymbol{x_i}$$
   N'oubliez pas que vous devez utiliser les moyens mis à jour dans cette dernière formule. Répétez itérativement les étapes E et M jusqu'à ce que la fonction log-vraisemblance de notre modèle converge où la log-vraisemblance est calculée avec: lnp(X|π,μ,Σ)=Σ N i = 1 ln(Σ $$\boldsymbol{\Sigma_c} \ = \ \frac{1}{m_c}\Sigma_i r_{ic}(\boldsymbol{x_i}-\boldsymbol{\mu_c})^T(\boldsymbol{x_i}-\boldsymbol{\mu_c})$$
   
   
   
   
   $$ln \ p(\boldsymbol{X} \ | \ \boldsymbol{\pi},\boldsymbol{\mu},\boldsymbol{\Sigma}) \ = \ \Sigma_{i=1}^N \ ln(\Sigma_{k=1}^K \pi_k N(\boldsymbol{x_i} \ | \ \boldsymbol{\mu_k},\boldsymbol{\Sigma_k}))$$

$X$$AX = XA = I$

$$\begin{bmatrix} 0 & 0 \\ 0 & 0 \end{bmatrix}$$

$A$$X$$I$$\boldsymbol{\Sigma_c^{-1}}$
$\boldsymbol{0}$matrice de covariance ci-dessus si la gaussienne multivariée tombe en un point pendant l'itération entre le pas E et M. Cela pourrait se produire si nous avons par exemple un ensemble de données auquel nous voulons adapter 3 gaussiens mais qui ne se compose en fait que de deux classes (clusters) de sorte que, grosso modo, deux de ces trois gaussiens capturent leur propre cluster tandis que le dernier gaussien ne le gère que pour attraper un seul point sur lequel il se trouve. Nous verrons à quoi cela ressemble ci-dessous. Mais étape par étape: supposons que vous ayez un ensemble de données bidimensionnel composé de deux grappes mais que vous ne le savez pas et que vous souhaitez y adapter trois modèles gaussiens, c'est-à-dire c = 3. Vous initialisez vos paramètres dans l'étape E et tracez les gaussiens au-dessus de vos données qui semblent smth. comme (peut-être vous pouvez voir les deux clusters relativement dispersés en bas à gauche et en haut à droite): $\mu_c$$\pi_c$

$r_{ic}$$cov$$r_{ic}$
$$r_{ic} = \frac{\pi_c N(\boldsymbol{x_i} \ | \ \boldsymbol{\mu_c},\boldsymbol{\Sigma_c})}{\Sigma_{k=1}^K \pi_k N(\boldsymbol{x_i \ | \ \boldsymbol{\mu_k},\boldsymbol{\Sigma_k}})}$$ vous voyez que là $r_{ic}$Les valeurs auraient de grandes valeurs si elles sont très probablement sous le groupe c et des valeurs faibles sinon. Pour rendre cela plus apparent, considérons le cas où nous avons deux gaussiens relativement répartis et un gaussien très serré et nous calculons le$r_{ic}$ pour chaque point de donnée $x_i$comme illustré dans la figure: Parcourez donc les points de données de gauche à droite et imaginez que vous écririez la probabilité pour chaque$x_i$qu'il appartient au gaussien rouge, bleu et jaune. Ce que vous voyez, c'est que pour la plupart des$x_i$la probabilité d'appartenir au gaussien jaune est très faible. Dans le cas ci-dessus où le troisième gaussien se trouve sur un seul point de données,$r_{ic}$ est seulement supérieur à zéro pour ce point de données, alors qu'il est nul pour tous les autres $x_i$. (s'effondre sur ce point de données -> Cela se produit si tous les autres points font plus probablement partie d'un ou deux gaussiens et c'est donc le seul point qui reste pour les trois gaussiens -> La raison pour laquelle cela se produit peut être trouvée dans l'interaction entre l'ensemble de données lui-même dans l'initialisation des gaussiens. Autrement dit, si nous avions choisi d'autres valeurs initiales pour les gaussiens, nous aurions vu une autre image et le troisième gaussien ne s'effondrerait peut-être pas). C'est suffisant si vous enfoncez de plus en plus ce gaussien. le$r_{ic}$la table ressemble alors à smth. comme: Comme vous pouvez le voir,$r_{ic}$de la troisième colonne, c'est-à-dire pour le troisième gaussien sont nuls au lieu de cette seule ligne. Si nous recherchons quel point de données est représenté ici, nous obtenons le point de données: [23.38566343 8.07067598]. Ok, mais pourquoi obtient-on une matrice de singularité dans ce cas? Eh bien, et c'est notre dernière étape, nous devons donc à nouveau considérer le calcul de la matrice de covariance qui est: $$\boldsymbol{\Sigma_c} \ = \ \Sigma_i r_{ic}(\boldsymbol{x_i}-\boldsymbol{\mu_c})^T(\boldsymbol{x_i}-\boldsymbol{\mu_c})$$ nous avons vu que tout $r_{ic}$ sont zéro à la place pour celui $x_i$avec [23.38566343 8.07067598]. Maintenant, la formule veut que nous calculions$(\boldsymbol{x_i}-\boldsymbol{\mu_c})$. Si nous regardons le$\boldsymbol{\mu_c}$pour ce troisième gaussien on obtient [23.38566343 8.07067598]. Oh, mais attendez, c'est exactement la même chose que$x_i$ et c'est ce que Bishop a écrit avec: "Supposons que l'un des composants du modèle de mélange, disons le $j$ th component, has its mean $\boldsymbol{\mu_j}$ exactly equal to one of the data points so that $\boldsymbol{\mu_j} = \boldsymbol{x_n}$ for some value of n" (Bishop, 2006, p.434). So what will happen? Well, this term will be zero and hence this datapoint was the only chance for the covariance-matrix not to get zero (since this datapoint was the only one where $r_{ic}$>0), it now gets zero and looks like:

$$\begin{bmatrix} 0 & 0 \\ 0 & 0 \end{bmatrix}$$

Consequently as said above, this is a singular matrix and will lead to an error during the calculations of the multivariate gaussian. So how can we prevent such a situation. Well, we have seen that the covariance matrix is singular if it is the $\boldsymbol{0}$ matrix. Hence to prevent singularity we simply have to prevent that the covariance matrix becomes a $\boldsymbol{0}$ matrix. This is done by adding a very little value (in sklearn's GaussianMixture this value is set to 1e-6) to the digonal of the covariance matrix. There are also other ways to prevent singularity such as noticing when a gaussian collapses and setting its mean and/or covariance matrix to a new, arbitrarily high value(s). This covariance regularization is also implemented in the code below with which you get the described results. Maybe you have to run the code several times to get a singular covariance matrix since, as said. this must not happen each time but also depends on the initial set up of the gaussians.

import matplotlib.pyplot as plt
from matplotlib import style
style.use('fivethirtyeight')
from sklearn.datasets.samples_generator import make_blobs
import numpy as np
from scipy.stats import multivariate_normal


# 0. Create dataset
X,Y = make_blobs(cluster_std=2.5,random_state=20,n_samples=500,centers=3)

# Stratch dataset to get ellipsoid data
X = np.dot(X,np.random.RandomState(0).randn(2,2))


class EMM:

    def __init__(self,X,number_of_sources,iterations):
        self.iterations = iterations
        self.number_of_sources = number_of_sources
        self.X = X
        self.mu = None
        self.pi = None
        self.cov = None
        self.XY = None



    # Define a function which runs for i iterations:
    def run(self):
        self.reg_cov = 1e-6*np.identity(len(self.X[0]))
        x,y = np.meshgrid(np.sort(self.X[:,0]),np.sort(self.X[:,1]))
        self.XY = np.array([x.flatten(),y.flatten()]).T


        # 1. Set the initial mu, covariance and pi values
        self.mu = np.random.randint(min(self.X[:,0]),max(self.X[:,0]),size=(self.number_of_sources,len(self.X[0]))) # This is a nxm matrix since we assume n sources (n Gaussians) where each has m dimensions
        self.cov = np.zeros((self.number_of_sources,len(X[0]),len(X[0]))) # We need a nxmxm covariance matrix for each source since we have m features --> We create symmetric covariance matrices with ones on the digonal
        for dim in range(len(self.cov)):
            np.fill_diagonal(self.cov[dim],5)


        self.pi = np.ones(self.number_of_sources)/self.number_of_sources # Are "Fractions"
        log_likelihoods = [] # In this list we store the log likehoods per iteration and plot them in the end to check if
                             # if we have converged

        # Plot the initial state    
        fig = plt.figure(figsize=(10,10))
        ax0 = fig.add_subplot(111)
        ax0.scatter(self.X[:,0],self.X[:,1])
        for m,c in zip(self.mu,self.cov):
            c += self.reg_cov
            multi_normal = multivariate_normal(mean=m,cov=c)
            ax0.contour(np.sort(self.X[:,0]),np.sort(self.X[:,1]),multi_normal.pdf(self.XY).reshape(len(self.X),len(self.X)),colors='black',alpha=0.3)
            ax0.scatter(m[0],m[1],c='grey',zorder=10,s=100)


        mu = []
        cov = []
        R = []


        for i in range(self.iterations):               

            mu.append(self.mu)
            cov.append(self.cov)


            # E Step
            r_ic = np.zeros((len(self.X),len(self.cov)))

            for m,co,p,r in zip(self.mu,self.cov,self.pi,range(len(r_ic[0]))):
                co+=self.reg_cov
                mn = multivariate_normal(mean=m,cov=co)
                r_ic[:,r] = p*mn.pdf(self.X)/np.sum([pi_c*multivariate_normal(mean=mu_c,cov=cov_c).pdf(X) for pi_c,mu_c,cov_c in zip(self.pi,self.mu,self.cov+self.reg_cov)],axis=0)
            R.append(r_ic)

            # M Step

            # Calculate the new mean vector and new covariance matrices, based on the probable membership of the single x_i to classes c --> r_ic
            self.mu = []
            self.cov = []
            self.pi = []
            log_likelihood = []

            for c in range(len(r_ic[0])):
                m_c = np.sum(r_ic[:,c],axis=0)
                mu_c = (1/m_c)*np.sum(self.X*r_ic[:,c].reshape(len(self.X),1),axis=0)
                self.mu.append(mu_c)

                # Calculate the covariance matrix per source based on the new mean
                self.cov.append(((1/m_c)*np.dot((np.array(r_ic[:,c]).reshape(len(self.X),1)*(self.X-mu_c)).T,(self.X-mu_c)))+self.reg_cov)
                # Calculate pi_new which is the "fraction of points" respectively the fraction of the probability assigned to each source 
                self.pi.append(m_c/np.sum(r_ic)) 



            # Log likelihood
            log_likelihoods.append(np.log(np.sum([k*multivariate_normal(self.mu[i],self.cov[j]).pdf(X) for k,i,j in zip(self.pi,range(len(self.mu)),range(len(self.cov)))])))



        fig2 = plt.figure(figsize=(10,10))
        ax1 = fig2.add_subplot(111) 
        ax1.plot(range(0,self.iterations,1),log_likelihoods)
        #plt.show()
        print(mu[-1])
        print(cov[-1])
        for r in np.array(R[-1]):
            print(r)
        print(X)

    def predict(self):
        # PLot the point onto the fittet gaussians
        fig3 = plt.figure(figsize=(10,10))
        ax2 = fig3.add_subplot(111)
        ax2.scatter(self.X[:,0],self.X[:,1])
        for m,c in zip(self.mu,self.cov):
            multi_normal = multivariate_normal(mean=m,cov=c)
            ax2.contour(np.sort(self.X[:,0]),np.sort(self.X[:,1]),multi_normal.pdf(self.XY).reshape(len(self.X),len(self.X)),colors='black',alpha=0.3)




EMM = EMM(X,3,100)     
EMM.run()
EMM.predict()

À mon humble avis, toutes les réponses manquent un fait fondamental. Si l'on regarde l'espace des paramètres d'un modèle de mélange gaussien, cet espace est singulier le long du sous-espace où il y a moins que le nombre total de composants dans le mélange. Cela signifie que les dérivées sont automatiquement nulles et généralement tout le sous-espace apparaîtra comme un mle. Plus philosophiquement, le sous-espace des covariances de rang inférieur au rang complet est la limite de l'espace des paramètres et il faut toujours se méfier lorsque le mle se produit sur la frontière - cela indique généralement qu'il y a un plus grand espace de paramètres qui se cache dans lequel on peut trouver le «vrai» mle. Il existe un livre intitulé "Statistiques algébriques" de Drton, Sturmfeld et Sullivant. Cette question est discutée dans ce livre en détail. Si vous êtes vraiment curieux, vous devriez regarder cela.

For a single Gaussian, the mean may possibly equal one of the data points ($x_n$ for example) and then there is the following term in the likelihood function:

$$\begin{equation} {\cal N}(x_n|x_n,\sigma_j 1\!\!1)\rightarrow \lim_{\sigma_j\rightarrow x_n}\frac{1}{(2\pi)^{1/2}\sigma_j} \exp \left( -\frac{1}{\sigma_j}|x_n-\sigma_j|^2 \right)= \frac{1}{(2\pi)^{1/2}\sigma_j} \end{equation}$$ The limit $\sigma_j\rightarrow 0$ is now clearly divergent since the argument of the exponential vanishes.

However for a data point $x_m$ different from the mean $\sigma_j$, we will have

$$\begin{equation} {\cal N}(x_m|x_m,\sigma_j 1\!\!1)= \frac{1}{(2\pi)^{1/2}\sigma_j} \exp \left( -\frac{1}{\sigma_j}|x_m-\sigma_j|^2 \right) \end{equation}$$ and now the argument of the exponential diverges (and is negative) in the limit $\sigma_j\rightarrow 0$. As a result the product of these two terms in the likelihood function will vanish.