Explication de bas en haut de la distance de Mahalanobis?

J'étudie la reconnaissance des formes et les statistiques et presque tous les livres que j'ouvre sur le sujet me heurtent au concept de distance de Mahalanobis . Les livres donnent en quelque sorte des explications intuitives, mais elles ne sont toujours pas suffisantes pour que je puisse réellement comprendre ce qui se passe. Si quelqu'un me demandait "Quelle est la distance de Mahalanobis?" Je ne pouvais que répondre: "C'est cette bonne chose, qui mesure la distance d'une sorte" :)

Les définitions contiennent aussi généralement des vecteurs propres et des valeurs propres, ce que j'ai un peu de difficulté à établir avec la distance de Mahalanobis. Je comprends la définition des vecteurs propres et des valeurs propres, mais comment sont-ils liés à la distance de Mahalanobis? Cela a-t-il quelque chose à voir avec le changement de base en algèbre linéaire, etc.?

J'ai aussi lu ces anciennes questions sur le sujet:

• Quelle est la distance de Mahalanobis, et comment est-elle utilisée dans la reconnaissance des formes?

• Explications intuitives de la fonction de distribution gaussienne et de la distance de mahalanobis (Math.SE)

J'ai aussi lu cette explication .

Les réponses sont bonnes et belles images, mais je ne vraiment l' obtenir ... J'ai une idée mais il est encore dans l'obscurité. Quelqu'un peut-il donner une explication «Comment expliqueriez-vous cela à votre grand-mère? :) D'où vient-il, quoi, pourquoi?

MISE À JOUR:

Voici quelque chose qui aide à comprendre la formule de Mahalanobis:

https://math.stackexchange.com/questions/428064/distance-of-a-test-point-de-le-center-of-an-ellipsoid

Voici un diagramme de dispersion de certaines données multivariées (en deux dimensions):

Que pouvons-nous en faire lorsque les axes sont laissés de côté?

Introduisez les coordonnées suggérées par les données elles-mêmes.

L' origine sera au centroïde des points (le point de leurs moyennes). Le premier axe de coordonnées (bleu dans la figure suivante) s'étend le long de "l'épine" des points, ce qui (par définition) correspond à toute direction dans laquelle la variance est la plus grande. Le deuxième axe de coordonnées (rouge sur la figure) s’étend perpendiculairement au premier. (Dans plus de deux dimensions, il sera choisi dans la direction perpendiculaire dans laquelle la variance est la plus grande possible, etc.).

Nous avons besoin d'une balance . La déviation standard le long de chaque axe sera utile pour établir les unités le long des axes. Rappelez-vous la règle 68-95-99.7: environ deux tiers (68%) des points doivent être dans une unité de l'origine (le long de l'axe); environ 95% devraient être dans les deux unités. Cela facilite l'observation des bonnes unités. Pour référence, cette figure inclut le cercle d’unités dans ces unités:

Cela ne ressemble pas vraiment à un cercle, n'est-ce pas? En effet, cette image est déformée (comme en témoignent les différents espacements entre les nombres sur les deux axes). Redessinons-le avec les axes dans leur orientation correcte - de gauche à droite et de bas en haut - et avec un rapport hauteur / largeur d'unité tel qu'une unité horizontale égale réellement une unité verticale:

Vous mesurez la distance de Mahalanobis dans cette image plutôt que dans l'original.

Que s'est-il passé ici? Nous laissons les données nous indiquer comment construire un système de coordonnées pour effectuer des mesures dans le diagramme de dispersion. C'est tout ce que c'est. Bien que nous ayons eu quelques choix à faire en cours de route (nous pouvions toujours inverser l’un ou les deux axes; et dans de rares cas, les directions le long des "épines" - les directions principales - ne sont pas uniques), elles ne modifient pas les distances. dans le complot final.

---

Commentaires techniques

(Pas pour la grand-mère, qui a probablement commencé à perdre tout intérêt dès que les chiffres ont réapparu sur les parcelles, mais pour répondre aux questions restantes qui ont été posées.)

• Les vecteurs unitaires situés le long des nouveaux axes sont les vecteurs propres (de la matrice de covariance ou de son inverse).

• Nous avons remarqué que le fait de ne pas déformer l’ellipse pour faire un cercle divise la distance le long de chaque vecteur propre par l’écart type: la racine carrée de la covariance. Si à la fonction de covariance, la nouvelle distance (Mahalanobis) entre deux points et est la distance de à divisée par la racine carrée de . Les opérations algébriques correspondantes, pensant maintenant à en termes de représentation en tant que matrice et à et en termes de représentations en tant que vecteurs, s’écrit . Cela marchex y x y C ( x - y , x - y ) C x y $C$$x$$y$$x$$y$$C(x-y, x-y)$$C$$x$$y$$\sqrt{(x-y)'C^{-1}(x-y)}$quelle que soit la base utilisée pour représenter les vecteurs et les matrices. En particulier, c'est la formule correcte pour la distance de Mahalanobis dans les coordonnées d'origine.

• Les quantités par lesquelles les axes sont développés dans la dernière étape sont les (racines carrées des) valeurs propres de la matrice de covariance inverse. De manière équivalente, les axes sont réduits par les (racines des) valeurs propres de la matrice de covariance. Ainsi, plus la dispersion est importante, plus la contraction nécessaire pour convertir cette ellipse en cercle est grande.

• Bien que cette procédure fonctionne toujours avec n'importe quel jeu de données, elle a l'air sympa (le nuage classique en forme de football) pour des données approximativement normales à plusieurs variables. Dans d'autres cas, le point des moyennes peut ne pas être une bonne représentation du centre des données ou les "épines" (tendances générales dans les données) ne seront pas identifiées avec précision en utilisant la variance comme mesure de propagation.

• Le décalage de l'origine des coordonnées, la rotation et l'expansion des axes forment collectivement une transformation affine. En dehors de ce décalage initial, il s'agit d'un changement de base par rapport à celui d'origine (utilisant des vecteurs unitaires pointant dans les directions des coordonnées positives) par le nouveau (utilisant un choix de vecteurs propres d'unité).

• Il existe un lien étroit avec l’ analyse en composantes principales (ACP) . Cela seul explique en grande partie les questions "D'où vient-il" et "Pourquoi" - si vous n'êtes pas déjà convaincu par l'élégance et l'utilité de laisser les données déterminer les coordonnées que vous utilisez pour les décrire et les mesurer différences.

• Pour les distributions normales multivariées (où nous pouvons effectuer la même construction en utilisant les propriétés de la densité de probabilité au lieu des propriétés analogues du nuage de points), la distance de Mahalanobis (à la nouvelle origine) apparaît à la place du " " dans l'expression qui caractérise la densité de probabilité de la distribution normale standard. Ainsi, dans les nouvelles coordonnées, une distribution multivariée de Normal a l’affichage standard de Normalexp ( - $x$$\exp(-\frac{1}{2} x^2)$lorsqu'il est projeté sur une ligne quelconque passant par l'origine. En particulier, il est normal standard dans chacune des nouvelles coordonnées. De ce point de vue, le seul sens important dans lequel les distributions multivariées de Normal diffèrent entre elles est le nombre de dimensions qu’elles utilisent. (Notez que ce nombre de dimensions peut être et est parfois inférieur au nombre nominal de dimensions.)

Ma grand-mère cuisine. Le vôtre pourrait aussi. La cuisine est un moyen délicieux d’enseigner les statistiques.

Citrouille Habanero cookies sont géniaux! Pensez aux merveilles de la cannelle et du gingembre dans les friandises de Noël, puis réalisez à quel point elles sont chaudes.

Les ingrédients sont:

• poivrons habanero (10, épépinés et hachés finement)
• sucre (1,5 tasse)
• beurre (1 tasse)
• extrait de vanille (1 c. à thé)
• oeufs (2 moyens)
• farine (2,75 tasses)
• bicarbonate de soude (1 c. à thé)
• sel (1 c. à thé)

Imaginez que vos axes de coordonnées pour votre domaine soient les volumes d'ingrédients. Sucre. Farine. Sel. Bicarbonate de soude. Les variations dans ces directions, toutes choses étant égales par ailleurs, n’ont pratiquement pas d’impact sur la qualité de la saveur en tant que variation du nombre de piments habanero. Un changement de 10% dans la farine ou le beurre le rendra moins bon, mais pas mortel. En ajoutant juste une petite quantité supplémentaire de habanero, vous tomberez sur une falaise de saveurs allant du dessert addictif au concours de douleur à base de testostérone.

Mahalanobis n'est pas aussi loin en termes de "volume d'ingrédients" que de "meilleur goût". Les ingrédients vraiment "puissants", ceux qui sont très sensibles aux variations, sont ceux que vous devez contrôler avec le plus grand soin.

Si vous pensez à une distribution gaussienne par rapport à la distribution standard normale , quelle est la différence? Centre et échelle basés sur la tendance centrale (moyenne) et la tendance à la variation (écart type). L'un est la transformation de coordonnées de l'autre. Mahalanobis est cette transformation. Cela vous montre à quoi le monde ressemble si votre distribution d'intérêts était redéfinie comme une norme normale au lieu d'une gaussienne.

$d(x,y)=\sqrt{\langle x,y \rangle}$$x$$y$$\mathbb R^{n}$$x$$y$$X$

$x$$y$

$x$$C$

En rassemblant les idées ci-dessus, nous arrivons tout naturellement à

$$D(x,y)=\sqrt{(x-y)\,C^{-1}(x-y)}$$

$X_i$$X=(X_1,\dots,X_n)$$C_{ij}=\delta_{ij}$$X_i$$Var(X_i)=1$$D(x,y)$ $x$$y$$C(x,y)$

Considérons le cas des deux variables. En voyant cette image normale bivariée (merci @whuber), vous ne pouvez pas simplement prétendre que AB est plus grand que AC. Il y a une covariance positive; les deux variables sont liées l'une à l'autre.

Vous pouvez appliquer des mesures euclidiennes simples (lignes droites comme AB et AC) uniquement si les variables sont

1. indépendant
2. avoir des variances égales à 1.

La mesure de distance de Mahalanobis a essentiellement les effets suivants: elle transforme les variables en variables non corrélées avec des variances égales à 1, puis calcule la distance euclidienne simple.

Je vais essayer de vous expliquer le plus simplement possible:

Mahalanobis distance mesure la distance d'un point x d'une distribution de données. La distribution des données est caractérisée par une moyenne et la matrice de covariance, elle est donc supposée être un gaussien multivarié.

Il est utilisé dans la reconnaissance de modèle en tant que mesure de similarité entre le modèle (distribution de données de l'exemple d'apprentissage d'une classe) et l'exemple de test. La matrice de covariance donne la forme de la répartition des données dans l'espace des fonctions.

La figure indique trois classes différentes et la ligne rouge indique la même distance de Mahalanobis pour chaque classe. Tous les points situés sur la ligne rouge ont la même distance de la moyenne de la classe, car la matrice de covariance est utilisée.

La caractéristique principale est l'utilisation de la covariance en tant que facteur de normalisation.

J'aimerais ajouter quelques informations techniques à l'excellente réponse de Whuber. Cette information pourrait ne pas intéresser grand-mère, mais peut-être que son petit-fils le trouverait utile. Ce qui suit est une explication de bas en haut de l'algèbre linéaire pertinente.

$d(x,y)=\sqrt{(x-y)^T\Sigma^{-1}(x-y)}$$\Sigma$$\Sigma$$\Sigma$$\Sigma=Q^TDQ$$\Sigma^{-1}=QD^{-\frac{1}{2}}D^{-\frac{1}{2}}Q^T$$d(x,y)=\sqrt{\left[(x-y)^TQ\right]D^{-\frac{1}{2}}D^{-\frac{1}{2}}\left[Q^T(x-y)\right]}=\sqrt{z^Tz}$$Q$$(x-y)$$D^{-\frac{1}{2}}$$D^{-\frac{1}{2}}$$D^{-1}$$z^Tz$

Je pourrais être un peu en retard pour répondre à cette question. Ce papier ici est un bon point de départ pour comprendre la distance Mahalanobis. Ils fournissent un exemple complet avec des valeurs numériques. Ce qui me plait c'est la représentation géométrique du problème présenté.

Pour ajouter aux excellentes explications ci-dessus, la distance de Mahalanobis apparaît naturellement dans la régression linéaire (multivariée). Ceci est une simple conséquence de certains des liens entre la distance de Mahalanobis et la distribution gaussienne discutés dans les autres réponses, mais je pense que cela vaut la peine de le préciser de toute façon.

$(x_1, y_1), \ldots, (x_N, y_N)$$x_i \in \mathbb{R}^n$$y_i \in \mathbb{R}^m$$\beta_0 \in \mathbb{R}^m$$\beta_1 \in \mathbb{R}^{m \times n}$$y_i = \beta_0 + \beta_1 x_i + \epsilon_i$$\epsilon_1, \ldots, \epsilon_N$$m$$0$$C$$x_i$$y_i$$x_i$$\beta_0 + \beta_1 x_i$$C$

$y_i$$x_i$$\beta = (\beta_0, \beta_1)$

$$\begin{equation} -\log p(y_i \mid x_i; \beta) = \frac{m}{2} \log (2\pi\det C) + \frac{1}{2} (y_i - (\beta_0 + \beta_1 x_i))^\top C^{-1} (y_i - (\beta_0 + \beta x_i)). \end{equation}$$ $C$ $$\begin{equation} \operatorname{argmin}_\beta [-\log p(y_i \mid x_i; \beta)] = \operatorname{argmin}_\beta D_C(\beta_0 + \beta_1 x_i, y_i), \end{equation}$$ $$\begin{equation} D_C(\hat y, y) = \sqrt{(y - \hat y)^\top C^{-1} (y - \hat y)} \end{equation}$$ $\hat y, y \in \mathbb{R}^m$

Par indépendance, le log-vraisemblance de donné est donné par la somme Par conséquent, où le facteur n'affecte pas l'argmin.$\log p({\bf y} \mid {\bf x}; \beta)$${\bf y} = (y_1, \ldots, y_N)$${\bf x} = (x_1, \ldots, x_N)$

$$\begin{equation} \log p({\bf y} \mid {\bf x}; \beta) = \sum_{i=1}^N \log p(y_i \mid x_i; \beta) \end{equation}$$ $$\begin{equation} \operatorname{argmin}_\beta [-\log p({\bf y} \mid {\bf x}; \beta)] = \operatorname{argmin}_\beta \frac{1}{N} \sum_{i=1}^N D_C(\beta_0 + \beta_1 x_i, y_i), \end{equation}$$ $1/N$

En résumé, les coefficients qui minimisent la log-vraisemblance négative (c'est-à-dire maximisent la vraisemblance) des données observées minimisent également le risque empirique des données avec fonction de perte donnée par la distance de Mahalanobis.$\beta_0, \beta_1$

La distance de Mahalanobis est une distance euclidienne (distance naturelle) qui prend en compte la covariance des données. Cela donne un poids plus important aux composants bruyants et est donc très utile pour vérifier la similarité entre deux jeux de données.

Comme vous pouvez le voir dans votre exemple ici, lorsque les variables sont corrélées, la distribution est décalée dans une direction. Vous voudrez peut-être supprimer ces effets. Si vous prenez en compte la corrélation dans votre distance, vous pouvez supprimer l'effet de décalage.