Prouver la relation entre la distance de Mahalanobis et l'effet de levier?

J'ai vu des formules sur Wikipédia. qui concernent la distance et l'effet de levier de Mahalanobis:

La distance de Mahalanobis est étroitement liée à la statistique de l'effet de levier, , mais a une échelle différente: $h$
$D^{2} = (N - 1) (h - \frac{1}{N}) .$ $D^2 = (N - 1)(h - \tfrac{1}{N}).$

Dans un article lié , Wikipedia décrit en ces termes: $h$

Dans le modèle de régression linéaire, le score de levier pour l' unité de données est défini comme: l' élément diagonal de la matrice de chapeau , où désigne la transposition de la matrice. $i^{th}$
$h_{i i} = (H)_{i i},$ $h_{ii}=(H)_{ii},$ $i^{th}$ $H=X(X^{\top}X)^{-1}X^{\top}$ $^{\top}$

Je ne trouve aucune preuve nulle part. J'ai essayé de partir des définitions mais je ne peux faire aucun progrès. N'importe qui peut donner un indice?

— dave2d
source

Ma description de la distance de Mahalanobis en bas en haut explication de la distance de Mahalanobis? comprend deux résultats clés:

Par définition, il ne change pas lorsque les régresseurs sont décalés uniformément.
La distance au carré de Mahalanobis entre les vecteurs et est donnée par où est la covariance des données. $x$ $y$
$D^{2} (x, y) = (x - y)^{'} Σ^{- 1} (x - y)$ $D^2(x,y) = (x-y)^\prime \Sigma^{-1}(x-y)$ $\Sigma$

(1) nous permet de supposer que les moyennes des régresseurs sont toutes nulles. Reste à calculer . Cependant, pour que l'affirmation soit vraie, nous devons ajouter une autre hypothèse: $h_i$

Le modèle doit inclure une interception.

En tenant compte de cela, qu'il y ait régresseurs et données, en écrivant la valeur du régresseur pour l'observation comme . Soit le vecteur colonne de ces valeurs pour le régresseur écrit et le vecteur ligne de ces valeurs pour l'observation être écrit . Ensuite, la matrice du modèle est $k \ge 0$ $n$ $j$ $i$ $x_{ij}$ $n$ $j$ $\mathbf{x}_{,j}$ $k$ $i$ $\mathbf{x}_i$

X = (\begin{matrix} 1 & x_{11} & \dots & x_{1 k} \\ 1 & x_{21} & \dots & x_{2 k} \\ ⋮ & ⋮ & ⋮ & ⋮ \\ 1 & x_{n 1} & \dots & x_{n k} \end{matrix})

$X = \pmatrix{ 1 &x_{11} &\cdots &x_{1k} \\ 1 &x_{21} &\cdots &x_{2k} \\ \vdots &\vdots &\vdots &\vdots \\ 1 &x_{n1} &\cdots &x_{nk}}$

et, par définition, la matrice de chapeau est

H = X (X^{'} X)^{- 1} X^{'},

$H = X(X^\prime X)^{-1} X^\prime,$

d'où l'entrée long de la diagonale est $i$

\begin{matrix} (1) & h_{i} = h_{i i} = (1; x_{i}) (X^{'} X)^{- 1} (1; x_{i})^{'} . \end{matrix}

$h_i = h_{ii} = (1; \mathbf{x}_i) (X^\prime X)^{-1} (1; \mathbf{x}_i)^\prime.\tag{1}$

Il n'y a rien d'autre à faire que de calculer cette matrice centrale inverse - mais en vertu du premier résultat clé, c'est facile, surtout lorsque nous l'écrivons sous forme de matrice de blocs:

X^{'} X = n (\begin{matrix} 1 & 0^{'} \\ 0 & C \end{matrix})

$X^\prime X = n\pmatrix{1 & \mathbf{0}^\prime \\ \mathbf{0} & C}$

où et $\mathbf{0} = (0,0,\ldots,0)^\prime$

C_{j k} = \frac{1}{n} \sum_{i = 1}^{n} x_{i j} x_{i k} = \frac{n - 1}{n} Cov (x_{j}, x_{k}) = \frac{n - 1}{n} Σ_{j k} .

$C_{jk} = \frac{1}{n} \sum_{i=1}^n x_{ij} x_{ik} = \frac{n-1}{n}\operatorname{Cov}(\mathbf{x}_j, \mathbf{x}_k) = \frac{n-1}{n}\Sigma_{jk}.$

(J'ai écrit pour l' exemple de matrice de covariance des régresseurs.) Parce que c'est la diagonale du bloc, son inverse peut être trouvé simplement en inversant les blocs: $\Sigma$

(X^{'} X)^{- 1} = \frac{1}{n} (\begin{matrix} 1 & 0^{'} \\ 0 & C^{- 1} \end{matrix}) = (\begin{matrix} \frac{1}{n} & 0^{'} \\ 0 & \frac{1}{n - 1} Σ^{- 1} \end{matrix}) .

$(X^\prime X)^{-1} = \frac{1}{n}\pmatrix{1 & \mathbf{0}^\prime \\ \mathbf{0} & C^{-1}} = \pmatrix{\frac{1}{n} & \mathbf{0}^\prime \\ \mathbf{0} & \frac{1}{n-1}\Sigma^{-1}}.$

De la définition on obtient $(1)$

\begin{aligned} h_{i} & = (1; x_{i}) (\begin{matrix} \frac{1}{n} & 0^{'} \\ 0 & \frac{1}{n - 1} Σ^{- 1} \end{matrix}) (1; x_{i})^{'} \\ = \frac{1}{n} + \frac{1}{n - 1} x_{i} Σ^{- 1} x_{i}^{'} \\ = \frac{1}{n} + \frac{1}{n - 1} D^{2} (x_{i}, 0) . \end{aligned}

$\eqalign{ h_i &= (1; \mathbf{x}_i) \pmatrix{\frac{1}{n} & \mathbf{0}^\prime \\ \mathbf{0} & \frac{1}{n-1}\Sigma^{-1}}(1; \mathbf{x}_i)^\prime \\ &=\frac{1}{n} + \frac{1}{n-1}\mathbf{x}_i \Sigma^{-1}\mathbf{x}_i^\prime \\ &=\frac{1}{n} + \frac{1}{n-1} D^2(\mathbf{x}_i, \mathbf{0}). }$

La résolution de la longueur au carré de Mahalanobis donne $D_i^2 = D^2(\mathbf{x}_i, \mathbf{0})$

D_{i}^{2} = (n - 1) (h_{i} - \frac{1}{n}),

$D_i^2 = (n-1)\left(h_i - \frac{1}{n}\right),$

QED .

Avec le recul, on peut tracer le terme additif de la présence d'une interception, qui a introduit la colonne de celles dans la matrice du modèle . Le terme multiplicatif est apparu après avoir supposé que la distance de Mahalanobis serait calculée en utilisant l' estimation de covariance de l' échantillon (qui divise les sommes des carrés et des produits par ) plutôt que la matrice de covariance des données (qui divise la somme des carrés et produits par ). $1/n$ $X$ $n-1$ $n-1$ $n$

La valeur principale de cette analyse est de donner une interprétation géométrique à l'effet de levier, qui mesure combien un changement d'unité dans la réponse à l' observation va changer la valeur ajustée à cette observation: observations fort effet de levier sont à grande distance Mahalanobis du centre de gravité des régresseurs, exactement comme un levier mécaniquement efficace fonctionne à une grande distance de son point d'appui. $i$

Code R pour montrer que la relation est vraie:

x <- mtcars

# Compute Mahalanobis distances
h <- hat(x, intercept = TRUE); names(h) <- rownames(mtcars)
M <- mahalanobis(x, colMeans(x), cov(x))

# Compute D^2 of the question
n <- nrow(x); D2 <- (n-1)*(h - 1/n)

# Compare.
all.equal(M, D2)               # TRUE
print(signif(cbind(M, D2), 3))

— whuber
source

Excellente réponse, très bien arrondie avec rigueur et intuition. À votre santé!

— cgrudz

Merci pour le post @whuber! Pour vérifier la santé mentale, voici le code R pour montrer que la relation est vraie: x <- mtcars rownames (x) <- NULL colnames (x) <- NULL n <- nrow (x) h <- hat (x, T) mahalanobis (x, colMeans (x), cov (x)) (n-1) * (h - 1 / n) all.equal (mahalanobis (x, colMeans (x), cov (x)), (n-1 ) * (h - 1 / n))

— Tal Galili

@Tal, je ne pensais pas avoir besoin d'un examen de santé mentale - mais merci pour le code. :-) J'ai apporté des modifications pour le clarifier un peu et sa sortie.

— whuber

@whuber, je voulais un exemple qui montre comment faire fonctionner l'égalité (en me faisant comprendre que j'avais les bonnes hypothèses). J'ai également étendu l'entrée Wiki pertinente: en.wikipedia.org/wiki/… (n'hésitez pas à y consacrer aussi, comme bon vous semble :))

— Tal Galili