Pourquoi la trace de est dans la régression des moindres carrés quand le vecteur de paramètre est de p dimensions?

Dans le modèle , nous pourrions estimer utilisant l'équation normale:${y} = X \beta + \epsilon$$\beta$

$$\hat{\beta} = (X'X)^{-1}X'y,$$ et nous pourrions obtenir $$\hat{y} = X \hat{\beta}.$$

Le vecteur des résidus est estimé par

$$\hat{\epsilon} = y - X \hat{\beta} = (I - X (X'X)^{-1} X') y = Q y = Q (X \beta + \epsilon) = Q \epsilon,$$

où

$$Q = I - X (X'X)^{-1} X'.$$

Ma question est de savoir comment obtenir la conclusion de

$$\textrm{tr}(Q) = n - p.$$

La conclusion ne fait que compter les dimensions des espaces vectoriels. Cependant, ce n'est généralement pas vrai.

Les propriétés les plus élémentaires de la multiplication matricielle montrent que la transformation linéaire représentée par la matrice satisfait$\mathbb{H}=X(X^\prime X)^{-}X^\prime$

$$\mathbb{H}^2 = \left(X(X^\prime X)^{-}X^\prime\right)^2=X(X^\prime X)^{-}(X^\prime X)(X^\prime X)^{-}X^\prime=\mathbb{H},$$

l'exposant comme opérateur de projection . Par conséquent, son complément

$$\mathbb{Q} = 1 - \mathbb{H}$$

(comme indiqué dans la question) est également un opérateur de projection. La trace de est son rang (voir ci-dessous), d'où la trace de est égale à .$\mathbb{H}$$h$$\mathbb{Q}$$n-h$

De sa formule même, il apparaît que est la matrice associée à la composition de deux transformations linéaires et lui-même. Le premier ( ) transforme le -vecteur en -vecteur . Le second ( ) est une transformation de en donnée par . Son rang ne peut pas dépasser la plus petite de ces deux dimensions, qui dans un réglage des moindres carrés est toujours (mais pourrait être inférieure àJ = ( X ' X ) - X ' X J n y p β X R p R n y = X β p p J H = X J$\mathbb{H}$

$$\mathbb{J}=(X^\prime X)^{-}X^\prime$$ $X$$\mathbb{J}$$n$$y$$p$$\hat\beta$$X$$\mathbb{R}^p$$\mathbb{R}^n$$\hat y = X\hat \beta$$p$$p$, chaque fois que n'est pas de rang complet). Par conséquent , le rang de la composition ne peut pas dépasser le rang de . La conclusion correcte est donc$\mathbb{J}$$\mathbb{H}=X\mathbb{J}$$X$

J n ≥ tr ( Q ) ≥ n - p $\text{tr} (\mathbb{Q}) = n-p$ si et seulement si est de rang complet; et en général . Dans le premier cas, le modèle est dit "identifiable" (pour les coefficients de ).$\mathbb{J}$$n \ge \text{tr} (\mathbb{Q}) \ge n-p$$\beta$

X ′$\mathbb{J}$ aura un rang complet si et seulement si est inversible.$X^\prime X$

---

Interprétation géométrique

n y X Q = 1 - H n y y = H ( y ) + Q ( y ) , X p X p H p Q n - p n - $\mathbb{H}$ représente la projection orthogonale de -vecteurs (représentant la "réponse" ou la "variable dépendante") sur l'espace couvert par les colonnes de (représentant les "variables indépendantes" ou les "covariables"). La différence montre comment décomposer tout -vecteur en une somme de vecteurs où le premier peut être "prédit" à partir de et le second lui est perpendiculaire. Lorsque les colonnes de génèrent un espace à dimensions (c'est-à-dire qu'elles ne sont pas colinéaires),$n$$y$$X$$\mathbb{Q}=1-\mathbb{H}$$n$$y$

$$y = \mathbb{H}(y) + \mathbb{Q}(y),$$ $X$$p$$X$$p$$\mathbb{H}$ est et le rang de est , reflétant les dimensions supplémentaires de variation dans la réponse qui ne sont pas représentées dans les variables indépendantes. La trace donne une formule algébrique pour ces dimensions.$p$$\mathbb{Q}$$n-p$$n-p$

---

Fond d'algèbre linéaire

Un opérateur de projection sur un espace vectoriel (tel que ) est une transformation linéaire (c'est-à-dire un endomorphisme de ) telle que . Cela fait de son complément un opérateur de projection également, carR n P : V → V V P 2 = P Q = 1 - $V$$\mathbb{R}^n$$\mathbb{P}:V\to V$$V$$\mathbb{P}^2=\mathbb{P}$$\mathbb{Q}=1-\mathbb{P}$

$$\mathbb{Q}^2 = \left(1 - \mathbb{P}\right)^2 = 1 - 2\mathbb{P} + \mathbb{P}^2 = 1-2\mathbb{P}+\mathbb{P} = \mathbb{Q}.$$

Toutes les projections corrigent chaque élément de leurs images, car chaque fois que nous pouvons écrire pour certains , d'oùv = P ( w ) w ∈ V w = P ( v ) = P 2 ( v ) = P ( P ( v ) ) = P ( w ) $v\in \text{Im}(\mathbb{P})$$v = \mathbb{P}(w)$$w\in V$

$$w = \mathbb{P}(v) = \mathbb{P}^2(v) = \mathbb{P}(\mathbb{P}(v)) = \mathbb{P}(w).$$

À tout endomorphisme de sont associés deux sous-espaces: son noyau et son image Chaque vecteur peut être écrit sous la forme où et . On peut donc construire une base pour pour laquelle et . Lorsque V ker ( P ) = { v ∈ $\mathbb{P}$$V$ Im ( P ) = { v ∈

$$\text{ker}(\mathbb{P}) = \{v\in v\,|\, \mathbb{P}(v)=0\}$$ v ∈ V v = w + u w ∈ Im ( P ) u ∈ Ker ( P ) E ∪ F V E ⊂ Ker ( P ) F ⊂ Im ( P ) V P P E P F f f F f P f $$\text{Im}(\mathbb{P}) = \{v\in v\,|\, \exists_{w\in V} \mathbb{P}(w)=v\}.$$ $v\in V$ $$v = w+u$$ $w\in \text{Im}(\mathbb{P})$$u\in \text{Ker}(\mathbb{P})$$E \cup F$$V$$E \subset \text{Ker}(\mathbb{P})$$F \subset \text{Im}(\mathbb{P})$$V$est de dimension finie, la matrice de dans cette base sera donc sous forme diagonale, avec un bloc (correspondant à l'action de sur ) tous zéros et l'autre (correspondant à l'action de sur ) égale à la matrice d'identité par , où la dimension de est . La trace de est la somme des valeurs sur la diagonale et doit donc être égale à . Ce nombre est le rang de : la dimension de son image.$\mathbb{P}$$\mathbb{P}$$E$$\mathbb{P}$$F$$f$$f$$F$$f$$\mathbb{P}$$f\times 1 = f$$\mathbb{P}$

La trace de est égale à la trace de (égal à , la dimension de ) moins la trace de . 1 n V $1-\mathbb{P}$$1$$n$$V$$\mathbb{P}$

Ces résultats peuvent être résumés avec l'affirmation que la trace d'une projection est égale à son rang.

@Dougal a déjà donné une réponse, mais en voici une autre, un peu plus simple.

Tout d'abord, utilisons le fait que . Ainsi, nous obtenons:Maintenant, est une matrice d'identité , donc . Utilisons maintenant le fait que , c'est-à-dire que la trace est invariante sous permutations cycliques. Donc, nous avons:Lorsque nous multiplions par , nous obtenons une matrice d'identité , dont la trace est . Ainsi, nous obtenons:$\newcommand{\tr}{\mathrm{tr}}\tr(A - B) = \tr(A) - \tr(B)$

$$\tr(Q) = \tr(I) - \tr(X(X'X)^{-1}X').$$ $I$$n \times n$$\tr(I) = n$$\tr(AB) = \tr(BA)$ $$\tr(Q) = n - \tr((X'X)^{-1}(X'X)).$$ $(X'X)^{-1}$$(X'X)$$p \times p$$p$ $$\tr(Q) = n - p.$$

$\newcommand\R{\mathbb R}$ Supposons que et que soit complet.$n \le p$$X$

Considérons la décomposition compacte des valeurs singulières , où est diagonale et ont (mais notez que est au plus donc il ne peut pas être ). alors$X = U \Sigma V^T$$\Sigma \in \R^{p \times p}$$U \in \R^{n \times p}, V \in \R^{p \times p}$$U^T U = V^T V = V V^T = I_p$$U U^T$$p$$I_n$

$$\begin{align} X (X^T X)^{-1} X^T &= U \Sigma V^T (V \Sigma U^T U \Sigma V^T)^{-1} V \Sigma U^T \\&= U \Sigma V^T (V \Sigma^2 V^T)^{-1} V \Sigma U^T \\&= U \Sigma V^T V \Sigma^{-2} V^T V \Sigma U^T \\&= U U^T .\end{align}$$

Maintenant, il existe une matrice telle que est unitaire. On peut écrire Cette forme montre que est semi-défini positif, et comme il s'agit d'un svd valide et que les valeurs singulières sont le carré des valeurs propres pour une matrice symétrique carrée, nous indique également que a des valeurs propres 1 (de multiplicité ) et 0 (de multiplicité ).$U_2 \in \R^{n \times n-p}$$U_n = \begin{bmatrix}U & U_2\end{bmatrix}$

$$\begin{align} I - X (X^T X)^{-1} X^T &= U_n U_n^T - U U^T \\&= U_n \left( I_n - \begin{bmatrix}I_p & 0 \\ 0 & 0\end{bmatrix} \right) U_n^T \\&= U_n \begin{bmatrix}0 & 0 \\ 0 & I_{n-p}\end{bmatrix} U_n^T .\end{align}$$ $Q$$Q$$n-p$$p$$Q$$n-p$.