Pourquoi la pente est-elle toujours exactement 1 lors de la régression des erreurs sur les résidus en utilisant OLS?

10

J'expérimentais la relation entre les erreurs et les résidus à l'aide de simulations simples dans R. Une chose que j'ai trouvée est que, quelle que soit la taille de l'échantillon ou la variance d'erreur, j'obtiens toujours exactement pour la pente lorsque vous ajustez le modèle $1$

e r r o r s \sim β_{0} + β_{1} \times r e s i d u a l s

${\rm errors} \sim \beta_0 + \beta_1 \times {\rm residuals}$

Voici la simulation que je faisais:

n <- 10 
s <- 2.7 

x <- rnorm(n) 
e <- rnorm(n,sd=s)
y <- 0.3 + 1.2*x + e

model <- lm(y ~ x) 
r <- model$res 

summary( lm(e ~ r) )

eet rsont fortement (mais pas parfaitement) corrélés, même pour de petits échantillons, mais je ne peux pas comprendre pourquoi cela se produit automatiquement. Une explication mathématique ou géométrique serait appréciée.

regression least-squares residuals

— GoF_Logistic
source

5

Dans le triangle plan OXY, avec la base OX, les altitudes des côtés YO et XY sont l'altitude du triangle lui-même. Afin, ces altitudes sont données par les coefficients de lm(y~r), lm(e~r)et lm(r~r), par conséquent , qui doivent tous être égaux. Ce dernier est évidemment

. Essayez ces trois commandes pour voir. Pour que le dernier fonctionne, vous devez créer une copie de , comme . Pour plus d'informations sur les diagrammes géométriques de régression, voir stats.stackexchange.com/a/113207 .

1

$1$ Rrs<-r;lm(r~s)

— whuber

1

Merci @whuber. Souhaitez-vous faire une réponse pour que je puisse l'accepter, ou peut-être la marquer comme doublon?

— GoF_Logistic

1

Je ne pense pas que ce soit un doublon, j'ai donc développé le commentaire en réponse.

— whuber

11

la réponse de whuber est excellente! (+1) J'ai résolu le problème en utilisant la notation qui m'est la plus familière et j'ai pensé que la dérivation (moins intéressante, plus routinière) pourrait être utile d'inclure ici.

Soit le modèle de régression, pour et le bruit. Ensuite , la régression de sur les colonnes de a les équations normales les estimations rendement $y = X \beta^* + \epsilon$ $X \in \mathbb{R}^{n \times p}$ $\epsilon$ $y$ $X$ $X^T\left(y - X \hat\beta\right) = 0,$

\hat{β} = {(X^{T} X)}^{- 1} X^{T} y .

$\hat\beta = \left(X^T X \right)^{-1} X^T y.$ Par conséquent , la régression a résidus

pour

.

r = y - X \hat{β} = (I - H) y = (I - H) ϵ,

$r = y - X \hat\beta = \left( I - H \right) y = \left( I - H \right) \epsilon,$

H = X (X^{T} X)^{- 1} X^{T}

$H = X (X^T X)^{-1} X^T$

La régression de sur donne une pente estimée donnée par $\epsilon$ $r$ puisqueest symétrique et idempotent etpresque sûrement.

\begin{aligned} (r^{T} r)^{- 1} r^{T} ϵ & = {({[(I - H) ϵ]}^{T} [(I - H) ϵ])}^{- 1} {[(I - H) ϵ]}^{T} ϵ \\ = \frac{ϵ^{T} {(I - H)}^{T} ϵ}{ϵ^{T} {(I - H)}^{T} (I - H) ϵ} \\ = \frac{ϵ^{T} (I - H) ϵ}{ϵ^{T} (I - H) ϵ} \\ = 1, \end{aligned}

$\begin{align*} (r^T r)^{-1} r^T \epsilon & = \left( \left[ \left(I - H\right) \epsilon \right]^T \left[ \left(I - H\right) \epsilon \right] \right)^{-1} \left[ \left(I - H\right) \epsilon \right]^T \epsilon \\ & = \frac{\epsilon^T \left( I - H \right)^T \epsilon}{\epsilon^T \left( I - H \right)^T \left( I - H \right) \epsilon} \\ & = \frac{\epsilon^T \left( I - H \right) \epsilon}{\epsilon^T \left( I - H \right) \epsilon} \\ & = 1, \end{align*}$

I - H

$I-H$

ϵ \notin i m (X)

$\epsilon \not\in \mathrm{im}(X)$

De plus, cet argument est également valable si nous incluons une interception lorsque nous effectuons la régression des erreurs sur les résidus si une interception a été incluse dans la régression d'origine, car les covariables sont orthogonales (c.-à-d. , à partir des équations normales) . $1^T r = 0$

— user795305
source

+1 C'est toujours agréable de voir une solution élaborée avec soin et clarté.

— whuber

11

$x$ $e$ $Y=\beta x + e$ $b$ $\beta$ $r = Y - bx$ $O$

$\beta x$ $e$ $Y$ $bx$ $Y-bx$ $r$

$x$ $OY$ $(\beta x)Y$ $r$ $r$ $Y$ $r$ $Y$ $e$ $r$ $e$ $r$ $r$ $r$ $1$

$r$ $e=r+(\beta-b)x$ $Y=e+\beta x = r + (2\beta-b)x$ $x$ $x$ $r$ $r$ $1$ $x$ $r$

— whuber
source