Quelle est la corrélation attendue entre la variable résiduelle et la variable dépendante?

26

En régression linéaire multiple, je peux comprendre que les corrélations entre le résidu et les prédicteurs sont nulles, mais quelle est la corrélation attendue entre le résiduel et la variable critère? Doit-on s'attendre à ce qu'il soit nul ou fortement corrélé? Quelle est la signification de cela?

regression residuals

— Jfly
source

4

Qu'est-ce qu'une "variable critère" ??

— whuber

2

@whuber Je suppose que Jfly fait référence à la réponse / le résultat / la personne à charge / etc. variable. davidmlane.com/hyperstat/A101702.html Il est intéressant de voir les nombreux noms de ces variables passer: en.wikipedia.org/wiki/…

— Jeromy Anglim

@ Jeromy Merci! J'avais deviné que c'était le sens mais je n'en étais pas sûr. C'est un nouveau terme pour moi - et pour Wikipédia, évidemment.

— whuber

J'aurais pensé que ce serait égal à

E [R^{2}]

$E[R^2]$ ou quelque chose de similaire, comme

R^{2} = [c o r r (y, \hat{y})]^{2}

$R^2=[corr(y,\hat{y})]^2$

— probabilityislogic

y = f (x) + e

$y = f(x) + e$ , où

f

$f$ est la fonction de régression,

e

$e$ est l'erreur et

C o v (f (x), e) = 0

$Cov(f(x),e) = 0$ . Alors

C o r r (y, e) = S D (e) / S D (y) = \sqrt{1 - R^{2}}

$Corr(y,e) = SD(e)/SD(y) = \sqrt{1-R^2}$ . Voilà l'exemple de statistique; sa valeur attendue serait similaire mais plus désordonnée.

— Ray Koopman

20

Dans le modèle de régression:

y_{i} = x_{i}^{'} β + u_{i}

$y_i=\mathbf{x}_i'\beta+u_i$

l'hypothèse est que d' habitude , est un échantillon iid. Dans l'hypothèse où et a un rang complet, l'estimateur des moindres carrés ordinaires: $(y_i,\mathbf{x}_i,u_i)$ $i=1,...,n$ $E\mathbf{x}_iu_i=0$ $E(\mathbf{x}_i\mathbf{x}_i')$

\hat{β} = {(\sum_{i = 1}^{n} x_{i} x_{i}^{'})}^{- 1} \sum_{i = 1} x_{i} y_{i}

$\widehat{\beta}=\left(\sum_{i=1}^n\mathbf{x}_i\mathbf{x}_i'\right)^{-1}\sum_{i=1}\mathbf{x}_iy_i$

est cohérent et asymptotiquement normal. La covariance attendue entre un résiduel et la variable de réponse est alors:

E y_{i} u_{i} = E (x_{i}^{'} β + u_{i}) u_{i} = E u_{i}^{2}

$Ey_iu_i=E(\mathbf{x}_i'\beta+u_i)u_i=Eu_i^2$

Si l' on suppose en outre que et , on peut calculer la covariance attendue entre et son résidu de régression: $E(u_i|\mathbf{x}_1,...,\mathbf{x}_n)=0$ $E(u_i^2|\mathbf{x}_1,...,\mathbf{x}_n)=\sigma^2$ $y_i$

\begin{aligned} E y_{i} {\hat{u}}_{i} & = E y_{i} (y_{i} - x_{i}^{'} \hat{β}) \\ = E (x_{i}^{'} β + u_{i}) (u_{i} - x_{i} (\hat{β} - β)) \\ = E (u_{i}^{2}) (1 - E x_{i}^{'} {(\sum_{j = 1}^{n} x_{j} x_{j}^{'})}^{- 1} x_{i}) \end{aligned}

$\begin{align*} Ey_i\widehat{u}_i&=Ey_i(y_i-\mathbf{x}_i'\widehat{\beta})\\\\ &=E(\mathbf{x}_i'\beta+u_i)(u_i-\mathbf{x}_i(\widehat{\beta}-\beta))\\\\ &=E(u_i^2)\left(1-E\mathbf{x}_i' \left(\sum_{j=1}^n\mathbf{x}_j\mathbf{x}_j'\right)^{-1}\mathbf{x}_i\right) \end{align*}$

Maintenant , pour obtenir la corrélation que nous devons calculer et . Il se trouve que $\text{Var}(y_i)$ $\text{Var}(\hat{u}_i)$

Var ({\hat{u}}_{i}) = E (y_{i} {\hat{u}}_{i}),

$\text{Var}(\hat u_i)=E(y_i\hat{u}_i),$

Par conséquent

Corr (y_{i}, {\hat{u}}_{i}) = \sqrt{1 - E x_{i}^{'} {(\sum_{j = 1}^{n} x_{j} x_{j}^{'})}^{- 1} x_{i}}

$\text{Corr}(y_i,\hat u_i)=\sqrt{1-E\mathbf{x}_i' \left(\sum_{j=1}^n\mathbf{x}_j\mathbf{x}_j'\right)^{-1}\mathbf{x}_i}$

Maintenant, le terme provient dediagonale de la matrice de chapeau, où. La matriceest idempotente, donc elle satisfait une propriété suivante $\mathbf{x}_i' \left(\sum_{j=1}^n\mathbf{x}_j\mathbf{x}_j'\right)^{-1}\mathbf{x}_i$ $H=X(X'X)^{-1}X'$ $X=[\mathbf{x}_i,...,\mathbf{x}_N]'$ $H$

trace (H) = \sum_{i} h_{i i} = rank (H),

$\text{trace}(H)=\sum_{i}h_{ii}=\text{rank}(H),$

où est le terme diagonal de . Le est le nombre de variables linéairement indépendantes dans , qui est généralement le nombre de variables. Appelons cela . Le nombre de est la taille de l' échantillon . Nous avons donc termes non négatifs qui devraient résumer à . Habituellement, est beaucoup plus grand que , donc beaucoup de $h_{ii}$ $H$ $\text{rank}(H)$ $\mathbf{x}_i$ $p$ $h_{ii}$ $N$ $N$ $p$ $N$ $p$ $h_{ii}$ serait proche du zéro, ce qui signifie que la corrélation entre le résiduel et la variable de réponse serait proche de 1 pour la plus grande partie des observations.

Le terme est également utilisé dans divers diagnostics de régression pour déterminer les observations influentes. $h_{ii}$

— mpiktas
source

10

+1 C'est exactement la bonne analyse. Mais pourquoi ne finissez-vous pas le travail et ne répondez-vous pas à la question? Le PO demande si cette corrélation est "élevée" et ce qu'elle pourrait signifier .

— whuber

On pourrait donc dire que la corrélation est à peu près

\sqrt{1 - \frac{p}{N}}

$\sqrt{1-\frac{p}{N}}$

— probabilitéislogic

1

La corrélation est différente pour chaque observation, mais oui, vous pouvez le dire, à condition que X n'ait pas de valeurs aberrantes.

— mpiktas

21

La corrélation dépend du . Si est élevé, cela signifie qu'une grande partie de la variation de votre variable dépendante peut être attribuée à la variation de vos variables indépendantes, et NON à votre terme d'erreur. $R^2$ $R^2$

Cependant, si est faible, cela signifie qu'une grande partie de la variation de votre variable dépendante n'est pas liée à la variation de vos variables indépendantes et doit donc être liée au terme d'erreur. $R^2$

Considérez le modèle suivant:

, où et sont pas corrélés. $Y=X\beta+\varepsilon$ $Y$ $X$

En supposant des conditions de régularité suffisantes pour que le CLT tienne.

converge vers, étant donnéetsont pas corrélés. Par conséquent sera toujours nul. Ainsi, le. etsont parfaitement corrélés !!! $\hat{\beta}$ $0$ $X$ $Y$ $\hat{Y}=X\hat{\beta}$ $\varepsilon:=Y-\hat{Y}=Y-0=Y$ $\varepsilon$ $Y$

En maintenant tout le reste fixe, l'augmentation de diminuera la corrélation entre l'erreur et la dépendance. Une forte corrélation n'est pas nécessairement alarmante. Cela peut simplement signifier que le processus sous-jacent est bruyant. Cependant, un faible (et donc une forte corrélation entre l'erreur et la dépendance) peut être dû à une mauvaise spécification du modèle. $R^2$ $R^2$

— Mat
source

Je trouve cette réponse confusion, en partie grâce à son utilisation de «

» pour se tenir à la fois pour les termes d'erreur dans le modèle et les résidus

. Un autre point de confusion est la référence à "converger vers" même s'il n'y a aucune séquence de quoi que ce soit en évidence à laquelle la convergence pourrait s'appliquer. L'hypothèse selon laquelle

et

sont pas corrélés semble particulière et n'illustre pas les circonstances générales. Tout cela obscurcit ce que cette réponse pourrait essayer de dire ou quelles affirmations sont généralement vraies.

ε

$\varepsilon$

Y - \hat{Y}

$Y-\hat Y$

X

$X$

Y

$Y$

— whuber

17

Je trouve ce sujet assez intéressant et les réponses actuelles sont malheureusement incomplètes ou partiellement trompeuses - malgré la pertinence et la grande popularité de cette question.

Par définition du cadre classique OLS il devrait y avoir aucune relation entre et $y ̂$ $\hat u$ , étant donné que les résidus obtenus sont par construction décorrélé lors du calcul de l'estimateur OLS. La propriété minimisant la variance sous homoscédasticité garantit que l'erreur résiduelle est répartie de manière aléatoire autour des valeurs ajustées. Cela peut être formellement démontré par: $y ̂$

Cov (y ̂, u ̂ | X) = Cov (P y, M y | X) = Cov (P y, (I - P) y | X) = P Cov (y, y) (I - P)^{'}

$\text{Cov}(y ̂,u ̂|X)=\text{Cov}(Py,My|X)=\text{Cov}(Py,(I-P)y|X)=P\text{Cov}(y,y)(I-P)'$

= P σ^{2} - P σ^{2} = 0

$=Pσ^2-Pσ^2=0$

Où et sont des matrices idempotent définies comme étant: et . $M$ $P$ $P=X(X' X)X'$ $M=I-P$

Ce résultat est basé sur une exogénéité et une homoskédasticité strictes, et tient pratiquement dans de grands échantillons. L'intuition pour leur non corrélation est la suivante: Les valeurs ajustées à sont centrées autour de qui sont considérés comme indépendamment et identiquement distribués. Cependant, tout écart par rapport à l'hypothèse d'exogénéité stricte et homoscédasticité pourrait provoquer des variables explicatives pour être endogènes et stimuler une corrélation latente entre et . $y ̂$ $X$ $u ̂$ $u ̂$ $y ̂$

Maintenant , la corrélation entre les résidus l ' « original » est une histoire complètement différente: $u ̂$ $y$

Cov (y, u ̂ | X) = Cov (y M y | X) = Cov (y, (1 - P) y) = Cov (y, y) (1 - P) = σ^{2} M

$\text{Cov}(y,u ̂|X)=\text{Cov}(yMy|X)=\text{Cov}(y,(1-P)y)=\text{Cov}(y,y)(1-P)=σ^2 M$

Certains vérifier dans la théorie et nous savons que cette matrice de covariance est identique à la matrice de covariance du résidu lui - même ( la preuve omise). On a: $\hat{u}$

Var (u ̂) = σ^{2} M = Cov (y, u ̂ | X)

$\text{Var}(u ̂ )=σ^2 M=\text{Cov}(y,u ̂|X)$

Si nous voulons calculer la covariance entre (scalaire) et tel que demandé par l'OP, on obtient: $y$ $\hat{u}$

⟹ {Cov}_{s c a l a r} (y, u ̂ | X) = Var (u ̂ | X) = (\sum u_{i}^{2}) / N

$\implies \text{Cov}_{scalar}(y,u ̂|X)=\text{Var}(u ̂|X)=\left(∑u_i^2 \right)/N$

(= en additionnant les entrées diagonales de la matrice de covariance et en divisant par N)

La formule ci-dessus indique un point intéressant. Si nous testons la relation en régressant $y$ sur les résidus (+ constante), le coefficient de pente , qui peut être facilement déduite lorsque l' on divise l'expression ci - dessus par le . $\hat{u}$ $\beta_{\hat{u},y}=1$ $\text{Var}(u ̂|X)$

En revanche, la corrélation est la covariance standardisée par les écarts-types respectifs. Maintenant, la matrice de variance des résidus est , tandis que la variance de est . La corrélation devient donc: $σ^2 M$ $y$ $σ^2 I$ $\text{Corr}(y,u ̂ )$

Corr (y, u ̂) = \frac{Var (u ̂)}{\sqrt{Var (\hat{u}) Var (y)}} = \sqrt{\frac{Var (u ̂)}{Var (y)}} = \sqrt{\frac{Var (u ̂)}{σ^{2}}}

$\text{Corr}(y,u ̂ )=\frac{\text{Var}(u ̂ )}{\sqrt{\text{Var}(\hat{u})\text{Var}(y)}}=\sqrt{\frac{\text{Var}(u ̂ )}{\text{Var}(y)} }=\sqrt{\frac{\text{Var}(u ̂ )}{σ^2 }}$

C'est le résultat principal qui devrait tenir dans une régression linéaire. L'intuition est que le exprime l'erreur entre la vraie variance du terme d'erreur et une approximation de la variance surbaserésidus. Notez que la variance de est égale à la variance de plus la variance des résidus . Il peut donc être réécrit de manière plus intuitive: $\text{Corr}(y,u ̂ )$ $y$ $\hat{y}$ $\hat{u}$

Corr (y, u ̂) = \frac{1}{\sqrt{1 + \frac{Var (\hat{y)}}{Var (u ̂)}}}

$\text{Corr}(y,u ̂ )=\frac{1}{\sqrt{1+\frac{\text{Var}(\hat{y)}}{\text{Var}(u ̂ )}}}$

Les deux forces sont ici au travail. Si nous avons un grand ajustement de la ligne de régression, la corrélation devrait être faible en raison du . D'autre part, est un peu fudge à l' estime qu'il est inconditionnel et une ligne dans l' espace des paramètres. La comparaison des variances inconditionnelles et conditionnelles au sein d'un ratio peut ne pas être un indicateur approprié après tout. C'est peut-être pourquoi c'est rarement fait dans la pratique. $\text{Var}(u ̂ )\approx 0$ $\text{Var}(\hat{y})$

Une tentative de conclure à la question: La corrélation entre et positif et se rapporte au rapport de la variance des résidus et de la variance du terme d'erreur vraie, approximé par la variance inconditionnelle en . Par conséquent, c'est un peu un indicateur trompeur. $y$ $u ̂$ $y$

En dépit de cet exercice peut nous donner une certaine intuition sur le fonctionnement et les hypothèses théoriques inhérentes à une régression OLS, nous évaluons rarement la corrélation entre et .Il existe certainement des tests plus établis pour vérifier les propriétés du vrai terme d'erreur. En second lieu , garder à l' esprit que les résidus ne sont pas le terme d'erreur, et les tests sur les résidus les prévisions de maquillage des caractéristiques sur le vrai terme d'erreur sont limitées et leur besoin de validité à manipuler avec le plus grand soin. $y$ $u ̂$ $u ̂$ $u$

Par exemple, je voudrais souligner ici une déclaration faite par une affiche précédente. Il est dit que,

"Si vos résidus sont corrélés avec vos variables indépendantes, alors votre modèle est hétéroscédastique ..."

Je pense que ce n'est peut-être pas tout à fait valable dans ce contexte. Croyez - le ou non, mais les résidus OLS par construction faits pour être décorrélé la variable indépendante . Pour voir cela, considérez: $u ̂$ $x_k$

X^{'} u_{i} = X^{'} M y = X^{'} (I - P) y = X^{'} y - X^{'} P y

$X'u_i=X'My=X'(I-P)y=X'y-X'Py$

= X^{'} y - X^{'} X (X^{'} X) X^{'} y = X^{'} y - X^{'} y = 0

$=X'y-X'X(X'X)X'y=X'y-X'y=0$

⟹ X^{'} u_{i} = 0 ⟹ Cov (X^{'}, u_{i} | X) = 0 ⟹ Cov (x_{k i}, u_{i} | x_{k} i) = 0

$\implies X'u_i=0 \implies \text{Cov}(X',u_i|X)=0 \implies \text{Cov}(x_{ki},u_i|x_ki)=0$

Cependant, vous avez peut-être entendu des affirmations selon lesquelles une variable explicative est corrélée avec le terme d'erreur . Notez que ces affirmations sont basées sur des hypothèses concernant l'ensemble de la population avec un véritable modèle de régression sous-jacent, que nous n'observons pas de première main. Par conséquent, vérifier la corrélation entre $y$ $u ̂$ $X$ $X$ , comme c'est souvent le cas avec les estimateurs FGSL. Ceci est différent de l'évaluation de la simple corrélation. J'espère que cela aidera à clarifier les choses.

— Majte
source

1

\frac{v a r (\hat{u})}{v a r (y)} = \frac{S S E}{T S S} = 1 - R^{2}

$\frac{var(\hat{u})}{var(y)}=\frac{SSE}{TSS}=1-R^2$

c o r r (y, \hat{u}) = \sqrt{1 - R^{2}}

$corr(y,\hat{u})=\sqrt{1-R^2}$

— probabilitéislogic

2

Ce que je trouve intéressant dans cette réponse, c'est que la corrélation est toujours positive.

— probabilitéislogic

V a r (y)

$Var(y)$

@probabilityislogic: Je ne sais pas si je peux suivre votre démarche. Ce serait alors sous la racine carrée 1+ (1/1-R ^ 2), qui est (2-R ^ 2) / (1-R ^ 2)? Pourtant, ce qui est vrai, c'est qu'il reste positif. L'intuition est que si vous avez une ligne à travers un nuage de points et que vous régressez cette ligne sur les erreurs de cette ligne, il devrait être évident que lorsque la valeur y de cette ligne augmente, la valeur des résidus augmente également. En effet, les résidus dépendent positivement de y par construction.

— Majte

@mpiktas: Dans ce cas, la matrice devient un scalaire car nous avons affaire à y étant uniquement dans une dimension.

— Majte

6

La réponse d'Adam est fausse. Même avec un modèle qui s'adapte parfaitement aux données, vous pouvez toujours obtenir une forte corrélation entre les résidus et la variable dépendante. C'est la raison pour laquelle aucun livre de régression ne vous demande de vérifier cette corrélation. Vous pouvez trouver la réponse dans le livre "Applied Regression Analysis" du Dr Draper.

— Jeff
source

3

Même si c'est correct, c'est plus une affirmation qu'une réponse selon les normes de CV, @Jeff. Pourriez-vous élaborer / sauvegarder votre demande? Même juste un numéro de page et une édition de Draper & Smith suffiraient.

— gung - Réintégrer Monica

4

Ainsi, les résidus sont votre variance inexpliquée, la différence entre les prévisions de votre modèle et le résultat réel que vous modélisez. En pratique, peu de modèles produits par régression linéaire auront tous les résidus proches de zéro à moins que la régression linéaire soit utilisée pour analyser un processus mécanique ou fixe.

Idéalement, les résidus de votre modèle devraient être aléatoires, ce qui signifie qu'ils ne devraient pas être corrélés avec vos variables indépendantes ou dépendantes (ce que vous appelez la variable critère). Dans la régression linéaire, votre terme d'erreur est normalement distribué, donc vos résidus doivent également être normalement distribués également. Si vous avez des valeurs aberrantes significatives, ou si vos résidus sont corrélés avec votre variable dépendante ou vos variables indépendantes, alors vous avez un problème avec votre modèle.

Si vous avez des valeurs aberrantes importantes et une distribution non normale de vos résidus, alors les valeurs aberrantes peuvent fausser vos poids (Betas), et je suggérerais de calculer DFBETAS pour vérifier l'influence de vos observations sur vos poids. Si vos résidus sont corrélés avec votre variable dépendante, il y a une quantité significativement importante de variance inexpliquée que vous ne tenez pas compte. Vous pouvez également le voir si vous analysez des observations répétées de la même chose, en raison de l'autocorrélation. Cela peut être vérifié en voyant si vos résidus sont corrélés avec votre variable de temps ou d'index. Si vos résidus sont corrélés avec vos variables indépendantes, alors votre modèle est hétéroscédastique (voir: http://en.wikipedia.org/wiki/Heteroscedasticity). Vous devriez vérifier (si vous ne l'avez pas déjà fait) si vos variables d'entrée sont normalement distribuées, et sinon, vous devriez envisager de mettre à l'échelle ou de transformer vos données (les types les plus courants sont log et racine carrée) afin de les rendre plus normalisé.

Dans le cas des deux, vos résidus et vos variables indépendantes, vous devez prendre un QQ-Plot, ainsi que réaliser un test de Kolmogorov-Smirnov (cette implémentation particulière est parfois appelée test de Lilliefors) pour vous assurer que vos valeurs s'adapter à une distribution normale.

Trois choses qui sont rapides et peuvent être utiles pour résoudre ce problème, examinent la médiane de vos résidus, elle devrait être aussi proche de zéro que possible (la moyenne sera presque toujours nulle en raison de la façon dont le terme d'erreur est ajusté. en régression linéaire), un test de Durbin-Watson pour l'autocorrélation dans vos résidus (en particulier comme je l'ai mentionné précédemment, si vous regardez plusieurs observations des mêmes choses), et effectuer un tracé résiduel partiel vous aidera à rechercher l'hétéroscédasticité et les valeurs aberrantes.

— Adam
source

Merci beaucoup. Votre explication est très utile pour moi.

— Jfly

1

+1 Belle réponse complète. Je vais taper sur 2 points. "Si vos résidus sont corrélés avec vos variables indépendantes, alors votre modèle est hétéroscédastique" - je dirais que si la variance de vos résidus dépend du niveau d'une variable indépendante, alors vous avez une hétéroscédasticité. De plus, j'ai entendu les tests de Kolmogorov-Smirnov / Lilliefors décrits comme «notoirement peu fiables» et, dans la pratique, j'ai certainement trouvé que c'était vrai. Mieux vaut faire une détermination subjective basée sur un tracé QQ ou un simple histogramme.

— rolando2

4

L'affirmation selon laquelle "les résidus de votre modèle ... ne devraient pas être corrélés avec ... votre ... variable dépendante" n'est généralement pas vraie, comme expliqué dans d'autres réponses sur ce fil. Pourriez-vous corriger ce message?

— gung - Rétablir Monica

1

(-1) Je pense que ce post n'est pas suffisamment pertinent pour la question posée. C'est un bon conseil général, mais peut-être un cas de «bonne réponse à la mauvaise question».

— probabilitéislogic