Est-il judicieux d'étudier des graphiques de résidus par rapport à la variable dépendante?

J'aimerais savoir s'il est logique d'étudier les graphiques des résidus par rapport à la variable dépendante lorsque j'ai une régression univariée. Si cela a du sens, que signifie une forte corrélation croissante linéaire entre les résidus (sur l'axe des y) et les valeurs estimées de la variable dépendante (sur l'axe des x)?

Supposons que vous ayez la régression , où . Ensuite, . Plus la valeur élevée, plus le résidu est important. Au contraire, un tracé des résidus contre ne devrait montrer aucune relation systématique. De plus, la valeur prédite devrait être approximativement --- la même pour chaque observation. Si toutes les valeurs prévues sont à peu près les mêmes, elles ne doivent pas être corrélées avec les erreurs.β 1 ≈ 0 y i - β 0 ≈ ε i y x y i β$y_i = \beta_0 + \beta_1 x_i + \epsilon_i$$\beta_1 \approx 0$$y_i - \beta_0 \approx \epsilon_i$$y$$x$$\hat{y}_i$$\hat{\beta}_0$

Ce que l'intrigue me dit, c'est que et sont essentiellement indépendants (bien sûr, il existe de meilleures façons de le montrer). Faites-nous savoir si votre coefficient n'est pas proche de 0.y β$x$$y$$\hat{\beta}_1$

Pour un meilleur diagnostic, utilisez un tracé des résidus par rapport au salaire prévu ou à la valeur . Vous ne devez pas observer un motif distinct dans ces graphiques.$x$

Si vous voulez une petite démonstration R, c'est parti:

y      <- rnorm(100, 0, 5)
x      <- rnorm(100, 0, 2)
res    <- lm(y ~ x)$residuals
fitted <- lm(y ~ x)$fitted.values
plot(y, res)
plot(x, res)
plot(fitted, res)

En supposant que le modèle estimé est correctement spécifié ...

Notons , la matrice est une matrice de projection, donc et .P X P 2 X = P X P ′ X = P $P_X=X(X'X)^{-1}X'$$P_X$$P_X^2=P_X$$P_X'=P_X$

$Cov(\hat{Y},\hat{e})=Cov(P_XY,(I-P_X)Y)=P_XCov(Y,Y)(I-P_X)'=\sigma^2P_X(I-P_X)=0$ .

Ainsi, le nuage de points des résidus par rapport à la variable dépendante prévue ne devrait montrer aucune corrélation.

Mais!

$Cov(Y,\hat{e})=Cov(Y,(I-P_X)Y)=Cov(Y,Y)(I-P_X)'=\sigma^2(I-P_X)$ .

La matrice est une matrice de projection, ses valeurs propres sont 0 ou +1, elle est semi-définie positive. Il devrait donc avoir des valeurs non négatives sur la diagonale. Ainsi, le nuage de points des résidus par rapport à la variable dépendante d'origine devrait montrer une corrélation positive.$\sigma^2(I-P_X)$

Autant que je sache, Gretl produit par défaut le graphique des résidus par rapport à la variable dépendante d'origine (pas celle prédite!).

Est-il possible que vous confondiez les valeurs ajustées / prévues avec les valeurs réelles?

Comme l'ont dit @gung et @biostat, vous espérez qu'il n'y a pas de relation entre les valeurs ajustées et les résidus. D'un autre côté, trouver une relation linéaire entre les valeurs réelles de la variable dépendante / résultat et les résidus est à prévoir et n'est pas particulièrement informatif.

Ajouté pour clarifier la phrase précédente: Pas n'importe quelle relation linéaire entre les résidus et les valeurs réelles du résultat est à prévoir ... Pour les faibles valeurs mesurées de Y, les valeurs prédites de Y à partir d'un modèle utile auront tendance à être plus élevées que les valeurs mesurées réelles et vice versa.

Les réponses proposées me donnent quelques idées sur ce qui se passe ici. Je pense qu'il y a peut-être eu des erreurs par accident. Voyez si l'histoire suivante a du sens: pour commencer, je pense qu'il y a probablement une forte relation entre X & Y dans les données (voici du code et un tracé):

set.seed(5)
wage <- rlnorm(1000, meanlog=2.3, sdlog=.5)
something_else <- .7*wage + rnorm(1000, mean=0, sd=1)
plot(wage, something_else, pch=3, col="red", main="Plot X vs. Y")

Mais par erreur, Y a été prévu uniquement à partir de la moyenne. Pour ajouter à cela, les résidus du modèle de moyenne seule sont tracés en fonction de X, même si ce qui était prévu était de tracer en fonction des valeurs ajustées (code et tracé):

meanModel <- lm(something_else~1)
windows()
plot(wage, meanModel$residuals, pch=3, col="red", 
    main="Plot of residuals from Mean only Model against X")
abline(h=0, lty="dotted")

Nous pouvons résoudre ce problème en ajustant le modèle approprié et en traçant les résidus à partir de cela (code et tracé):

appropriateModel <- lm(something_else~wage)
windows()
plot(appropriateModel$fitted.values, appropriateModel$residuals, pch=3, col="red",
main="Plot of residuals from the appropriate\nmodel against fitted values")
lines(lowess(appropriateModel$residuals~appropriateModel$fitted.values))

Cela semble être juste le genre de gaffes que j'ai faites au début.

Ce graphique indique que le modèle que vous avez installé n'est pas bon. Comme l'a dit @gung dans les premiers commentaires sur la question principale, il ne devrait pas y avoir de relation entre la réponse prédite et le résidu.

"un analyste devrait s'attendre à ce qu'un modèle de régression se trompe en prédisant une réponse de manière aléatoire; le modèle devrait prévoir des valeurs supérieures à la réalité et inférieures à la réalité avec une probabilité égale. Voir ceci "

Je recommanderais la première réponse du tracé par rapport à la variable indépendante pour voir la relation entre eux. Il pourrait être raisonnable d'ajouter des termes polynomiaux dans le modèle.

N'est-ce pas ce qui se passe s'il n'y a pas de relation entre la variable X & Y? En regardant ce graphique, il semble que vous prédisiez essentiellement Y avec sa moyenne.

Je pense que OP a tracé les résidus par rapport à la variable de réponse d'origine (et non la variable de réponse ajustée du modèle). Je vois des tracés comme ça tout le temps, avec presque le même motif exact. Assurez-vous de tracer les résidus par rapport aux valeurs ajustées, car je ne sais pas quelle déduction significative vous pourriez tirer des résidus par rapport au Y d'origine. Mais je peux certainement me tromper.