Une régression linéaire peut-elle être significative si les données ne sont pas linéaires?

J'ai effectué une régression linéaire qui a donné un résultat significatif, mais lorsque j'ai vérifié la linéarité du nuage de points, je n'étais pas convaincu que les données étaient linéaires.

Existe-t-il d'autres moyens de tester la linéarité sans inspecter le nuage de points?

La régression linéaire pourrait-elle être significative si elle n'était pas linéaire?

[Modifié pour inclure des diagrammes de dispersion]

regression

— Dans le bleu
source

Il peut y avoir plusieurs interprétations des questions et des réponses multiples (mais fondamentalement, la réponse est oui dans tous les cas, et comme le prouvent vos résultats, c'est certainement possible dans votre cas). Pouvez-vous montrer le nuage de points? Ensuite, d'autres peuvent comprendre ce que vous entendez par données non linéaires et dans quel sens le résultat significatif s'est avéré de toute façon être présent.

— Sextus Empiricus

Voir stats.stackexchange.com/search?q=anscombe+quartet pour un ensemble classique d'exemples simples. Sur stats.stackexchange.com/a/152034/919, j'ai publié un algorithme capable de construire des exemples adaptés à presque toutes les circonstances auxquelles vous pouvez penser.

— whuber

Bien sûr, ignorer la non- linéarité, même lorsque la tendance générale est linéaire, peut conduire à une inférence compromise dans l'application. Par exemple, si la vraie relation est que chute brusquement, puis s'aplatit sur , l' interprétation linéaire de la est que chute d'une certaine quantité moyenne sur toutes les valeurs de , tandis que la vraie relation est que chute beaucoup plus fortement sur une gamme beaucoup plus étroite de , et sur la gamme restante de est plus ou moins inchangée. L'interprétation linéaire serait mauvaise pour les effets du traitement clinique ou pour les effets des dépenses politiques.

Y

$Y$

X

$X$

Y

$Y$

X

$X$

Y

$Y$

X

$X$

X

$X$

— Alexis

Aussi: la régression linéaire n'est pas significative ou non, mais plutôt des tests de, par exemple, , , , peut être significatif ou non, avec un certain degré d'indépendance.

H_{0} : β_{0} = c

$H_{0}:\beta_{0} = c$

H_{0} : β_{x} = c

$H_{0}:\beta_{x} = c$

H_{0} : F = c

$H_{0}:F = c$

H_{0} : R^{2} = c

$H_{0}:R^{2} = c$

— Alexis

Merci pour les réponses et excuses pour la lenteur de la réponse - je suis loin de la technologie! J'ai édité le post pour inclure des diagrammes de dispersion pour les régressions importantes. Tout conseil sur la façon de procéder serait grandement apprécié.

— IntoTheBlue

Réponses:

Les relations non linéaires monotones apparaissent presque toujours significatives lors de la modélisation en tant que modèles linéaires. Si la relation est non linéaire et non monotone, cela dépend de l'échantillon.

$y=\ln x$ $y=x^3$ $y=x^2$ $y=\sin x$

$x\in[-1,1]$ $y=\sin x$ $y\sim x$

$x\in[0,\pi]$

— Aksakal
source

+1. Mais veuillez noter que le terme correct est "monotone". "Monotone" signifie ennuyeux et fastidieux par la répétition.

— whuber

\ln x

$\ln x$

\sin x

$\sin x$

+1 Je suggère également de définir ce que signifie monotone.

— Mark White

Merci, j'ai mis à jour le message pour inclure les nuages de points. Tout conseil sur la façon de procéder serait grandement apprécié.

— IntoTheBlue

(x - \bar{x})^{2}

$(x-\bar x)^2$

Oui, Aksakal a raison et une régression linéaire peut être significative si la vraie relation n'est pas linéaire. Une régression linéaire trouve une ligne de meilleur ajustement dans vos données et teste simplement si la pente est significativement différente de 0.

Avant d'essayer de trouver un test statistique de non-linéarité, je suggère de réfléchir à ce que vous voulez modéliser en premier. Vous attendez-vous à une relation linéaire (non linéaire) entre vos deux variables? Qu'essayez-vous de découvrir exactement? S'il est logique de supposer qu'il existe une relation non linéaire comme par exemple entre la vitesse de la voiture et la distance de freinage, vous pouvez ajouter des termes au carré (ou d'autres transformations) de votre variable indépendante.

De plus, une inspection visuelle de vos données (nuage de points) est une méthode très puissante et une première étape essentielle de votre analyse.

— Pawel
source

Y

$Y$

X

$X$

Aussi: Bienvenue sur CV, Pawel!

— Alexis

@Alexis Tu as raison. Mais l'ajout d'un terme quadratique est toujours une recommandation courante dans certains textes comme un moyen rapide et sale de vérifier la non-linéarité (comprendre que personne ne suggère que c'est la seule ou même la première façon de modéliser les non-linéarités), donc je suis pas tout à fait aussi préoccupé par ce passage.

— whuber

+1 @whuber Malheureusement, j'ai rencontré de nombreux chercheurs, étudiants et professeurs pratiquant l'ajout d'un terme quadratique comme première vérification au-delà du globe oculaire d'un nuage de points comme «comment tester la non-linéarité», avec un résultat négatif interprété comme «linéaire est suffisant ". (Les termes quadratiques peuvent en effet être utiles, et je les ai utilisés dans mes propres recherches. :) Je suppose que mon point de vue sur "rapide et sale" est que ce qui est enseigné aussi facilement devient de la rigueur pour la grande majorité des chercheurs. .. Je pense que les régressions non paramétriques sont à peu près aussi "faciles" que linéaires et un meilleur outil d'exploration.

— Alexis

@Alexis Merci. Je pense que vous m'avez mal compris. Je ne recommandais pas d'ajouter des termes au carré pour tester la non-linéarité, mais il est certain que des termes au carré peuvent être avancés (ou d'autres transformations. Les données économiques sont souvent transformées en logarithme). Je pense qu'il doit y avoir une distinction entre l'analyse exploratoire et l'analyse explicative. S'il existe des motifs sérieux de supposer une relation quadratique, cela doit être testé. Ce que vous proposez, c'est une approche plus exploratoire.

— Pawel

-2

Je suis d'accord avec tout ce que dit Aksakal. Mais en ce qui concerne la première question, je pense que la réponse est la corrélation. La corrélation mesure la mesure dans laquelle il existe une relation linéaire entre les ensembles de données x et y.

— meh
source

y = \ln x

$y=\ln x$

@gung Oui, je le fais. Quelle déclaration de sa part considérez-vous incorrecte? Permettez-moi de suggérer que je comprends ce que signifient les mots linéaire et non linéaire et que, comme dans la réponse d'Aksakal, il est vraiment facile de trouver des exemples de variables avec une relation exacte et non linéaire. Néanmoins, la corrélation est une mesure de la relation linéaire et une corrélation de +/- 1 signifie que la relation est effectivement linéaire. Toute corrélation inférieure à cela signifie que la relation est (pas exactement) linéaire mais elle peut être suffisamment proche.

— meh

L'OP "a effectué une régression linéaire qui a donné un résultat significatif", mais le nuage de points impliquait que la relation n'était pas linéaire. Une corrélation aurait probablement également été significative, en fait, si la régression n'avait qu'une seule variable X, les valeurs p de la régression et la corrélation seraient identiques. Mais si la relation n'était pas linéaire malgré la régression significative, elle ne serait toujours pas linéaire malgré la corrélation significative. Ainsi, une corrélation significative n'est pas une preuve que la relation est linéaire.

— gung - Réintégrer Monica

r = 1

$r=1$

r = 1

$r=1$

r

$r$

1

$1$

Cela peut sembler trop subtil ou même tatillon, mais (a) je conviens que la corrélation est un moyen de mesurer la linéarité d'une relation bivariée - c'est un théorème mathématique, après tout - mais (b) comme proposition générale, je doute que elle pourrait être interprétée comme plus qu'une manière extrêmement grossière d'évaluer la non-linéarité. Les preuves de non-linéarité peuvent être frappantes dans un ensemble de données avec une forte corrélation absolue de l'échantillon et être complètement absentes dans un ensemble de données avec une faible corrélation absolue. (cc @gung)

— whuber