Est-il judicieux d’ajouter un terme quadratique mais pas le terme linéaire à un modèle?

J'ai un modèle (mixte) dans lequel l'un de mes prédicteurs ne devrait a priori être associé de manière quadratique au prédicteur (en raison de la manipulation expérimentale). Par conséquent, je voudrais ajouter uniquement le terme quadratique au modèle. Deux choses m'empêchent de le faire:

1. Je pense avoir lu quelque part que vous devriez toujours inclure le polynôme d’ordre inférieur lors de l’ajustement de polynômes d’ordre supérieur. J'ai oublié où je l'ai trouvé et dans la littérature que j'ai consultée (par exemple, Faraway, 2002; Fox, 2002), je ne trouve pas de bonne explication.
2. Lorsque j'ajoute les deux termes, linéaire et quadratique, les deux sont significatifs. Quand je n'en ajoute qu'un, ils ne sont pas significatifs. Cependant, une relation linéaire entre le prédicteur et les données n'est pas interprétable.

Le contexte de ma question est spécifiquement un modèle mixte utilisant lme4, mais je voudrais obtenir des réponses qui pourraient expliquer pourquoi ou pourquoi il n’est pas acceptable d’inclure un polynôme d’ordre supérieur et non le polynôme d’ordre inférieur.

Si nécessaire, je peux fournir les données.

1. Pourquoi inclure le terme linéaire?

Il est éclairant de noter qu’une relation quadratique peut s’écrire de deux manières:

$$y = a_0 + a_1 x + a_2 x^2 = a_2(x - b)^2 + c$$

(où, en égalisant les coefficients, nous trouvons et ). La valeur correspond à un extremum global de la relation (géométriquement, il localise le sommet d'une parabole).a 2 b 2 + c = a 0 x = $-2a_2 b = a_1$$a_2 b^2 + c = a_0$$x=b$

Si vous n'incluez pas le terme linéaire , les possibilités sont réduites à$a_1 x$

$$y = a_0 + a_2 x^2 = a_2(x - 0)^2 + c$$

(où maintenant, évidemment, et il est supposé que le modèle contient un terme constant ). C'est-à-dire que vous forcez .a 0 b = $c = a_0$$a_0$$b=0$

À la lumière de cela, la question n ° 1 consiste à savoir si vous êtes certain que l’extremum global doit se produire à . Si tel est le cas, vous pouvez omettre en toute sécurité le terme linéaire . Sinon, vous devez l' inclure.a 1$x=0$$a_1 x$

2. Comment comprendre les changements de signification lorsque les termes sont inclus ou exclus?

Cette question est discutée en détail dans un fil de discussion lié à l' adresse https://stats.stackexchange.com/a/28493 .

Dans le cas présent, la signification de indique qu'il existe une courbure dans la relation et la signification de indique que est différent de zéro: il semble que vous deviez inclure les deux termes (ainsi que la constante, bien sûr).a 1$a_2$$a_1$$b$

@whuber a donné une excellente réponse ici. Je veux juste ajouter un petit point complémentaire. La question indique qu '"une relation linéaire entre prédicteur et données n'est pas interprétable". Cela suggère un malentendu courant, même si je l’entends généralement à l’autre bout («quelle est l’interprétation du terme carré [cubique, etc.]?»).

Lorsque nous avons un modèle avec plusieurs covariables différentes , chaque beta (terme) peut généralement avoir sa propre interprétation. Par exemple, si:

$$\widehat{\text{GPA}}_{college}=\beta_0+\beta_1\text{GPA}_{highschool}+\beta_2\text{class rank}+\beta_3\text{SAT},$$

(GPA signifie moyenne générale; le
rang correspond au classement de la moyenne pondérée d'un étudiant par rapport à d'autres étudiants du même lycée; &
SAT signifie 'test d'aptitude à la scolarité ', test national standard pour les étudiants qui vont à l'université)

nous pouvons alors attribuer des interprétations distinctes à chaque bêta / terme. Par exemple, si la GPA d'un élève au secondaire était supérieure d'un point - toutes choses étant égales par ailleurs -, on s'attendrait à ce que sa GPA au collège soit de points plus élevé. $\beta_1$

Il est toutefois important de noter qu’il n’est pas toujours possible d’interpréter un modèle de cette manière. Un cas évident est le cas où il existe une interaction entre certaines variables, car il ne serait pas possible que le terme individuel diffère et que tout le reste soit maintenu constant - le terme d’interaction changerait également. Ainsi, quand il y a interaction, nous n'interprétons pas les effets principaux mais seulement les effets simples , comme il est bien compris.

La situation avec les termes de pouvoir est directement analogue, mais malheureusement, elle ne semble pas être comprise largement. Considérez le modèle suivant: (Dans cette situation, est destiné à représenter une covariable prototypique continue.) Il n’est pas possible que change sans que change également, et vice versa. En termes simples, quand un modèle contient des termes polynômes, les différents termes basés sur la même covariable sous-jacente ne peuvent pas être interprétés séparément. Le terme ( , , etc.) n'a pas de signification indépendante. Le fait que

$$\hat{y}=\beta_0+\beta_1x+\beta_2x^2$$ $x$$x$$x^2$$x^2$$x$$x^{17}$$p$Le terme polynomial -power est "significatif" dans un modèle indique qu'il existe "courbures" dans la fonction reliant et . Il est regrettable, mais inévitable, que lorsque la courbure existe, l'interprétation devienne plus compliquée et peut-être moins intuitive. Pour évaluer le changement de lorsque change, nous devrons utiliser le calcul. La dérivée du modèle ci-dessus est: qui correspond au taux de variation instantané de la valeur attendue de lorsque change, toutes choses égales par ailleurs. Ce n’est pas aussi net que l’interprétation du très haut modèle; surtout, le taux de changement instantané de$p-1$$x$$y$$\hat{y}$$x$
$$\frac{dy}{dx}=\beta_1+2\beta_2x$$ $y$$x$$y$ dépend du niveau de partir duquel le changement est évalué$x$ . De plus, le taux de variation de est un taux instantané; c'est-à-dire qu'il est lui-même en constante évolution tout au long de l'intervalle de à . C’est tout simplement la nature d’une relation curviligne. $y$$x_{old}$$x_{new}$

La réponse de @wuber ci - dessus montre clairement que supprimer le terme linéaire est le modèle quadratique "habituel" revient à dire "je suis absolument certain que l'extremum est à ".$x=0$

Cependant, vous devez également vérifier si le logiciel que vous utilisez a un "gotcha". Certains logiciels peuvent automatiquement centrer les données lors de l'ajustement d'un polynôme et du test de ses coefficients, à moins que vous ne désactiviez le centrage polynomial. Autrement dit, cela peut correspondre à une équation qui ressemble à quelque chose comme où est la moyenne de vos s. Cela forcerait l'extremum à être . ˉ x x x = ˉ $Y = b_0 + b_2(x - \bar{x})^2$$\bar{x}$$x$$x=\bar{x}$

Votre déclaration selon laquelle les termes linéaires et quadratiques sont significatifs lorsque les deux sont entrés nécessite des éclaircissements. Par exemple, SAS peut signaler un test de type I et / ou de type III pour cet exemple. Le type I teste le linéaire avant de placer le quadratique. Le type III teste le linéaire avec le quadratique dans le modèle.

Brambor, Clark et Golder (2006) (accompagnés d’une annexe Internet ) expliquent très clairement comment comprendre les modèles d’interaction et éviter les pièges courants, y compris les raisons pour lesquelles vous devriez (presque) toujours inclure les termes de poids faible ( "termes constitutifs") dans les modèles d'interaction.

Les analystes doivent inclure tous les termes constitutifs lors de la spécification des modèles d'interaction multiplicative, sauf dans de très rares circonstances. Par termes constitutifs, nous entendons chacun des éléments qui constituent le terme d'interaction. [..]

$X^2$$XZJ$$X$$X^2$$X$$Z$$J$$XZ$$XJ$$ZJ$$XZJ$

Dans le cas contraire, un modèle sous-spécifié peut conduire à des estimations biaisées. Cela peut conduire à des erreurs inférentielles.

$Z$$XZ$$X$$Z$$\beta_0$$\beta_1$$\beta_3$