Régression modérée: pourquoi calculons-nous un terme * produit * entre les prédicteurs?

12

Les analyses de régression modérée sont souvent utilisées en sciences sociales pour évaluer l'interaction entre deux ou plusieurs prédicteurs / covariables.

En règle générale, avec deux variables prédictives, le modèle suivant est appliqué:

$Y = β_0 + β_1*X + β_2*M + β_3*XM + e$

Notez que le test de modération est opérationnalisé par le terme produit $XM$ (la multiplication entre la variable indépendante $X$ et la variable modératrice $M$ ). Ma question très fondamentale est: pourquoi calculons-nous réellement un terme de produit entre $X$ et $M$ ? Pourquoi pas, par exemple, la différence absolue $|M-X|$ ou juste la somme $X + M$ ?

Fait intéressant, Kenny fait allusion à ce problème ici http://davidakenny.net/cm/moderation.htm en disant: "Comme on le verra, le test de modération n'est pas toujours opérationnalisé par le terme de produit XM" mais aucune autre explication n'est donnée . Une illustration ou une preuve formelle serait éclairante, je suppose / j'espère.

regression interaction

— dénominateur
source

12

Un "modérateur" affecte les coefficients de régression de $Y$ contre $X$ : ils peuvent changer à mesure que les valeurs du modérateur changent. Ainsi, en toute généralité, le modèle de régression simple de modération est

E (Y) = α (M) + β (M) X

$\mathbb{E}(Y) = \alpha(M) + \beta(M)X$

où et sont des fonctions du modérateur plutôt que des constantes non affectées par des valeurs de . $\alpha$ $\beta$ $M$ $M$

Dans le même esprit dans lequel la régression est fondée sur une approximation linéaire de la relation entre et , nous pouvons espérer que et sont - au moins approximativement - des fonctions linéaires de dans toute la gamme de valeurs de dans les données: $X$ $Y$ $\alpha$ $\beta$ $M$ $M$

\begin{aligned} E (Y) & = α_{0} + α_{1} M + O (M^{2}) + (β_{0} + β_{1} M + O (M^{2})) X \\ = α_{0} + β_{0} X + α_{1} M + β_{1} M X + O (M^{2}) + O (M^{2}) X . \end{aligned}

$\eqalign{ \mathbb{E}(Y) &= \alpha_0 + \alpha_1 M + O(M^2) + (\beta_0 + \beta_1 M + O(M^2))X \\ &= \alpha_0 + \beta_0 X + \alpha_1 M + \beta_1 MX + O(M^2) + O(M^2)X. }$

La suppression des termes non linéaires ("big-O"), dans l'espoir qu'ils soient trop petits pour être importants, donne le modèle d'interaction multiplicative (bilinéaire)

\begin{matrix} (1) & E (Y) = α_{0} + β_{0} X + α_{1} M + β_{1} M X . \end{matrix}

$\mathbb{E}(Y) = \alpha_0 + \beta_0 X + \alpha_1 M + \beta_1 MX.\tag{1}$

Cette dérivation suggère une interprétation intéressante des coefficients: est la vitesse à laquelle change l' ordonnée à l'origine tandis que est la vitesse à laquelle change la pente . ( et sont la pente et l'ordonnée à l'origine lorsque est (formellement) mis à zéro.) est le coefficient du "terme de produit" . Il répond à la question de cette manière: $\alpha_1$ $M$ $\beta_1$ $M$ $\alpha_0$ $\beta_0$ $M$ $\beta_1$ $MX$

Nous modélisons la modération avec un terme de produit lorsque nous nous attendons à le modérateur sera (environ, en moyenne) ont une relation linéaire avec la pente de vs . $MX$ $M$ $Y$ $X$

Il est intéressant de noter que cette dérivation ouvre la voie à une extension naturelle du modèle, ce qui pourrait suggérer des moyens de vérifier la qualité de l'ajustement. Si vous n'êtes pas concerné par la non-linéarité dans vous savez ou supposez que le modèle est précis - alors vous voudriez étendre le modèle pour tenir compte des termes qui ont été supprimés: $X$ $(1)$

E (Y) = α_{0} + β_{0} X + α_{1} M + β_{1} M X + α_{2} M^{2} + β_{2} M^{2} X .

$\mathbb{E}(Y) = \alpha_0 + \beta_0 X + \alpha_1 M + \beta_1 MX + \alpha_2M^2 + \beta_2 M^2X.$

Tester l'hypothèse évalue la qualité de l'ajustement. L'estimation de et pourrait indiquer de quelle manière le modèle pourrait devoir être étendu: pour incorporer la non-linéarité dans (lorsque ) ou une relation de modération plus compliquée (lorsque ) ou peut-être tous les deux. (Notez que ce test ne serait pas suggéré par une expansion en série de puissance d'une fonction générique .) $\alpha_2=\beta_2=0$ $\alpha_2$ $\beta_2$ $(1)$ $M$ $\alpha_2 \ne 0$ $\beta_2 \ne 0$ $f(X,M)$

Enfin, si vous deviez découvrir que le coefficient d'interaction n'était pas significativement différent de zéro, mais que l'ajustement est non linéaire (comme en témoigne une valeur significative de ), alors vous (a) qu'il y a de la modération mais ( b) il n'est pas modélisé par un terme , mais plutôt par des termes d'ordre supérieur commençant par . C'est peut-être le genre de phénomène auquel Kenny faisait référence. $\beta_1$ $\beta_2$ $MX$ $M^2X$

— whuber
source

8

Si vous utilisez la somme des prédicteurs pour modéliser leur interaction, votre équation serait:

\begin{array}{rcl} Y & = & β_{0} + β_{1} X + β_{2} M + β_{3} (X + M) + e \\ = & β_{0} + β_{1} X + β_{2} M + β_{3} X + β_{3} M + e \\ = & β_{0} + (β_{1} + β_{3}) X + (β_{2} + β_{3}) M + e \\ = & β_{0} + β_{1}^{'} X + β_{2}^{'} M + e \end{array}

$\begin{eqnarray} Y &=& \beta_0 + \beta_1X + \beta_2M + \beta_3(X + M) + e\\ &=& \beta_0 + \beta_1X + \beta_2M + \beta_3X + \beta_3M + e\\ &=& \beta_0 + (\beta_1 + \beta_3)X + (\beta_2 + \beta_3)M + e \\ &=& \beta_0 + \beta_1'X + \beta_2'M + e \end{eqnarray}$

où et . Par conséquent, votre modèle n'aurait aucune interaction. De toute évidence, ce n'est pas le cas avec le produit. $\beta_1'=\beta_1+\beta_3$ $\beta_2'=\beta_2+\beta_3$

Rappelons la définition de la valeur absolue:

| X - M | = {\begin{cases} X - M, & X \geq M \\ M - X, & X < M \end{cases}

$|X-M| = \begin{cases} X-M, & X \geq M\\ M-X, & X < M \end{cases}$

Bien que vous puissiez réduire le modèle à celui avec seulement et termes, en utilisant la déf. de, la valeur absolue est une "forme de modération spécialisée qui est peu susceptible d'être réaliste dans de nombreuses situations", comme indiqué dans le commentaire ci-dessous. $\beta_0 + \beta_1X + \beta_2M + \beta_3|X-M| + e$ $X$ $M$ $|X-M|$

— Milos
source

1

En fait, y compris unle terme est manifestement une forme de modération: la valeur de change . Il s'agit cependant d'une forme de modération limitée et spécialisée qui est peu susceptible d'être réaliste dans de nombreuses situations. Il n'est pas correct de dire qu'un tel modèle n'a "que des effets principaux".

| X - M |

$|X-M|$

M

$M$

β_{2}

$\beta_2$

— whuber

1

Oui, vous avez raison,est une forme de modération, je me suis laissé emporter par la transformation et éditerai la réponse en conséquence. Merci de l'avoir signalé.

| X - M |

$|X-M|$

— Milos

@Milos: Votre exemple sur la somme des prédicteurs a été révélateur, un peu embarrassant, je dois dire parce que j'aurais déjà dû réaliser les implications mathématiques;) whuber: Pour autant que je le comprenne, la valeur absolue est seulement utile lorsque les deux variables prédictives sont mesurées dans les mêmes unités (par exemple, deux tests psychométriques, utilisant la même métrique, tels que les scores z ou les scores T). La différence absolue entre X et M est une métrique utile , bien qu'elle ne soit pas la seule possible (c'est-à-dire que le terme prodcut pourrait également être utilisé).

— dénominateur

6

Vous ne trouverez pas de preuve formelle pour utiliser le modérateur multiplicatif. Vous pouvez soutenir cette approche par d'autres moyens. Par exemple, regardez l'expansion de Taylor-MacLaurin d'une fonction : $f(X,M)$

f (X, M) = f (0, 0) + \frac{\partial f (0, 0)}{\partial T} T + \frac{\partial f (0, 0)}{\partial M} M + \frac{\partial^{2} f (0, 0)}{\partial T \partial M} T M + \frac{\partial^{2} f (0, 0)}{2 \partial T^{2}} T^{2} + \frac{\partial^{2} f (0, 0)}{2 \partial M^{2}} M^{2} \dots

$f(X,M)=f(0,0)+\frac{\partial f(0,0)}{\partial T} T+\frac{\partial f(0,0)}{\partial M} M+\frac{\partial^2 f(0,0)}{\partial T\partial M} TM +\frac{\partial^2 f(0,0)}{2\partial T^2} T^2 +\frac{\partial^2 f(0,0)}{2\partial M^2} M^2\dots$

Si vous branchez une fonction de cette forme dans l'équation de Taylor, vous obtenez ceci: $f(X,M)=\beta_0+\beta_XX+\beta_MM+\beta_{XM}XM$

f (X, M) = β_{0} + β_{X} X + β_{M} M + β_{X M} X M

$f(X,M)=\beta_0+\beta_XX +\beta_MM +\beta_{XM}XM$

Donc, la justification ici est que cette forme multiplicative particulière de la modération est fondamentalement une approximation de Taylor de second ordre d'une relation de modération générique $f(X,M)$

MISE À JOUR: si vous incluez des termes quadratiques, comme @whuber l'a suggéré, cela se produira: branchez ceci dans Taylor:

g (X, M) = b_{0} + b_{X} X + b_{M} M + b_{X M} X M + b_{X 2} X^{2} + b_{M 2} M^{2}

$g(X,M)=b_0+b_XX +b_MM +b_{XM}XM+b_{X2}X^2 +b_{M2}M^2$

g (X, M) = b_{0} + b_{X} X + b_{M} M + b_{X M} X M + b_{X 2} X^{2} + b_{M 2} M^{2}

$g(X,M)=b_0+b_XX +b_MM +b_{XM}XM +b_{X2}X^2 +b_{M2}M^2$

Cela montre que notre nouveau modèle à termes quadratiques correspond à une approximation complète de Taylor de second ordre, contrairement au modèle de modération original . $g(X,M)$ $f(X,M)$

— Aksakal
source

Puisque la base de votre argument est l'expansion de Taylor, pourquoi n'avez-vous pas également inclus les deux autres termes quadratiques et ? Certes, ce ne sont pas des formes de modération, mais leur inclusion dans le modèle affectera généralement .

X^{2}

$X^2$

M^{2}

$M^2$ $\beta_{XM}$

— whuber

@whuber, j'ai décidé de garder le post court - c'est la raison principale. Sinon, j'ai commencé à écrire sur ma préférence pour inclure des termes de deuxième ordre chaque fois que vous avez un terme croisé, puis le couper.

— Aksakal