Pourquoi les modèles à effets mixtes résolvent-ils la dépendance?

Imaginons que nous nous intéressions à la façon dont les notes des étudiants sont affectées par le nombre d'heures que ces étudiants étudient. Pour explorer cette relation, nous pourrions exécuter la régression linéaire suivante:

{exam.grades}_{i} = a + β_{1} \times {hours.studied}_{i} + e_{i}

$\text{exam.grades}_i = a + \beta_1 \times \text{hours.studied}_i + e_i$

Mais si nous échantillonnons des élèves de plusieurs écoles différentes, nous pourrions nous attendre à ce que les élèves d'une même école se ressemblent davantage que les élèves de différentes écoles. Pour faire face à ce problème de dépendance, le conseil dans de nombreux manuels / sur le Web, est d'exécuter des effets mixtes et d'entrer à l'école comme un effet aléatoire. Ainsi, le modèle deviendrait: Mais pourquoi cela résout-il le problème de dépendance qui était présent dans la régression linéaire?

{exam.grades}_{i} = a + β_{1} \times {hours.studied}_{i} + {school}_{j} + e_{i}

$\text{exam.grades}_i = a + \beta_1 \times \text{hours.studied}_i + \text{school}_j + e_i$

Veuillez répondre comme si vous parliez à un enfant de 12 ans

— luciano
source

Qu'il «résout» le problème de dépendance est spécifique au contexte. Mais vous pouvez probablement voir que maintenant le modèle étendu a un terme qui peut, au moins partiellement, expliquer un effet lié à une école particulière.

— image_doctor

L'inclusion de termes aléatoires dans le modèle est un moyen d'induire une structure de covariance entre les notes. Le facteur aléatoire pour l'école induit une covariance non nul entre les différents élèves de la même école, alors qu'il est quand l'école sont différents. $0$

Écrivons votre modèle comme où indexe l'école et indexe les élèves (dans chaque école). Les termes sont des variables aléatoires indépendantes dessinées dans un . Les sont des variables aléatoires indépendantes dessinées dans un

Y_{s, i} = α + {hours}_{s, i} β + {school}_{s} + e_{s, i}

$Y_{s,i} = \alpha + \text{hours}_{s,i} \beta + \text{school}_s + e_{s, i}$

s

$s$

i

$i$

{school}_{s}

$\text{school}_s$

N (0, τ)

$\mathcal N(0, \tau)$

e_{s, i}

$e_{s, i}$

N (0, σ^{2})

$\mathcal N(0, \sigma^2)$

Ce vecteur a une valeur attendue qui est déterminée par le nombre d'heures travaillées.

{[α + {hours}_{s, i} β]}_{s, i}

$\left[ \alpha + \text{hours}_{s,i} \beta \right]_{s,i}$

La covariance entre et est lorsque $Y_{s,i}$ $Y_{s',i'}$ $0$ , ce qui signifie que l'écart des notes par rapport aux valeurs attendues est indépendant lorsque les élèves ne sont pas dans la même école. $s \ne s'$

La covariance entre et $Y_{s,i}$ estlorsque, et la variance de est $Y_{s,i'}$ $\tau$ $i \ne i'$ $Y_{s,i}$ : les notes des élèves d'une même école auront des écarts corrélés par rapport à leurs valeurs attendues . $\tau + \sigma^2$

Exemple et données simulées

Voici une courte simulation R pour cinquante élèves de cinq écoles (ici je prends ); les noms de la variable sont auto-documentés: $\sigma^2 = \tau = 1$

set.seed(1)
school        <- rep(1:5, each=10)
school_effect <- rnorm(5)

school_effect_by_ind <- rep(school_effect, each=10)
individual_effect    <- rnorm(50)

$\text{school}_s + e_{s, i}$

plot(individual_effect + school_effect_by_ind, col=school, pch=19, 
     xlab="student", ylab="grades departure from expected value")
segments(seq(1,length=5,by=10), school_effect, seq(10,length=5,by=10), col=1:5, lty=3)

modèle mixte

$\text{school}_s$ $\alpha + \text{hours} \beta$

La matrice de variance pour cet exemple

$\text{school}_s$ $e_{s,i}$

[\begin{matrix} A & 0 & 0 & 0 & 0 \\ 0 & A & 0 & 0 & 0 \\ 0 & 0 & A & 0 & 0 \\ 0 & 0 & 0 & A & 0 \\ 0 & 0 & 0 & 0 & A \end{matrix}]

$\left[\begin{matrix} A & 0 & 0 & 0 & 0 \\ 0 & A & 0 & 0 & 0 \\ 0 & 0 & A & 0 & 0 \\ 0 & 0 & 0 & A & 0 \\ 0 & 0 & 0 & 0 & A \end{matrix}\right]$

10 \times 10

$10\times 10$

A

$A$

A = [\begin{matrix} 2 & 1 & 1 & 1 & 1 & 1 & 1 & 1 & 1 & 1 \\ 1 & 2 & 1 & 1 & 1 & 1 & 1 & 1 & 1 & 1 \\ 1 & 1 & 2 & 1 & 1 & 1 & 1 & 1 & 1 & 1 \\ 1 & 1 & 1 & 2 & 1 & 1 & 1 & 1 & 1 & 1 \\ 1 & 1 & 1 & 1 & 2 & 1 & 1 & 1 & 1 & 1 \\ 1 & 1 & 1 & 1 & 1 & 2 & 1 & 1 & 1 & 1 \\ 1 & 1 & 1 & 1 & 1 & 1 & 2 & 1 & 1 & 1 \\ 1 & 1 & 1 & 1 & 1 & 1 & 1 & 2 & 1 & 1 \\ 1 & 1 & 1 & 1 & 1 & 1 & 1 & 1 & 2 & 1 \\ 1 & 1 & 1 & 1 & 1 & 1 & 1 & 1 & 1 & 2 \end{matrix}] .

$A = \left[\begin{matrix} 2 & 1 & 1 & 1 & 1 & 1 & 1 & 1 & 1 & 1\\ 1 & 2 & 1 & 1 & 1 & 1 & 1 & 1 & 1 & 1\\ 1 & 1 & 2 & 1 & 1 & 1 & 1 & 1 & 1 & 1\\ 1 & 1 & 1 & 2 & 1 & 1 & 1 & 1 & 1 & 1\\ 1 & 1 & 1 & 1 & 2 & 1 & 1 & 1 & 1 & 1\\ 1 & 1 & 1 & 1 & 1 & 2 & 1 & 1 & 1 & 1\\ 1 & 1 & 1 & 1 & 1 & 1 & 2 & 1 & 1 & 1\\ 1 & 1 & 1 & 1 & 1 & 1 & 1 & 2 & 1 & 1\\ 1 & 1 & 1 & 1 & 1 & 1 & 1 & 1 & 2 & 1\\ 1 & 1 & 1 & 1 & 1 & 1 & 1 & 1 & 1 & 2 \end{matrix}\right].$

— Elvis
source

Elvis: c'est probablement une excellente réponse pour les gens plus versés en statistiques que moi. Cependant, je peux en tirer peu de sens. Pourriez-vous modifier votre réponse de manière à ce qu'un enfant de 12 ans puisse comprendre?

— luciano

A ... 12 ans?! Hou la la! J'ajouterai quelques simulations, si cela peut aider.

— Elvis

Terminé. J'espère que cela t'aides. Sinon, veuillez être plus précis sur ce que vous n'obtenez pas. Notez qu'un 12 ans ne comprendrait pas la question non plus ... vous ne pouvez pas demander une réponse plus simple que la question.

— Elvis