Comment la régression, le test t et l'ANOVA sont-ils toutes les versions du modèle linéaire général?

50

Comment sont-ils toutes les versions de la même méthode statistique de base?

— Amahabirsingh
source

liées: Pourquoi l'ANOVA est-elle enseignée / utilisée comme s'il s'agissait d'une méthodologie de recherche différente de celle utilisée pour la régression linéaire?

— Haitao Du

en relation: R: Régression linéaire et Anova

— Haitao Du

liées: Pourquoi l'ANOVA est-elle équivalente à la régression linéaire?

— Haitao Du

48

Considérez qu’elles peuvent toutes être écrites comme une équation de régression (avec peut-être des interprétations légèrement différentes de celles de leurs formes traditionnelles).

Régression:

Y = β_{0} + β_{1} X_{(continu)} + ε où ε ~ N (0, σ^{2})

$Y=\beta_0 + \beta_1X_{\text{(continuous)}} + \varepsilon \\ \text{where }\varepsilon\sim\mathcal N(0, \sigma^2)$

Test t:

Y = β_{0} + β_{1} X_{(code factice)} + ε où ε ~ N (0, σ^{2})

$Y=\beta_0 + \beta_1X_{\text{(dummy code)}} + \varepsilon \\ \text{where }\varepsilon\sim\mathcal N(0, \sigma^2)$

ANOVA:

Y = β_{0} + β_{1} X_{(code factice)} + ε où ε ~ N (0, σ^{2})

$Y=\beta_0 + \beta_1X_{\text{(dummy code)}} + \varepsilon \\ \text{where }\varepsilon\sim\mathcal N(0, \sigma^2)$

La régression prototypique est conceptualisée avec tant que variable continue. Cependant, la seule hypothèse qui est réellement faite sur est qu’il s’agit d’un vecteur de constantes connues. Il peut s'agir d'une variable continue, mais il peut également s'agir d'un code factice (c.-à-d. Un vecteur de et indiquant si une observation est un membre d'un groupe indiqué, par exemple un groupe de traitement). Ainsi, dans la deuxième équation, pourrait être un tel code factice et la valeur p serait la même que celle d'un test t dans sa forme plus traditionnelle. $X$ $X$ $0$ $1$ $X$

Le sens des bêtas serait différent ici, cependant. Dans ce cas, serait la moyenne du groupe de contrôle (pour lequel les entrées de la variable fictive seraient ), et serait la différence entre la moyenne du groupe de traitement et la moyenne du contrôle groupe. $\beta_0$ $0$ $\beta_1$

Maintenant, rappelez-vous qu’il est parfaitement raisonnable d’avoir / exécuter une ANOVA avec seulement deux groupes (bien qu’un test t soit plus courant), et vous avez les trois connectés. Si vous préférez voir comment cela fonctionnerait si vous aviez une ANOVA à 3 groupes; ce serait: Notez que lorsque vous avez groupes, vous avez codes factices pour les représenter. Le groupe de référence (généralement le groupe de contrôle) est indiqué par un pourtousles codes factices (dans ce cas, le code factice 1 et le code factice 2). Dans ce cas, vous ne voudriez pas interpréter les valeurs p des tests t pour ces bêta fournies avec une sortie statistique standard - elles indiquent uniquement si le groupe indiqué diffère du groupe témoinlorsqu'il est évalué séparément.

Y = β_{0} + β_{1} X_{(code factice 1)} + β_{2} X_{(code factice 2)} + ε où ε ~ N (0, σ^{2})

$Y=\beta_0 + \beta_1X_{\text{(dummy code 1)}} + \beta_2X_{\text{(dummy code 2)}} + \varepsilon \\ \text{where }\varepsilon\sim\mathcal N(0, \sigma^2)$

g

$g$

g - 1

$g-1$

0

$0$ . C'est-à-dire que ces tests ne sont pas indépendants. Au lieu de cela, vous voudriez déterminer si les moyennes de groupe varient en construisant un tableau ANOVA et en effectuant un test F. Pour ce qui en vaut la peine, les bêtas sont interprétées exactement comme pour la version du test t décrite ci-dessus:

est la moyenne du groupe contrôle / référence,

indique la différence entre les moyennes du groupe 1 et du groupe de référence, et

indique la différence entre le groupe 2 et le groupe de référence.

β_{0}

$\beta_0$

β_{1}

$\beta_1$

β_{2}

$\beta_2$

À la lumière des commentaires de @ whuber ci-dessous, ceux-ci peuvent également être représentés via des équations matricielles:
représentés, & sont des vecteurs de longueur et est un vecteur de longueur . est maintenant une matrice avec lignes et colonnes. Dans une régression prototype, vous avez variables continues et l'ordonnée à l'origine. Ainsi, votre

Y = X β + ε

$\bf Y=\bf X\boldsymbol\beta + \boldsymbol\varepsilon$

Y

$\bf Y$

ε

$\boldsymbol\varepsilon$

N

$N$

β

$\boldsymbol\beta$

p + 1

$p+1$

X

$\bf X$

N

$N$

(p + 1)

$(p+1)$

p

$p$

X

$X$

X

$\bf X$ La matrice est composée d'une série de vecteurs de colonne côte à côte, un pour chaque variable

, avec une colonne de

à l'extrême gauche pour l'interception.

X

$X$

1

$1$

Si vous représentez une analyse de variance de cette manière avec groupes, rappelez-vous que vous auriez variables nominales indiquant les groupes, le groupe de référence étant indiqué par une observation comportant des dans chaque variable nominale. Comme ci-dessus, vous auriez toujours une interception. Ainsi, . $g$ $g-1$ $0$ $p=g-1$

— gung - Rétablir Monica
source

1

L'équation ANOVA n'aurait de sens comme ANOVA (et non comme test t) que si

était interprété comme un vecteur et multiplié à droite.

β_{1}

$\beta_1$

— whuber

Ce ne sont pas des équations matricielles; Je les utilise rarement ici, car beaucoup de gens ne les lisent pas. La 1ère ANOVA représente une situation identique à celle du test t précédent. Je souligne simplement que si vous pouvez exécuter un test t indépendant sur 2 échantillons, vous pouvez exécuter les mêmes données qu'une ANOVA (que beaucoup de personnes devraient reconnaître / mémoriser à partir de leur classe stats 101). J'ajoute une autre version de l'ANOVA avec 3 groupes plus bas pour préciser qu'une situation à 2 groupes n'est pas le seul cas d'ANOVA pouvant être compris comme une régression; mais l'équation du reg semble maintenant différente - j'essayais de maintenir un parallèle plus explicite ci-dessus.

— gung - Réintégrer Monica

Mon argument est que, sauf si vous en faites une équation matricielle, votre caractérisation de l'ANOVA est trop limitée pour être utile: elle est identique à votre caractérisation du test t et est donc plus source de confusion qu'elle est utile. Lorsque vous commencez à introduire plus de groupes, vous changez soudainement l'équation, qui peut aussi être moins claire. Vous souhaitez bien sûr utiliser la notation matricielle, mais pour bien communiquer, vous devez rechercher la cohérence.

— whuber

Pourriez-vous s'il vous plaît expliquer un peu plus sur comment vous arrivez de la définition populaire du test t à l'équation que vous avez montrée. Essentiellement, je ne peux pas comprendre ce qu'est Y ici (cela pourrait être une naïveté ou un QI inférieur pour les statistiques). Cependant, comment arriver de t = (yx-u0) / s à cette équation.

— Gaurav Singhal

Ce n'est pas le cas, même si cela peut vous être inconnu.

est continu (et supposé conditionnellement normal) dans tous les cas énumérés. Il n’existe pas d’hypothèses distributionnelles à propos de

Il peut s’agir d’une variable continue, dichotomique ou multiniveau.

Y

$Y$

X

$X$

— gung - Rétablir Monica

17

Ils peuvent tous être écrits comme des cas particuliers du modèle linéaire général.

$F$

Un modèle ANOVA est fondamentalement juste un modèle de régression où les niveaux de facteurs sont représentés par des variables factices (ou indicateurs ) .

$Y$

$t$

> t.test(extra ~ group, var.equal=TRUE, data = sleep) 

    Two Sample t-test

data:  extra by group
t = -1.8608, df = 18, p-value = 0.07919   
alternative hypothesis: true difference in means is not equal to 0
95 percent confidence interval:
 -3.363874  0.203874
sample estimates:
mean in group 1 mean in group 2 
           0.75            2.33

Notez la valeur p de 0,079 ci-dessus. Voici le sens unique anova:

> summary(aov(extra~group,sleep))
            Df Sum Sq Mean Sq F value Pr(>F)  
group        1  12.48  12.482   3.463 0.0792 
Residuals   18  64.89   3.605

Maintenant pour la régression:

> summary(lm(extra ~ group, data = sleep))

(certaines sorties ont été supprimées)

Coefficients:
            Estimate Std. Error t value Pr(>|t|)  
(Intercept)   0.7500     0.6004   1.249   0.2276  
group2        1.5800     0.8491   1.861   0.0792 .
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Residual standard error: 1.899 on 18 degrees of freedom
Multiple R-squared:  0.1613,    Adjusted R-squared:  0.1147 
F-statistic: 3.463 on 1 and 18 DF,  p-value: 0.07919

Comparez la valeur p dans la ligne 'groupe2', ainsi que la valeur p pour le test F dans la dernière ligne. Pour un test bilatéral, ils sont identiques et les deux correspondent au résultat du test t.

De plus, le coefficient pour le «groupe 2» représente la différence de moyenne entre les deux groupes.

— Glen_b
source

Avoir les mêmes valeurs de p dans les 3 scénarios est magique et impressionnant. Cependant, si vous pouviez en expliquer un peu plus sur la manière dont ces valeurs de p sont calculées, la réponse serait certainement plus intéressante . Je ne sais pas si le fait d'afficher des calculs de valeur p le rendra également plus utile . Vous pourrez donc en décider.

— Gaurav Singhal

@Gaurav Les valeurs p sont les mêmes parce que vous testez la même hypothèse sur le même modèle, mais que vous l'avez légèrement représentée. Si vous souhaitez savoir comment calculer une valeur p spécifique, il s'agira d'une nouvelle question (ce ne serait pas une réponse à la question ici). Vous êtes libre de poser une question de ce type, mais essayez d’abord une recherche car elle a peut-être déjà reçu une réponse.

— Glen_b

Merci @Glen_b, désolé d'avoir posé une question évidente et qui n'est pas non plus la meilleure solution. Et vous avez toujours répondu à ma question - "Même hypothèse sur le même modèle (et / ou données)". Je n'ai pas suffisamment réfléchi sur la façon dont ils testent la même hypothèse. Merci

— Gaurav Singhal

2

La réponse que j’ai affichée plus tôt est un peu pertinente, mais cette question est quelque peu différente.

[\begin{matrix} Y_{1} \\ ⋮ \\ Y_{n} \end{matrix}] = [\begin{matrix} 1 & X_{1} \\ 1 & X_{2} \\ 1 & X_{3} \\ ⋮ & ⋮ \\ 1 & X_{n} \end{matrix}] [\begin{matrix} α_{0} \\ α_{1} \end{matrix}] + [\begin{matrix} ε_{1} \\ ⋮ \\ ⋮ \\ ε_{n} \end{matrix}]

$\begin{bmatrix} Y_1 \\ \vdots \\ Y_n \end{bmatrix} = \begin{bmatrix} 1 & x_1 \\ 1 & x_2 \\ 1 & x_3 \\ \vdots & \vdots \\ 1 & x_n \end{bmatrix} \begin{bmatrix} \alpha_0 \\ \alpha_1 \end{bmatrix} + \begin{bmatrix} \varepsilon_1 \\ \vdots \\ \vdots \\ \varepsilon_n \end{bmatrix}$

[\begin{matrix} Y_{1} \\ ⋮ \\ Y_{n} \end{matrix}] = [\begin{matrix} 1 & 0 & 0 & \dots & 0 \\ ⋮ & ⋮ & ⋮ & ⋮ \\ 1 & 0 & 0 & \dots & 0 \\ 0 & 1 & 0 & \dots & 0 \\ ⋮ & ⋮ & ⋮ & ⋮ \\ 0 & 1 & 0 & \dots & 0 \\ 0 & 0 & 1 & \dots & 0 \\ ⋮ & ⋮ \\ ⋮ & ⋮ \end{matrix}] [\begin{matrix} α_{0} \\ ⋮ \\ α_{k} \end{matrix}] + [\begin{matrix} ε_{1} \\ ⋮ \\ ⋮ \\ ε_{n} \end{matrix}]

$\begin{bmatrix} Y_1 \\ \vdots \\ Y_n \end{bmatrix} = \begin{bmatrix} 1 & 0 & 0 & \cdots & 0 \\ \vdots & \vdots & \vdots & & \vdots \\ 1 & 0 & 0 & \cdots & 0 \\ \hline 0 & 1 & 0 & \cdots & 0 \\ \vdots & \vdots & \vdots & & \vdots \\ 0 & 1 & 0 & \cdots & 0 \\ \hline 0 & 0 & 1 & \cdots & 0 \\ \vdots & & & & \vdots \\ \vdots & & & & \vdots \end{bmatrix} \begin{bmatrix} \alpha_0 \\ \vdots \\ \alpha_k \end{bmatrix} + \begin{bmatrix} \varepsilon_1 \\ \vdots \\ \vdots \\ \varepsilon_n \end{bmatrix}$

— Michael Hardy
source

2

Une description et un commentaire des questions seraient utiles aux lecteurs car ils doivent maintenant deviner d'où ils viennent et comment ils se rapportent à la question ...

— Tim

0

Anova est similaire à un test t pour l'égalité des moyennes sous l'hypothèse de variances inconnues mais égales entre les traitements. En effet, dans ANOVA, MSE est identique à la variance groupée utilisée dans le test t. Il existe d'autres versions du test t, telles que l'une pour les variances non égales et le test t paire. De ce point de vue, le test t peut être plus flexible.

— pemfir
source