Comment dériver l'erreur standard du coefficient de régression linéaire

20

Pour ce modèle univarié de régression linéaire

y_{je} = β_{0} + β_{1} X_{je} + ϵ_{je}

$y_i = \beta_0 + \beta_1x_i+\epsilon_i$ données ensemble donné

D = {(x_{1}, y_{1}), . . ., (x_{n}, y_{n})}

$D=\{(x_1,y_1),...,(x_n,y_n)\}$ , les estimations des coefficients sont

Voici ma question, selon le livre etWikipedia, l'erreur type deest Comment et pourquoi?

{\hat{β}}_{1} = \frac{\sum_{je} X_{je} y_{je} - n \bar{X} \bar{y}}{n {\bar{X}}^{2} - \sum_{je} X_{je}^{2}}

$\hat\beta_1=\frac{\sum_ix_iy_i-n\bar x\bar y}{n\bar x^2-\sum_ix_i^2}$

{\hat{β}}_{0} = \bar{y} - {\hat{β}}_{1} \bar{X}

$\hat\beta_0=\bar y - \hat\beta_1\bar x$

{\hat{β}}_{1}

$\hat\beta_1$

s_{{\hat{β}}_{1}} = \sqrt{\frac{\sum_{je} {\hat{ϵ}}_{je}^{2}}{(n - 2) \sum_{je} (X_{je} - \bar{X})^{2}}}

$s_{\hat\beta_1}=\sqrt{\frac{\sum_i\hat\epsilon_i^2}{(n-2)\sum_i(x_i-\bar x)^2}}$

standard-error inference

— Avocat
source

1

stats.stackexchange.com/questions/44838/…

— ocram

@ocram, merci, mais je ne suis pas tout à fait capable de gérer les trucs matriciels, je vais essayer.

— avocat

1

(n - 2)

$(n-2)$

15

3ème commentaire ci-dessus: j'ai déjà compris comment ça se passe. Mais encore une question: dans mon post, l'erreur standard a (n − 2), où selon votre réponse, ce n'est pas le cas, pourquoi?

\hat{se} (\hat{b}) = \sqrt{\frac{n {\hat{σ}}^{2}}{n \sum X_{je}^{2} - (\sum X_{je})^{2}}} .

$\widehat{\text{se}}(\hat{b}) = \sqrt{\frac{n \hat{\sigma}^2}{n\sum x_i^2 - (\sum x_i)^2}}.$

n \sum_{je} (X_{je} - \bar{X})^{2}

$n \sum_i (x_i - \bar{x})^2$

\hat{se} (\hat{b}) = \sqrt{\frac{{\hat{σ}}^{2}}{\sum_{je} (X_{je} - \bar{X})^{2}}}

$\widehat{\text{se}}(\hat{b}) = \sqrt{\frac{\hat{\sigma}^2}{\sum_i (x_i - \bar{x})^2}}$

{\hat{σ}}^{2} = \frac{1}{n - 2} \sum_{je} {\hat{ϵ}}_{je}^{2}

$\hat{\sigma}^2 = \frac{1}{n-2} \sum_i \hat{\epsilon}_i^2$

\hat{se} (\hat{b})

$\widehat{\text{se}}(\hat{b})$

n - 2

$n-2$

— ocram
source

1

{\hat{σ}}^{2} = \frac{1}{n - 2} \sum_{i} {\hat{ϵ}}_{i}^{2}

$\hat{\sigma}^2 = \frac{1}{n-2} \sum_i \hat{\epsilon}_i^2$

2

une autre façon de penser le n-2 df est que c'est parce que nous utilisons 2 moyennes pour estimer le coefficient de pente (la moyenne de Y et X)

df de Wikipedia: "... En général, les degrés de liberté d'une estimation d'un paramètre sont égaux au nombre de scores indépendants qui entrent dans l'estimation moins le nombre de paramètres utilisés comme étapes intermédiaires dans l'estimation du paramètre lui-même . "

— Eivind
source

2

Ce n'est pas vraiment une dérivation en tant que telle, bien que ce soit une intuition. Pour certaines subtilités liées à cela, cependant, voir Comment comprendre les degrés de liberté?

— Silverfish