Valeur attendue et variance de l'estimation du paramètre de pente

Je lis un texte, "Probability and Statistics" de Devore. Je regarde 2 éléments à la page 740: la valeur attendue et la variance de l'estimation de $\beta_1$ , qui est le paramètre de pente dans la régression linéaire $Y_i = \beta_0 + \beta_1 X_i + \epsilon_i$ . $\epsilon_i$ est gaussien ( $\mu = 0, variance=\sigma^2$ ) variable aléatoire et $\epsilon_i$ sont indépendants.

L'estimation de $\beta_1$ peut s'exprimer comme suit: $\hat{\beta_1} = \frac{\sum (x_i - \bar{x}) (Y_i - \bar{Y})}{\sum(x_i-\bar{x})^2} = \frac{\sum (x_i - \bar{x})Y_i}{S_{xx}}$ , où $S_{xx} = \sum (x_i - \bar{x})^2$ . Donc, ma question est: comment puis-je dériver $E(\hat{\beta_1})$ et $Var(\hat{\beta_1})$ ? Le livre a déjà donné les résultats: $E(\hat{\beta_1}) = \beta_1$ et $Var(\hat{\beta_1}) = \frac{\sigma^2}{S_xx}$ .

Mon travail dans la dérivation: $E\left(\frac{\sum (x_i - \bar{x})Y_i}{S_{xx}}\right) = E\left(\frac{\sum (x_i - \bar{x})(\beta_0 + \beta_1 x_i + \epsilon)}{S_{xx}}\right) = E\left(\frac{\sum (x_i - \bar{x})\beta_1 x_i}{S_{xx}}\right)$ , depuis $\sum(x_i - \bar{x})c = 0$ et $E(c\epsilon) = 0$ . Mais je suis coincé.

Aussi, $Var\left(\frac{\sum (x_i - \bar{x})Y_i}{S_{xx}}\right) = Var\left(\frac{\sum (x_i - \bar{x})(\beta_0 + \beta_1 x_i + \epsilon)}{S_{xx}}\right) = Var\left(\frac{\sum (x_i - \bar{x})\epsilon}{S_{xx}}\right) = Var\left(\frac{\sum (x_i - \bar{x})}{S_{xx}}\right) \sigma^2$ , mais je suis coincé.

regression self-study linear

— jrand
source

Mon commentaire du 22 juin 2011 dans la réponse de l'utilisateur whuber devrait inclure l'indice

i

$i$ dans le

ϵ

$\epsilon$ et doit utiliser le fait que les termes d'erreur

ϵ_{i}

$\epsilon_i$ sont indépendants.

— jrand

V a r (\hat{β_{1}}) = V a r (\sum \frac{(x_{i} - \bar{x}) y_{i}}{S_{x x}}) = V a r (\sum \frac{(x_{i} - \bar{x}) ϵ_{i}}{S_{x x}}) = V a r (\frac{(x_{1} - \bar{x}) ϵ_{1}}{S_{x x}} + \frac{(x_{2} - \bar{x}) ϵ_{2}}{S_{x x}} + \dots + \frac{(x_{n} - \bar{x}) ϵ_{n}}{S_{x x}}) = \frac{(x_{1} - \bar{x})^{2} σ^{2}}{(S_{x x})^{2}} + \frac{(x_{2} - \bar{x})^{2} σ^{2}}{(S_{x x})^{2}} + \dots + \frac{(x_{n} - \bar{x})^{2} σ^{2}}{(S_{x x})^{2}} = σ^{2} [\sum \frac{(x_{i} - \bar{x})^{2}}{(S_{x x})^{2}}] = \frac{σ^{2}}{S_{x x}}

$\mathrm{Var}(\hat{\beta_1}) = \mathrm{Var}\left(\sum\frac{(x_i - \bar{x})y_i}{S_{xx}}\right) = \mathrm{Var}\left(\sum{\frac{(x_i-\bar{x})\epsilon_i}{S_{xx}}}\right) = \mathrm{Var}\left(\frac{(x_1 - \bar{x})\epsilon_1}{S_{xx}} + \frac{(x_2 - \bar{x})\epsilon_2}{S_{xx}} + \ldots + \frac{(x_n - \bar{x})\epsilon_n}{S_{xx}}\right) = \frac{(x_1 - \bar{x})^2 \sigma^2}{(S_{xx})^2} + \frac{(x_2 - \bar{x})^2 \sigma^2}{(S_{xx})^2} + \ldots + \frac{(x_n - \bar{x})^2 \sigma^2}{(S_{xx})^2} = \sigma^2 \left[\sum{\frac{(x_i-\bar{x})^2}{(S_{xx})^2}}\right] = \frac{\sigma^2}{S_{xx}}$

— jrand

La "réponse" standard est une sous-estimation, elle ignore la variance de S_ {xx}.

— climbert8

Dans la situation interrogée,

X

$X$ est conditionné, il est donc traité comme fixe plutôt que aléatoire

— Glen_b -Reinstate Monica

$E\left(\frac{\sum (x_i - \bar{x})\beta_1 x_i}{S_{xx}}\right)$ = $\frac{\sum (x_i - \bar{x})\beta_1 x_i}{S_{xx}}$ parce que tout est constant. Le reste n'est que l'algèbre. Évidemment, vous devez montrer $\sum (x_i - \bar{x}) x_i = S_{xx}$ . En regardant la définition de $S_{xx}$ et comparer les deux côtés conduit à soupçonner $\sum(x_i - \bar{x}) \bar{x} = 0$ . Cela découle facilement de la définition de $\bar{x}$ .
$Var\left(\frac{\sum (x_i - \bar{x})\epsilon}{S_{xx}}\right)$ = $\sum \left[\frac{(x_i - \bar{x})^2}{S_{xx}^2}\sigma^2\right]$ . Il simplifie, en utilisant la définition de $S_{xx}$ , au résultat souhaité.

— whuber
source

Pour le 2ème point, la variance, l'équation doit être:

V a r (\frac{\sum (x_{i} - \bar{x}) ϵ}{S_{x x}}) = V a r (\frac{(x_{1} - \bar{x}) ϵ + (x_{2} - \bar{x}) ϵ + \dots + (x_{n} - \bar{x}) ϵ}{S_{x x}}) = (\frac{\sum_{i}^{n} (x_{i} - \bar{x})^{2}}{S_{x x}^{2}}) \times σ^{2} = \frac{S_{x x}}{S_{x x}^{2}} \times σ^{2} = \frac{σ^{2}}{S_{x x}}

$Var\left(\frac{\sum (x_i - \bar{x})\epsilon}{S_{xx}}\right) = Var\left( \frac{(x_1 - \bar{x})\epsilon + (x_2 - \bar{x})\epsilon + \ldots + (x_n - \bar{x})\epsilon}{S_{xx}} \right) = \left( \frac{ \sum_i^{n} (x_i - \bar{x})^2} {S_{xx}^2} \right) \times \sigma^2 = \frac{S_{xx}}{S_{xx}^2} \times \sigma^2 = \frac{\sigma^2}{S_{xx}}$

— jrand

@jrand Oui, c'est exactement ce que j'ai écrit (bien que votre première égalité n'accomplisse rien: c'est juste une façon plus laborieuse d'écrire la sommation). L'essentiel - et la chose qui mérite d'être rappelée - est que lorsque

ε

$\varepsilon$ est une variable aléatoire avec une variance et

λ

$\lambda$ est constant,

V a r (λ ε)

$Var(\lambda \varepsilon)$ =

λ^{2} V a r (ε)

$\lambda^2 Var(\varepsilon)$ .

— whuber

À moins que je ne me trompe, c'est une fausse déclaration:

\sum_{i}^{n} (x_{i})^{2} = {(\sum_{i}^{n} x_{i})}^{2}

$\sum_i^n (x_i)^2 = \left( \sum_i^n x_i \right)^2$ . La quantité sur le côté gauche est la somme des carrés, et l'autre est le carré de la somme.

— jrand

@jrand Vous avez raison: il y a une erreur typographique dans ma réponse. Je vous remercie de le faire remarquer. Je l'ai reformaté pour corriger l'erreur et rendre la logique plus claire.

— whuber