Contexte

Supposons que nous ayons un modèle des moindres carrés ordinaires où nous avons coefficients dans notre modèle de régression, $k$

y = X β + ϵ

$\mathbf{y}=\mathbf{X}\mathbf{\beta} + \mathbf{\epsilon}$

où est un vecteur de coefficients, est la matrice de conception définie par $\mathbf{\beta}$ $(k\times1)$ $\mathbf{X}$

X = (\begin{matrix} 1 & x_{11} & x_{12} & \dots & x_{1 (k - 1)} \\ 1 & x_{21} & \dots & ⋮ \\ ⋮ & ⋱ & ⋮ \\ 1 & x_{n 1} & \dots & \dots & x_{n (k - 1)} \end{matrix})

$\mathbf{X} = \begin{pmatrix} 1 & x_{11} & x_{12} & \dots & x_{1\;(k-1)} \\ 1 & x_{21} & \dots & & \vdots \\ \vdots & & \ddots & & \vdots \\ 1 & x_{n1} & \dots & \dots & x_{n\;(k-1)} \end{pmatrix}$ et les erreurs sont IID normal,

ϵ \sim N (0, σ^{2} I) .

$\mathbf{\epsilon} \sim \mathcal{N}\left(\mathbf{0},\sigma^2 \mathbf{I}\right) \;.$

Nous minimisons la somme des erreurs au carré en définissant nos estimations pour à $\mathbf{\beta}$

\hat{β} = (X^{T} X)^{- 1} X^{T} y .

$\mathbf{\hat{\beta}}= (\mathbf{X^T X})^{-1}\mathbf{X}^T \mathbf{y}\;.$

Un estimateur non biaisé de est où ( réf ). $\sigma^2$

s^{2} = \frac{{‖ y - \hat{y} ‖}^{2}}{n - p}

$s^2 = \frac{\left\Vert \mathbf{y}-\mathbf{\hat{y}}\right\Vert ^2}{n-p}$

\hat{y} \equiv X \hat{β}

$\mathbf{\hat{y}} \equiv \mathbf{X} \mathbf{\hat{\beta}}$

La covariance de $\mathbf{\hat{\beta}}$ est donnée par

Cov (\hat{β}) = σ^{2} C

$\operatorname{Cov}\left(\mathbf{\hat{\beta}}\right) = \sigma^2 \mathbf{C}$ où

C \equiv (X^{T} X)^{- 1}

$\mathbf{C}\equiv(\mathbf{X}^T\mathbf{X})^{-1}$ ( réf ).

Question

Comment puis-je prouver que pour $\hat\beta_i$ ,

\frac{{\hat{β}}_{i} - β_{i}}{s_{{\hat{β}}_{i}}} \sim t_{n - k}

$\frac{\hat{\beta}_i - \beta_i} {s_{\hat{\beta}_i}} \sim t_{n-k}$ où

t_{n - k}

$t_{n-k}$ est un distribution t avec

(n - k)

$(n-k)$ degrés de liberté, et l'erreur standard de

{\hat{β}}_{i}

$\hat{\beta}_i$ est estimée par

s_{{\hat{β}}_{i}} = s \sqrt{c_{i i}}

$s_{\hat{\beta}_i} = s\sqrt{c_{ii}}$ .

Mes tentatives

Je sais que pour variables aléatoires échantillonnées à partir de , vous pouvez montrer que en réécrivant le LHS comme et en réalisant que le numérateur est une distribution normale standard, et que le dénominateur est la racine carrée d'une distribution du chi carré avec df = (n-1) et divisé par (n- 1) ( réf ). Et donc il suit une t-distribution avec df = (n-1) ( ref ). $n$ $x\sim\mathcal{N}\left(\mu, \sigma^2\right)$

\frac{\bar{x} - μ}{s / \sqrt{n}} \sim t_{n - 1}

$\frac{\bar{x}-\mu}{s/\sqrt{n}} \sim t_{n-1}$

\frac{(\frac{\bar{x} - μ}{σ / \sqrt{n}})}{\sqrt{s^{2} / σ^{2}}}

$\frac{ \left(\frac{\bar x - \mu}{\sigma/\sqrt{n}}\right) } {\sqrt{s^2/\sigma^2}}$

Je n'ai pas pu étendre cette preuve à ma question ...

Des idées? Je suis au courant de cette question , mais ils ne le prouvent pas explicitement, ils donnent juste une règle empirique, en disant "chaque prédicteur vous coûte un degré de liberté".

— Garrett
source

Étant donné que est une combinaison linéaire de variables conjointement normales, il a une distribution normale. Par conséquent , tous que vous devez faire sont (1) établissent que ; (2) montrent que est un estimateur non biaisé de ; et (3) démontrer que les degrés de liberté dans sont . Ce dernier a été prouvé sur ce site à plusieurs endroits, comme stats.stackexchange.com/a/16931 . Je soupçonne que vous savez déjà comment faire (1) et (2).

{\hat{β}}_{i}

$\hat\beta_i$

E ({\hat{β}}_{i}) = β_{i}

$\mathbb{E}(\hat\beta_i)=\beta_i$

s_{{\hat{β}}_{i}}^{2}

$s_{\hat\beta_i}^2$

Var ({\hat{β}}_{i})

$\text{Var}(\hat\beta_i)$

s_{{\hat{β}}_{i}}

$s_{\hat\beta_i}$

n - k

$n-k$

— whuber

Depuis nous savons que et ainsi nous savons que pour chaque composant de , où est l' élément diagonal de . Ainsi, nous savons que

\begin{aligned} \hat{β} & = (X^{T} X)^{- 1} X^{T} Y \\ = (X^{T} X)^{- 1} X^{T} (X β + ε) \\ = β + (X^{T} X)^{- 1} X^{T} ε \end{aligned}

$\begin{align*} \hat\beta &= (X^TX)^{-1}X^TY \\ &= (X^TX)^{-1}X^T(X\beta + \varepsilon) \\ &= \beta + (X^TX)^{-1}X^T\varepsilon \end{align*}$

\hat{β} - β \sim N (0, σ^{2} (X^{T} X)^{- 1})

$\hat\beta-\beta \sim \mathcal{N}(0,\sigma^2 (X^TX)^{-1})$

k

$k$

\hat{β}

$\hat\beta$

{\hat{β}}_{k} - β_{k} \sim N (0, σ^{2} S_{k k})

$\hat\beta_k -\beta_k \sim \mathcal{N}(0, \sigma^2 S_{kk})$

S_{k k}

$S_{kk}$

k^{th}

$k^\text{th}$

(X^{T} X)^{- 1}

$(X^TX)^{-1}$

z_{k} = \frac{{\hat{β}}_{k} - β_{k}}{\sqrt{σ^{2} S_{k k}}} \sim N (0, 1) .

$z_k = \frac{\hat\beta_k -\beta_k}{\sqrt{\sigma^2 S_{kk}}} \sim \mathcal{N}(0,1).$

Prenez note de l'énoncé du théorème pour la distribution d'une forme quadratique idempotente dans un vecteur normal standard (théorème B.8 de Greene):

Si et est symétrique et idempotent, alors est distribué où est le rang de . $x\sim\mathcal{N}(0,I)$ $A$ $x^TAx$ $\chi^2_{\nu}$ $\nu$ $A$

Soit le vecteur résiduel de régression et soit qui est la matrice maker résiduelle (ie ) . Il est facile de vérifier que est symétrique et idempotent . $\hat\varepsilon$

M = I_{n} - X (X^{T} X)^{- 1} X^{T},

$M=I_n - X(X^TX)^{-1}X^T \text{,}$

M y = \hat{ε}

$My=\hat\varepsilon$ $M$

Soit un estimateur pour .

s^{2} = \frac{{\hat{ε}}^{T} \hat{ε}}{n - p}

$s^2 = \frac{\hat\varepsilon^T \hat\varepsilon}{n-p}$

σ^{2}

$\sigma^2$

Nous devons ensuite faire de l'algèbre linéaire. Notez ces trois propriétés d'algèbre linéaire:

Le rang d'une matrice idempotente est sa trace.
$\operatorname{Tr}(A_1+A_2) = \operatorname{Tr}(A_1) + \operatorname{Tr}(A_2)$
$\operatorname{Tr}(A_1A_2) = \operatorname{Tr}(A_2A_1)$ si est et est ( cette propriété est essentielle pour que ce qui suit fonctionne ) $A_1$ $n_1 \times n_2$ $A_2$ $n_2 \times n_1$

Donc

\begin{aligned} rank (M) = Tr (M) & = Tr (I_{n} - X (X^{T} X)^{- 1} X^{T}) \\ = Tr (I_{n}) - Tr (X (X^{T} X)^{- 1} X^{T})) \\ = Tr (I_{n}) - Tr ((X^{T} X)^{- 1} X^{T} X)) \\ = Tr (I_{n}) - Tr (I_{p}) \\ = n - p \end{aligned}

$\begin{align*} \operatorname{rank}(M) = \operatorname{Tr}(M) &= \operatorname{Tr}(I_n - X(X^TX)^{-1}X^T) \\ &= \operatorname{Tr}(I_n) - \operatorname{Tr}\left( X(X^TX)^{-1}X^T) \right) \\ &= \operatorname{Tr}(I_n) - \operatorname{Tr}\left( (X^TX)^{-1}X^TX) \right) \\ &= \operatorname{Tr}(I_n) - \operatorname{Tr}(I_p) \\ &=n-p \end{align*}$

Puis

\begin{aligned} V = \frac{(n - p) s^{2}}{σ^{2}} = \frac{{\hat{ε}}^{T} \hat{ε}}{σ^{2}} = {(\frac{ε}{σ})}^{T} M (\frac{ε}{σ}) . \end{aligned}

$\begin{align*} V = \frac{(n-p)s^2}{\sigma^2} = \frac{\hat\varepsilon^T\hat\varepsilon}{\sigma^2} = \left(\frac{\varepsilon}{\sigma}\right)^T M \left(\frac{\varepsilon}{\sigma}\right). \end{align*}$

En appliquant le théorème pour la distribution d'une forme quadratique idempotente dans un vecteur normal standard (indiqué ci-dessus), nous savons que . $V \sim \chi^2_{n-p}$

Puisque vous supposez que est normalement distribué, alors est indépendant de , et puisque est une fonction de , alors est également indépendant de . Ainsi, et sont indépendants l'un de l'autre. $\varepsilon$ $\hat\beta$ $\hat\varepsilon$ $s^2$ $\hat\varepsilon$ $s^2$ $\hat\beta$ $z_k$ $V$

Ensuite, est le rapport d'une distribution normale standard avec la racine carrée d'une distribution chi carré avec les mêmes degrés de liberté (ie ), qui est une caractérisation de la distribution . Par conséquent, la statistique a une distribution avec degrés de liberté.

\begin{aligned} t_{k} = \frac{z_{k}}{\sqrt{V / (n - p)}} \end{aligned}

$\begin{align*} t_k = \frac{z_k}{\sqrt{V/(n-p)}} \end{align*}$

n - p

$n-p$

t

$t$ $t_k$ $t$ $n-p$

Il peut ensuite être manipulé algébriquement sous une forme plus familière.

\begin{aligned} t_{k} & = \frac{\frac{{\hat{β}}_{k} - β_{k}}{\sqrt{σ^{2} S_{k k}}}}{\sqrt{\frac{(n - p) s^{2}}{σ^{2}} / (n - p)}} \\ = \frac{\frac{{\hat{β}}_{k} - β_{k}}{\sqrt{S_{k k}}}}{\sqrt{s^{2}}} = \frac{{\hat{β}}_{k} - β_{k}}{\sqrt{s^{2} S_{k k}}} \\ = \frac{{\hat{β}}_{k} - β_{k}}{se ({\hat{β}}_{k})} \end{aligned}

$\begin{align*} t_k &= \frac{\frac{\hat\beta_k -\beta_k}{\sqrt{\sigma^2 S_{kk}}}}{\sqrt{\frac{(n-p)s^2}{\sigma^2}/(n-p)}} \\ &= \frac{\frac{\hat\beta_k -\beta_k}{\sqrt{S_{kk}}}}{\sqrt{s^2}} = \frac{\hat\beta_k -\beta_k}{\sqrt{s^2 S_{kk}}} \\ &= \frac{\hat\beta_k -\beta_k}{\operatorname{se}\left(\hat\beta_k \right)} \end{align*}$

— Marqueur bleu
source

Également une question secondaire: pour le Theorem for the Distribution of an Idempotent Quadratic Form in a Standard Normal Vector, n'avons-nous pas aussi besoin que soit symétrique? Malheureusement, je n'ai pas Greene, donc je ne peux pas voir la preuve même si j'ai vu que Wikipedia avait la même forme que vous . Cependant, un contre-exemple semble être la matrice idempotente qui conduit à qui n'est pas Chi-Squared car elle pourrait prendre des valeurs négatives. ..

A

$A$

A = (\begin{matrix} 1 & 1 \\ 0 & 0 \end{matrix})

$A=\begin{pmatrix}1&1\\0&0\end{pmatrix}$

x_{1}^{2} + x_{1} x_{2}

$x_1^2+x_1 x_2$

— Garrett

@ Garrett Mes excuses, doit être à la fois symétrique et idempotent. Une preuve est fournie comme Théorème 3 dans ce document: www2.econ.iastate.edu/classes/econ671/hallam/documents/… Heureusement, est symétrique aussi bien qu'idempotent.

A

$A$

M

$M$

— Blue Marker du

A

$A$ est simplement une représentation matricielle d'une forme quadratique. Chaque forme quadratique a une représentation symétrique, donc l'exigence de symétrie de est implicite dans l'énoncé du théorème. (Les gens n'utilisent pas de matrices asymétriques pour représenter les formes quadratiques.) Ainsi, la forme quadratique est uniquement représentée par la matrice qui n'est pas idempotent.

A

$A$

(x_{1}, x_{2}) \to x_{1}^{2} + x_{1} x_{2}

$(x_1,x_2)\to x_1^2+x_1x_2$

A = (\begin{matrix} 1 & 1 / 2 \\ 1 / 2 & 0 \end{matrix})

$A=\begin{pmatrix}1&1/2\\1/2&0\end{pmatrix}$

— whuber

Pourquoi implique-t-il que est indépendant de ? Pas tout à fait là-bas.

ϵ \sim N (0, σ^{2})

$\epsilon\sim N(0,\sigma^2)$

\hat{β}

$\hat{\beta}$

\hat{ϵ}

$\hat{\epsilon}$

— Glassjawed

@Glassjawed Étant donné que et sont tous les deux normalement distribués, la non-corrélation implique l'indépendance. Utilisation des expressions et de ci-dessus, nous pouvons montrer que .

\hat{β}

$\hat{\beta}$

\hat{ε}

$\hat{\varepsilon}$

\hat{β} = β + {(X^{⊤} X)}^{- 1} X^{⊤} ε

$\hat{\beta} = \beta + \left(X^{\top}X\right)^{-1}X^{\top}\varepsilon$

\hat{ε} = M ε

$\hat{\varepsilon} = M\varepsilon$

Cov (\hat{β}, \hat{ε}) = 0_{p \times n}

$\operatorname{Cov}\left(\hat{\beta}, \hat{\varepsilon}\right) = \mathbf{0}_{p\times n}$

— rzch

Preuve que les coefficients dans un modèle OLS suivent une distribution t avec (nk) degrés de liberté

Contexte

Question

Mes tentatives