Distribution de l'erreur de somme des carrés pour la régression linéaire?

Je sais que la distribution de la variance de l'échantillon C'est du fait que peut être exprimée sous forme de matrice, (où A: symétrique), et elle pourrait être à nouveau exprimée en: (où Q: orthonormé, D: matrice diagonale).

\sum \frac{(X_{i} - \bar{X})^{2}}{σ^{2}} \sim χ_{(n - 1)}^{2}

$\sum\frac{(X_i-\bar{X})^2}{\sigma^2}\sim \chi^2_{(n-1)}$

\sum \frac{(X_{i} - \bar{X})^{2}}{n - 1} \sim \frac{σ^{2}}{n - 1} χ_{(n - 1)}^{2}

$\sum\frac{(X_i-\bar{X})^2}{n-1}\sim \frac{\sigma^2}{n-1}\chi^2_{(n-1)}$

(X - \bar{X})^{2}

$(X-\bar{X})^2$

x A x^{'}

$xAx'$

x^{'} Q D Q^{'} x

$x'QDQ'x$

Qu'en est-il de , étant donné l'hypothèse ? $\sum(Y_i-\hat{\beta}_0-\hat{\beta}_1X_i)^2$ $(Y - \beta_0 - \beta_1X)\sim \mathcal{N}(0, \sigma^2)$

Je figure

\sum \frac{(Y_{i} - {\hat{β}}_{0} - {\hat{β}}_{1} X_{i})^{2}}{σ^{2}} \sim χ_{(n - 2)}^{2} .

$\sum\frac{(Y_i-\hat{\beta}_0-\hat{\beta}_1X_i)^2}{\sigma^2}\sim \chi^2_{(n-2)}.$

Mais je ne sais pas comment le prouver ou le montrer.

Est-il distribué exactement comme ? $\chi^2_{(n-2)}$

— KH Kim
source

Est-ce des devoirs? Si oui, veuillez utiliser la balise Homework.

— MånsT

Non ce n'est pas. Je pense que c'est vrai bcoz après tout, la somme des carrés est un carré de combinaison linéaire des constantes X données par Y. Mais est-ce? Une preuve simple comme celle-ci serait appréciée! math.stackexchange.com/questions/47009/…

— KH Kim

Les descriptions que vous donnez à la fois dans la question et dans votre commentaire sont un peu confuses. Avez-vous écrit ce que doit être votre matrice pour la variance de l'échantillon? Cela vous aide-t-il à voir comment généraliser?

A

$A$

— cardinal

Corrigé pour D. Je pense que le point critique est que l'élément diagonal de D devrait être quelque chose comme (1,1,1, ..., 1,0,0). Existe-t-il un moyen de le prouver? ou Existe-t-il de toute façon que où sse / ,

χ^{2} (n) = χ^{2} (n - 2) + χ^{2} (1) + χ^{2} (1)

$\chi^2(n)=\chi^2(n-2)+\chi^2(1)+\chi^2(1)$

σ^{2} \sim χ^{2} (n - 2)

$\sigma^2 \sim \chi^2(n-2)$

\sum e_{i}^{2} / σ^{2} \sim χ^{2} (n)

$\sum{e_i^2}/\sigma^2 \sim \chi^2(n)$

— KH Kim

Nous pouvons le prouver pour le cas plus général des variables en utilisant la "matrice chapeau" et certaines de ses propriétés utiles. Ces résultats sont généralement beaucoup plus difficiles à énoncer en termes non matriciels en raison de l'utilisation de la décomposition spectrale. $p$

Maintenant dans la version matricielle des moindres carrés, la matrice chapeau est où a lignes et colonnes (colonne de celles pour ). Supposons que le classement complet des colonnes soit pratique - sinon, vous pouvez remplacer par le classement des colonnes de dans la suite. Nous pouvons écrire les valeurs ajustées comme ou en notation matricielle . En utilisant cela, nous pouvons écrire la somme des carrés comme: $H=X(X^TX)^{-1}X^T$ $X$ $n$ $p+1$ $\beta_0$ $p+1$ $X$ $\hat{Y}_i=\sum_{j=1}^nH_{ij}Y_j$ $\hat{Y}=HY$

\frac{\sum_{i = 1} (Y - \hat{Y_{i}})^{2}}{σ^{2}} = \frac{(Y - \hat{Y})^{T} (Y - \hat{Y})}{σ^{2}} = \frac{(Y - H Y)^{T} (Y - H Y)}{σ^{2}}

$\frac{\sum_{i=1}(Y-\hat{Y_i})^2}{\sigma^2}=\frac{(Y-\hat{Y})^T(Y-\hat{Y})}{\sigma^2}=\frac{(Y-HY)^T(Y-HY)}{\sigma^2}$

= \frac{Y^{T} (I_{n} - H) Y}{σ^{2}}

$=\frac{Y^T(I_n-H)Y}{\sigma^2}$

Où est une matrice d'identité d'ordre . La dernière étape découle du fait que est une matrice idépotente, car $I_n$ $n$ $H$

H^{2} = [X (X^{T} X)^{- 1} X^{T}] [X (X^{T} X)^{- 1} X^{T}] = X (X^{T} X)^{- 1} X^{T} = H = H H^{T} = H^{T} H

$H^2=[X(X^TX)^{-1}X^T][X(X^TX)^{-1}X^T]=X(X^TX)^{-1}X^T=H=HH^T=H^TH$

Maintenant, une propriété intéressante des matrices idépotentes est que toutes leurs valeurs propres doivent être égales à zéro ou à un. Soit un vecteur propre normalisé de de valeur propre , nous pouvons le prouver comme suit: $e$ $H$ $l$

H e = l e ⟹ H (H e) = H (l e)

$He=le\implies H(He)=H(le)$

L H S = H^{2} e = H e = l e R H S = l H e = l^{2} e

$LHS=H^2e=He=le\;\;\; RHS=lHe=l^2e$

⟹ l e = l^{2} e ⟹ l = 0 or 1

$\implies le=l^2e\implies l=0\text{ or }1$

(notez que ne peut pas être nul car il doit satisfaire ) Maintenant parce que est idépotent, est aussi, car $e$ $e^Te=1$ $H$ $I_n-H$

(I_{n} - H) (I_{n} - H) = I - I H - H I + H^{2} = I_{n} - H

$(I_n-H)(I_n-H)=I-IH-HI+H^2=I_n-H$

Nous avons également la propriété que la somme des valeurs propres est égale à la trace de la matrice, et

t r (I_{n} - H) = t r (I_{n}) - t r (H) = n - t r (X (X^{T} X)^{- 1} X^{T}) = n - t r ((X^{T} X)^{- 1} X^{T} X)

$tr(I_n-H)=tr(I_n)-tr(H)=n-tr(X(X^TX)^{-1}X^T)=n-tr((X^TX)^{-1}X^TX)$

= n - t r (I_{p + 1}) = n - p - 1

$=n-tr(I_{p+1})=n-p-1$

Par conséquent doit avoir valeurs propres égaux à et valeurs propres égal à . $I-H$ $n-p-1$ $1$ $p+1$ $0$

Maintenant nous pouvons utiliser la décomposition spectrale de où et est orthogonal (car est symétrique). Une autre propriété qui est utile est que . Cela permet de réduire la matrice $I-H=ADA^T$ $D=\begin{pmatrix}I_{n-p-1} & 0_{[n-p-1]\times[p+1]}\\0_{[p+1]\times [n-p-1]} & 0_{[p+1]\times [p+1]}\end{pmatrix}$ $A$ $I-H$ $HX=X$ $A$

H X = X ⟹ (I - H) X = 0 ⟹ A D A^{T} X = 0 ⟹ D A^{T} X = 0

$HX=X\implies(I-H)X=0\implies ADA^TX=0\implies DA^TX=0$

⟹ (A^{T} X)_{i j} = 0 i = 1, \dots, n - p - 1 j = 1, \dots, p + 1

$\implies (A^TX)_{ij}=0\;\;\;i=1,\dots,n-p-1\;\;\; j=1,\dots,p+1$

et nous obtenons:

\frac{\sum_{i = 1} (Y - \hat{Y_{i}})^{2}}{σ^{2}} = \frac{Y^{T} A D A^{T} Y}{σ^{2}} = \frac{\sum_{i = 1}^{n - p - 1} (A^{T} Y)_{i}^{2}}{σ^{2}}

$\frac{\sum_{i=1}(Y-\hat{Y_i})^2}{\sigma^2}=\frac{Y^TADA^TY}{\sigma^2}=\frac{\sum_{i=1}^{n-p-1}(A^TY)_i^2}{\sigma^2}$

Maintenant, sous le modèle, nous avons et en utilisant la théorie normale standard, nous avons montrant que les composants de sont indépendants. En utilisant maintenant le résultat utile, nous avons cela pour . La distribution du chi carré avec degrés de liberté pour la somme des erreurs quadratiques suit immédiatement. $Y\sim N(X\beta,\sigma^2I)$ $A^TY\sim N(A^TX\beta,\sigma^2A^TA)\sim N(A^TX\beta,\sigma^2I)$ $A^TY$ $(A^TY)_i\sim N(0,\sigma^2)$ $i=1,\dots,n-p-1$ $n-p-1$

— probabilitéislogique
source

Wow, merci beaucoup. C'est vraiment magnifique! La forme matricielle est vraiment payante! En résumé, SSE / et est idempotent. Les matrices idempotentes ont des valeurs propres de 0 ou 1. La somme des valeurs propres est donc le nombre de valeurs propres 1. et puisque , et devient n-p +1. et la somme des valeurs propres d'une matrice est la somme des traces de la matrice! et peut être exprimée en . Ainsi, le premier devient avec D avec seulement np-1 diagonale 1.

σ^{2} = Y^{T} (I - H) Y

$\sigma^2 = Y^T(I-H)Y$

I - H

$I-H$

t r (I_{n} - H) = t r (I_{n}) - t r (H) = t r (I_{n}) - t r (X (X^{T} X)^{-} 1 X^{T}) = t r (I_{n}) - t r ((X^{T} X)^{-} 1 X^{T} X)

$tr(I_n-H)= tr(I_n)-tr(H)=tr(I_n)-tr(X(X^T X)^-1 X^T)=tr(I_n)-tr((X^T X)^-1 X^T X)$

t r (A B) = t r (B A)

$tr(AB)=tr(BA)$

t r (I_{n} - H)

$tr(I_n-H)$

I - H

$I-H$

A D A^{T}

$ADA^T$

Y^{T} (I - H) Y

$Y^T(I-H)Y$

Y^{T} A D A^{T} Y

$Y^TADA^TY$

— KH Kim

Très bonne réponse!! Juste pour présenter une autre approche, nous pouvons plutôt choisir de définir une variable normale multivariée transformée et elle suivra toujours la même distribution si nous utilisons la propriété affine. Ensuite, la dernière fraction .

v := A^{'} Y

$v := A'Y$

N (0, σ^{2} I)

$\mathcal{N}\left(0, \sigma^{2}I\right)$

\frac{Y^{'} A D A^{'} Y}{σ^{2}} = \frac{v^{'} D v}{σ^{2}} = \frac{v^{'} [\begin{matrix} I & 0 \\ 0 & 0 \end{matrix}] v}{σ^{2}} = \sum_{i = 1}^{tr D} {(\frac{v_{i}}{σ})}^{2}

$\frac{Y'ADA'Y}{\sigma^{2}} = \frac{v'Dv}{\sigma^{2}} = \frac{v'\begin{bmatrix} I & 0\\0 & 0\end{bmatrix}v}{\sigma^{2}}= \sum_{i=1}^{\operatorname{tr}D} \left(\frac{v_{i}}{\sigma}\right)^{2}$

— Daeyoung Lim