Erreurs standard pour les coefficients de régression multiples?

Je me rends compte que c'est une question très fondamentale, mais je ne trouve de réponse nulle part.

Je calcule les coefficients de régression en utilisant les équations normales ou la décomposition QR. Comment puis-je calculer les erreurs standard pour chaque coefficient? Je pense généralement que les erreurs standard sont calculées comme:

$SE_\bar{x}\ = \frac{\sigma_{\bar x}}{\sqrt{n}}$

Qu'est-ce que pour chaque coefficient? Quelle est la manière la plus efficace de calculer cela dans le contexte d'OLS?$\sigma_{\bar x}$

Lors de l'estimation des moindres carrés (en supposant une composante aléatoire normale), les estimations des paramètres de régression sont normalement distribuées avec une moyenne égale au paramètre de régression réel et à la matrice de covariance où s 2 est la variance résiduelle et X T X est la matrice de conception. X T est la transposée de X et X est défini par l'équation du modèle Y = X β + ϵ avec $\Sigma = s^2\cdot(X^TX)^{-1}$$s^2$$X^TX$$X^T$$X$$X$$Y=X\beta+\epsilon$$\beta$les paramètres de régression et est le terme d'erreur. L'écart type estimé d'un paramètre bêta est obtenu en prenant le terme correspondant dans ( X T X ) - 1 en le multipliant par l'estimation de l'échantillon de la variance résiduelle, puis en prenant la racine carrée. Ce n'est pas un calcul très simple, mais tout logiciel le calculera pour vous et le fournira dans la sortie.$\epsilon$$(X^TX)^{-1}$

Exemple

À la page 134 de Draper et Smith (référencé dans mon commentaire), ils fournissent les données suivantes pour ajuster par moindres carrés un modèle où ε ∼ N ( 0 , I σ 2 ) .$Y = \beta_0 + \beta_1 X + \varepsilon$$\varepsilon \sim N(0, \mathbb{I}\sigma^2)$

                      X                      Y                    XY
                      0                     -2                     0
                      2                      0                     0
                      2                      2                     4
                      5                      1                     5
                      5                      3                    15
                      9                      1                     9
                      9                      0                     0
                      9                      0                     0
                      9                      1                     9
                     10                     -1                   -10
                    ---                     --                   ---
Sum                  60                      5                    32
Sum of  Squares     482                     21                   528

Ressemble à un exemple où la pente doit être proche de 0.

$$X^t = \pmatrix{ 1 &1 &1 &1 &1 &1 &1 &1 &1 &1 \\ 0 &2 &2 &5 &5 &9 &9 &9 &9 &10 }.$$

Donc

$$X^t X = \pmatrix{n &\sum X_i \\ \sum X_i &\sum X_i^2} = \pmatrix{10 &60 \\60 &482}$$

et

$$\eqalign{ (X^t X)^{-1} &= \pmatrix{ \frac{\sum X_i^2}{n \sum (X_i - \bar{X})^2} &\frac{-\bar{X}}{\sum (X_i-\bar{X})^2} \\ \frac{-\bar{X}}{\sum (X_i-\bar{X})^2} &\frac{1}{\sum (X_i-\bar{X})^2} } \\ &= \pmatrix{\frac{482}{10(122)} &-\frac{6}{122} \\ -\frac{6}{122} &\frac{1}{122}} \\ &= \pmatrix{0.395 &-0.049 \\ -0.049 &0.008} }$$

$\bar{X} = \sum X_i/n = 60/10 = 6$

$β = (X^TX)^{-1} X^TY$

b1 = 1/61 = 0,0163 et b0 = 0,5 à 0,0163 (6) = 0,402

$(X^TX)^{-1}$

Désolé que les équations ne comportent pas d'indice et d'exposant lorsque je les coupe et les colle. La table ne s'est pas bien reproduite non plus car les espaces ont été ignorés. La première chaîne de 3 nombres correspond aux premières valeurs de XY et XY et de même pour les chaînes suivantes de trois. Après Sum vient les sommes pour XY et XY respectivement, puis la somme des carrés pour XY et XY respectivement. Les matrices 2x2 ont également été gâchées. Les valeurs après les crochets doivent être entre crochets sous les chiffres à gauche.