Pourquoi une distribution T est-elle utilisée pour tester l'hypothèse d'un coefficient de régression linéaire?

17

En pratique, l'utilisation d'un test T standard pour vérifier la signification d'un coefficient de régression linéaire est une pratique courante. La mécanique du calcul a du sens pour moi.

Pourquoi la distribution T peut-elle être utilisée pour modéliser la statistique de test standard utilisée dans les tests d'hypothèse de régression linéaire? Statistique de test standard dont je parle ici:

T_{0} = \frac{\hat{β} - β_{0}}{S E (\hat{β})}

$T_{0} = \frac{\widehat{\beta} - \beta_{0}}{SE(\widehat{\beta})}$

— Nate Parke
source

Une réponse complète et complète à cette question sera assez longue, j'en suis sûr. Donc, en attendant que quelqu'un s'attaque à cela, vous pouvez avoir une assez bonne idée de pourquoi c'est le cas en consultant quelques notes que j'ai trouvées en ligne ici: onlinecourses.science.psu.edu/stat501/node/297 . Notez spécifiquement que .

t_{(n - p)}^{2} = F_{(1, n - p)}

$t^2_{(n−p)}=F_{(1,n−p)}$

— StatsStudent

1

Je n'arrive pas à croire que ce ne soit pas un doublon, et pourtant tous les votes positifs (à la fois sur la question et les réponses) ... Qu'en est- il ? Ou peut-être que ce n'est pas un doublon, ce qui signifie qu'il y a (ou il y avait jusqu'à aujourd'hui) des sujets super-basiques qui n'ont pas été couverts au cours des sept années d'existence de Cross Validated ... Wow ...

— Richard Hardy

@RichardHardy Hmm, cela ressemble à un doublon. Bien qu'il soit plus détaillé, la question est précisément: "Comment puis-je prouver que pour , " $\hat\beta_i$ $\frac{\hat{\beta}_i - \beta_i} {s_{\hat{\beta}_i}} \sim t_{n-k}$

— Firebug

26

Pour comprendre pourquoi nous utilisons le t-distribution, vous devez savoir quelle est la répartition sous - jacente de et de la somme des carrés résiduelle ( ) que ces deux ensemble de vente vous donnera la distribution t. $\widehat{\beta}$ $RSS$

La partie plus facile est la distribution de qui est une distribution normale - voir cette note que = de sorte qu'il est une fonction linéaire de où . En conséquence , il est également normalement $\widehat{\beta}$ $\widehat{\beta}$ $(X^{T}X)^{-1}X^{T}Y$ $Y$ $Y\sim N(X\beta, \sigma^{2}I_{n})$ - laissezmoi savoir si vousbesoinaide dériver la distribution de . $\widehat{\beta} \sim N(\beta, \sigma^{2}(X^{T}X)^{-1})$ $\widehat{\beta}$

De plus, , où est le nombre d'observations et est le nombre de paramètres utilisés dans votre régression. La preuve de cela est un peu plus compliquée, mais aussi simple à dériver (voir la preuve ici Pourquoi RSS est-il distribué chi carré np? ). $RSS \sim \sigma^{2}\chi^{2}_{n-p}$ $n$ $p$

Jusqu'à ce point , je l' ai considéré comme tout dans la matrice / vecteur notation, mais nous allons utiliser pour la simplicité et utiliser sa distribution normale , ce qui nous $\widehat{\beta}_{i}$

\frac{{\hat{β}}_{i} - β_{i}}{σ \sqrt{(X^{T} X)_{i i}^{- 1}}} \sim N (0, 1)

$\begin{equation} \frac{\widehat{\beta}_{i}-\beta_{i}}{\sigma\sqrt{(X^{T}X)^{-1}_{ii}}} \sim N(0,1) \end{equation}$

De plus, à partir de la distribution chi carré de nous avons que: $RSS$

\frac{(n - p) s^{2}}{σ^{2}} \sim χ_{n - p}^{2}

$\begin{equation} \frac{(n-p)s^{2}}{\sigma^{2}} \sim \chi^{2}_{n-p} \end{equation}$

Il s'agissait simplement d'un réarrangement de la première expression chi carré et est indépendant du . De plus, nous définissons $N(0,1)$ , qui est un estimateur sans biais pour. Par la définition de la définitionque la division d'une distribution normale par un chi carré indépendant (sur ses degrés de liberté) vous donne une distribution t (pour la preuve, voir:Une normale divisée par le $s^{2}=\frac{RSS}{n-p}$ $\sigma^{2}$ $t_{n-p}$ vous donne une distribution en t - preuve $\sqrt{\chi^2(s)/s}$ ) vous obtenez que:

\frac{{\hat{β}}_{i} - β_{i}}{s \sqrt{(X^{T} X)_{i i}^{- 1}}} \sim t_{n - p}

$\begin{equation} \frac{\widehat{\beta}_{i}-\beta_{i}}{s\sqrt{(X^{T}X)^{-1}_{ii}}} \sim t_{n-p} \end{equation}$

Où . $s\sqrt{(X^{T}X)^{-1}_{ii}}=SE(\widehat{\beta}_{i})$

Faites-moi savoir si cela a du sens.

— francium87d
source

quelle bonne réponse! pourriez - vous s'il vous plaît expliquer pourquoi

?

\frac{{\hat{β}}_{i} - β_{i}}{σ \sqrt{(X^{T} X)_{i i}^{- 1}}} \sim N (0, 1)

$\begin{equation} \frac{\widehat{\beta}_{i}-\beta_{i}}{\sigma\sqrt{(X^{T}X)^{-1}_{ii}}} \sim N(0,1) \end{equation}$

— KingDingeling

4

La réponse est en fait très simple: vous utilisez la distribution en T car elle a été conçue spécialement à cet effet.

$x_1,x_2,\dots,x_n$ $\bar x=\sum_{i=1}^n x_i/n$ $\bar x$

$\sigma$ $\xi=(\bar x-\mu)\sqrt n/\sigma$ $\mathcal N(0,1)$ $\sigma$ $\hat\sigma$ $\sigma$ $\hat\sigma$

$\hat\sigma_\beta$ $\hat\beta$ $\sigma$

— Aksakal
source