Solution analytique aux estimations des coefficients de régression linéaire

J'essaie de comprendre la notation matricielle et je travaille avec des vecteurs et des matrices.

Pour l'instant, j'aimerais comprendre comment est calculé le vecteur d'estimation des coefficients en régression multiple.$\hat{\beta}$

L'équation de base semble être

$$\frac{d}{d\boldsymbol{\beta}} (\boldsymbol{y}-\boldsymbol{X\beta})'(\boldsymbol{y}-\boldsymbol{X\beta}) = 0 \>.$$

Maintenant, comment pourrais-je résoudre un vecteur $\beta$ ici?

Edit : Attendez, je suis coincé. Je suis ici maintenant et je ne sais pas comment continuer:

$\frac{d}{d{\beta}} \left( \left(\begin{smallmatrix} y_1 \\ y_2 \\ \vdots \\ y_n \end{smallmatrix}\right) - \left(\begin{smallmatrix} 1 & x_{11} & x_{12} & \dots & x_{1p} \\ 1 & x_{21} & x_{22} & \dots & x_{2p} \\ \vdots & & & & \vdots \\ 1 & x_{n1} & x_{n2} & \dots & x_{np} \\ \end{smallmatrix}\right) \left(\begin{smallmatrix} \beta_0 \\ \beta_1 \\ \vdots \\ \beta_p \end{smallmatrix}\right) \right) ' \left( \left(\begin{smallmatrix} y_1 \\ y_2 \\ \vdots \\ y_n \end{smallmatrix}\right) - \left(\begin{smallmatrix} 1 & x_{11} & x_{12} & \dots & x_{1p} \\ 1 & x_{21} & x_{22} & \dots & x_{2p} \\ \vdots & & & & \vdots \\ 1 & x_{n1} & x_{n2} & \dots & x_{np} \\ \end{smallmatrix}\right) \left(\begin{smallmatrix} \beta_0 \\ \beta_1 \\ \vdots \\ \beta_p \end{smallmatrix}\right) \right)$

$\frac{d}{d{\beta}} \sum_{i=1}^n \left( y_i - \begin{pmatrix} 1 & x_{i1} & x_{i2} & \dots & x_{ip} \end{pmatrix} \begin{pmatrix} \beta_0 \\ \beta_1 \\ \vdots \\ \beta_p \end{pmatrix} \right)^2$

Avec pour tout étant l'ordonnée à l'origine:$x_{i0} = 1$$i$

$\frac{d}{d{\beta}} \sum_{i=1}^n \left( y_i - \sum_{k=0}^p x_{ik} \beta_k \right)^2$

Pouvez-vous me diriger dans la bonne direction?

On a

$\frac{d}{d\beta} (y - X \beta)' (y - X\beta) = -2 X' (y - X \beta)$ .

Cela peut être montré en écrivant l'équation explicitement avec des composants. Par exemple, écrivez au lieu de . Prenez ensuite des dérivées par rapport à , , ..., et empilez tout pour obtenir la réponse. Pour une illustration rapide et facile, vous pouvez commencer avec .$(\beta_{1}, \ldots, \beta_{p})'$$\beta$$\beta_{1}$$\beta_{2}$$\beta_{p}$$p = 2$

Avec l'expérience, on développe des règles générales, dont certaines sont données, par exemple, dans ce document .

Modifier pour guider la partie ajoutée de la question

Avec , nous avons$p = 2$

$(y - X \beta)'(y - X \beta) = (y_1 - x_{11} \beta_1 - x_{12} \beta_2)^2 + (y_2 - x_{21}\beta_1 - x_{22} \beta_2)^2$

La dérivée par rapport à est$\beta_1$

$-2x_{11}(y_1 - x_{11} \beta_1 - x_{12} \beta_2)-2x_{21}(y_2 - x_{21}\beta_1 - x_{22} \beta_2)$

De même, la dérivée par rapport à est$\beta_2$

$-2x_{12}(y_1 - x_{11} \beta_1 - x_{12} \beta_2)-2x_{22}(y_2 - x_{21}\beta_1 - x_{22} \beta_2)$

Par conséquent, la dérivée par rapport à est$\beta = (\beta_1, \beta_2)'$

$\left( \begin{array}{c} -2x_{11}(y_1 - x_{11} \beta_1 - x_{12} \beta_2)-2x_{21}(y_2 - x_{21}\beta_1 - x_{22} \beta_2) \\ -2x_{12}(y_1 - x_{11} \beta_1 - x_{12} \beta_2)-2x_{22}(y_2 - x_{21}\beta_1 - x_{22} \beta_2) \end{array} \right)$

Maintenant, notez que vous pouvez réécrire la dernière expression sous la forme

$-2\left( \begin{array}{cc} x_{11} & x_{21} \\ x_{12} & x_{22} \end{array} \right)\left( \begin{array}{c} y_{1} - x_{11}\beta_{1} - x_{12}\beta_2 \\ y_{2} - x_{21}\beta_{1} - x_{22}\beta_2 \end{array} \right) = -2 X' (y - X \beta)$

Bien sûr, tout se fait de la même manière pour un plus grand .$p$

Vous pouvez également utiliser des formules du livre de recettes Matrix . On a

$$(y-X\beta)'(y-X\beta)=y'y-\beta'X'y-y'X\beta+\beta'X'X\beta$$

Prenez maintenant des dérivés de chaque terme. Vous voudrez peut-être remarquer que . La dérivée du terme par rapport à est zéro. Le terme restant$\beta'X'y=y'X\beta$$y'y$$\beta$

$$\beta'X'X\beta-2y'X\beta$$

est de forme de fonction

$$f(x)=x'Ax+b'x,$$

dans la formule (88) dans le livre de la page 11, avec , et . Le dérivé est donné dans la formule (89):$x=\beta$$A=X'X$$b=-2X'y$

$$\frac{\partial f}{\partial x}=(A+A')x+b$$

donc

$$\frac{\partial}{\partial \beta}(y-X\beta)'(y-X\beta)=(X'X+(X'X)')\beta-2X'y$$

Maintenant que on obtient la solution souhaitée:$(X'X)'=X'X$

$$X'X\beta=X'y$$

Voici une technique pour minimiser la somme des carrés en régression qui a en fait des applications à des paramètres plus généraux et que je trouve utile.

Essayons d'éviter complètement le calcul matriciel vectoriel.

Supposons que nous souhaitons minimiser où , et . Pour simplifier, nous supposons que et .

$$\newcommand{\err}{\mathcal{E}}\newcommand{\my}{\mathbf{y}}\newcommand{\mX}{\mathbf{X}}\newcommand{\bhat}{\hat{\beta}}\newcommand{\reals}{\mathbb{R}} \err = (\my - \mX \beta)^T (\my - \mX \beta) = \|\my - \mX \beta\|_2^2 \> ,$$ $\my \in \reals^n$$\mX \in \reals^{n\times p}$$\beta \in \reals^p$$p \leq n$$\mathrm{rank}(\mX) = p$

Pour tout , nous obtenons $\bhat \in \reals^p$

$$\err = \|\my - \mX \bhat + \mX \bhat - \mX \beta\|_2^2 = \|\my - \mX \bhat\|_2^2 + \|\mX(\beta-\bhat)\|_2^2 - 2(\beta - \bhat)^T \mX^T (\my - \mX \bhat) \>.$$

Si nous pouvons choisir (trouver!) Un vecteur tel que le dernier terme à droite soit nul pour chaque , alors nous aurions terminé, car cela impliquerait que .$\bhat$ $\beta$$\min_\beta \err \geq \|\my - \mX \bhat\|_2^2$

Mais, pour tous si et seulement si et cette dernière équation est vraie si et seulement si . Donc est minimisé en prenant .$(\beta - \bhat)^T \mX^T (\my - \mX \bhat) = 0$$\beta$$\mX^T (\my - \mX \bhat) = 0$$\mX^T \mX \bhat = \mX^T \my$$\err$$\bhat = (\mX^T \mX)^{-1} \mX^T \my$

---

Bien que cela puisse sembler un "truc" pour éviter le calcul, il a en fait une application plus large et il y a une géométrie intéressante en jeu.

Un exemple où cette technique rend une dérivation beaucoup plus simple que toute approche de calcul matriciel-vectoriel est lorsque nous généralisons au cas de la matrice. Soit , et . Supposons que nous souhaitons minimiser sur toute la matrice de paramètres . Ici est une matrice de covariance.$\newcommand{\mY}{\mathbf{Y}}\newcommand{\mB}{\mathbf{B}}\mY \in \reals^{n \times p}$$\mX \in \reals^{n \times q}$$\mB \in \reals^{q \times p}$

$$\err = \mathrm{tr}( (\mY - \mX \mB) \Sigma^{-1} (\mY - \mX \mB)^T )$$ $\mB$$\Sigma$

Une approche entièrement analogue à ce qui précède établit rapidement que le minimum de est atteint en prenant Autrement dit, dans un cadre de régression où la réponse est un vecteur avec covariance et les observations sont indépendantes, alors l'estimation OLS est atteinte en effectuant régressions linéaires distinctes sur les composantes de la réponse.$\err$

$$\hat{\mB} = (\mX^T \mX)^{-1} \mX^T \mY \>.$$ $\Sigma$$p$

Une façon qui peut vous aider à comprendre est de ne pas utiliser l'algèbre matricielle, de différencier à chaque égard pour chaque composant, puis de "stocker" les résultats dans un vecteur de colonne. Donc nous avons:

$$\frac{\partial}{\partial \beta_{k}}\sum_{i=1}^{N}\left(Y_{i}-\sum_{j=1}^{p}X_{ij}\beta_{j}\right)^{2}=0$$

Vous avez maintenant de ces équations, une pour chaque bêta. Il s'agit d'une application simple de la règle de chaîne:$p$

$$\sum_{i=1}^{N}2\left(Y_{i}-\sum_{j=1}^{p}X_{ij}\beta_{j}\right)^{1}\left(\frac{\partial}{\partial \beta_{k}}\left[Y_{i}-\sum_{j=1}^{p}X_{ij}\beta_{j}\right]\right)=0$$ $$-2\sum_{i=1}^{N}X_{ik}\left(Y_{i}-\sum_{j=1}^{p}X_{ij}\beta_{j}\right)=0$$

Maintenant, nous pouvons réécrire la somme à l'intérieur du support sous la forme Vous obtenez donc:$\sum_{j=1}^{p}X_{ij}\beta_{j}=\bf{x}_{i}^{T}\boldsymbol{\beta}$

$$\sum_{i=1}^{N}X_{ik}Y_{i}-\sum_{i=1}^{N}X_{ik}\bf{x}_{i}^{T}\boldsymbol{\beta}=0$$

Nous avons maintenant de ces équations, et nous les "empilerons" dans un vecteur colonne. Remarquez comment est le seul terme qui dépend de , donc nous pouvons l'empiler dans le vecteur et nous obtenons:$p$$X_{ik}$$k$$\bf{x}_{i}$

$$\sum_{i=1}^{N}\bf{x}_{i}\rm{Y}_{i}=\sum_{i=1}^{N}\bf{x}_{i}\bf{x}_{i}^{T}\boldsymbol{\beta}$$

Maintenant, nous pouvons prendre la bêta en dehors de la somme (mais nous devons rester sur RHS de la somme), puis prendre l'inverse:

$$\left(\sum_{i=1}^{N}\bf{x}_{i}\bf{x}_{i}^{T}\right)^{-1}\sum_{i=1}^{N}\bf{x}_{i}\rm{Y}_{i}=\boldsymbol{\beta}$$