Régression sans interception: dériver

Dans An Introduction to Statistical Learning (James et al.), À la section 3.7, exercice 5, il est indiqué que la formule $\hat{\beta}_1$ en supposant une régression linéaire sans interception est

{\hat{β}}_{1} = \frac{\sum_{i = 1}^{n} x_{i} y_{i}}{\sum_{i = 1}^{n} x_{i}^{2}},

$\hat{\beta}_1 = \dfrac{\displaystyle\sum\limits_{i=1}^{n}x_iy_i}{\displaystyle \sum\limits_{i=1}^{n}x_i^2}\text{,}$ où

{\hat{β}}_{0} = \bar{y} - {\hat{β}}_{1} \bar{x}

$\hat{\beta}_0 = \bar{y}-\hat{\beta}_1\bar{x}$ et

{\hat{β}}_{1} = \frac{S_{x y}}{S_{x x}}

$\hat{\beta}_1 = \dfrac{\displaystyle S_{xy}}{S_{xx}}$ sont les estimations habituelles sous OLS pour une régression linéaire simple (

S_{x y} = \sum_{i = 1}^{n} (x_{i} - \bar{x}) (y_{i} - \bar{y})

$S_{xy} = \displaystyle\sum\limits_{i=1}^{n}(x_i - \bar{x})(y_i - \bar{y})$ ).

Ce n'est pas l'exercice proprement dit ; Je me demande simplement comment dériver l'équation. Sans utiliser l'algèbre matricielle , comment puis-je la dériver?

Ma tentative: avec $\hat{\beta}_0 = 0$ , on a $\hat{\beta}_1 = \dfrac{\bar{y}}{\bar{x}} = \dfrac{S_{xy}}{S_{xx}}$ .

Après une algèbre, on peut montrer que $\displaystyle S_{xy} = \sum\limits_{i=1}^{n}x_i^2 - n\bar{x}\bar{y}$ et $\displaystyle S_{xx} = \sum\limits_{i=1}^{n}x_i^2 - n\bar{x}^2$ . De là, je suis coincé.

self-study least-squares

— Clarinettiste
source

La formule est immédiate de l'interprétation géométrique des moindres carrés , en utilisant

x / | | x | |

$x/||x||$ comme "matcher" pour

y

$y$ et reconnaissant la formule pour

({\hat{β}}_{1}) x

$(\hat\beta_1)x$ comme étant

(y \cdot (x / | | x | |)) x / | | x | |

$(y\cdot (x/||x||))x/||x||$ .

— whuber

@whuber: Plutôt que d'écrire

x / | | x | |,

$x/||x||,$ Je souhaiterai écrire

x / ‖ x ‖ .

$x/\|x\|.$ Si ce n'est pas assez visible pour vous, considérez la différence typographique entre codé comme || x || || y || et codés comme \ | x \ | \ | y \ |.

| | x | | | | y | |,

$||x|| ||y||,$

‖ x ‖ ‖ y ‖,

$\|x\|\|y\|,$

$\qquad$

— Michael Hardy

Ceci est simple à partir de la définition des moindres carrés ordinaires. S'il n'y a pas d'interception, on minimise . C'est lisse en fonction de , donc tous les minima (ou maxima) se produisent lorsque la dérivée est nulle. En différenciant par rapport à nous obtenons . La résolution de donne la formule. $R(\beta) = \sum_{i=1}^{i=n} (y_i- \beta x_i)^2$ $\beta$ $\beta$ $-\sum_{i=1}^{i=n} 2(y_i- \beta x_i)x_i$ $\beta$

— meh
source