11

Je n'ai pas de définition formelle de l'équivariance d'échelle, mais voici ce que l' introduction à l'apprentissage statistique dit à ce sujet à la p. 217:

Les coefficients standard des moindres carrés ... sont équivariants à l'échelle : la multiplication de par une constante conduit simplement à une mise à l'échelle des estimations des coefficients des moindres carrés d'un facteur . $X_j$ $c$ $1/c$

Pour simplifier, supposons le modèle linéaire général $\mathbf{y} = \mathbf{X}\boldsymbol\beta + \boldsymbol\epsilon$ , où $\mathbf{y} \in \mathbb{R}^N$ , $\mathbf{X}$ est une matrice $N \times (p+1)$ (où $p+1 < N$ ) avec toutes les entrées dans $\mathbb{R}$ , $\boldsymbol\beta \in \mathbb{R}^{p+1}$ , et $\boldsymbol\epsilon$ est un vecteur à $N$ dimensions de variables aléatoires à valeur réelle avec $\mathbb{E}[\boldsymbol\epsilon] = \mathbf{0}_{N \times 1}$ .

D'après l'estimation OLS, nous savons que si $\mathbf{X}$ a un rang (colonne) complet,

{\hat{β}}_{X} = (X^{T} X)^{- 1} X^{T} y .

$\hat{\boldsymbol\beta}_{\mathbf{X}} = (\mathbf{X}^{T}\mathbf{X})^{-1}\mathbf{X}^{T}\mathbf{y}\text{.}$ Supposons que nous multiplions une colonne de

X

$\mathbf{X}$ , disons

x_{k}

$\mathbf{x}_k$ pour certains

k \in {1, 2, \dots, p + 1}

$k \in \{1, 2, \dots, p+1\}$ , par une constante

c \neq 0

$c \neq 0$ . Ce serait équivalent à la matrice

X \underset{S}{\underset{⏟}{[\begin{matrix} 1 \\ 1 \\ ⋱ \\ 1 \\ c \\ 1 \\ ⋱ \\ 1 \end{matrix}]}} = [\begin{matrix} x_{1} & x_{2} & \dots & c x_{k} & \dots & x_{p + 1} \end{matrix}] \equiv \tilde{X}

$\begin{equation} \mathbf{X}\underbrace{\begin{bmatrix} 1 & \\ & 1 \\ & & \ddots \\ & & & 1 \\ & & & & c\\ & & & & & 1 \\ & & & & & &\ddots \\ & & & & & & & 1 \end{bmatrix}}_{\mathbf{S}} = \begin{bmatrix} \mathbf{x}_1 & \mathbf{x}_2 & \cdots & c\mathbf{x}_{k} & \cdots & \mathbf{x}_{p+1}\end{bmatrix} \equiv \tilde{\mathbf{X}} \end{equation}$ où toutes les autres entrées de la matrice

S

$\mathbf{S}$ ci-dessus sont

0

$0$ , et

c

$c$ est dans la

k

$k$ ème entrée de la diagonale de

S

$\mathbf{S}$ . Puis,

\tilde{X}

$\tilde{\mathbf X}$

\tilde{X}

$\tilde{\mathbf X}$ car la nouvelle matrice de conception est

{\hat{β}}_{\tilde{X}} = {({\tilde{X}}^{T} \tilde{X})}^{- 1} {\tilde{X}}^{T} y .

$\hat{\boldsymbol\beta}_{\tilde{\mathbf{X}}} = \left(\tilde{\mathbf{X}}^{T}\tilde{\mathbf{X}}\right)^{-1}\tilde{\mathbf{X}}^{T}\mathbf{y}\text{.}$ Après quelques travaux, on peut montrer que

{\tilde{X}}^{T} \tilde{X} = [\begin{matrix} x_{1}^{T} x_{1} & x_{1}^{T} x_{2} & \dots & c x_{1}^{T} x_{k} & \dots & x_{1}^{T} x_{p + 1} \\ x_{2}^{T} x_{1} & x_{2}^{T} x_{2} & \dots & c x_{2}^{T} x_{k} & \dots & x_{2}^{T} x_{p + 1} \\ ⋮ & ⋮ & ⋱ & ⋮ & \dots & ⋮ \\ c x_{k}^{T} x_{1} & c x_{k}^{T} x_{2} & \dots & c^{2} x_{k}^{T} x_{k} & \dots & c x_{k}^{T} x_{p + 1} \\ ⋮ & ⋮ & ⋮ & ⋮ & \dots & ⋮ \\ x_{p + 1}^{T} x_{1} & x_{p + 1}^{T} x_{2} & \dots & c x_{p + 1}^{T} x_{p + 1} & \dots & x_{p + 1}^{T} x_{p + 1} \end{matrix}]

$\tilde{\mathbf{X}}^{T}\tilde{\mathbf{X}} = \begin{bmatrix} \mathbf{x}_1^{T}\mathbf{x}_1 & \mathbf{x}_1^{T}\mathbf{x}_2 & \cdots & c\mathbf{x}_1^{T}\mathbf{x}_k & \cdots & \mathbf{x}_1^{T}\mathbf{x}_{p+1} \\ \mathbf{x}_2^{T}\mathbf{x}_1 & \mathbf{x}_2^{T}\mathbf{x}_2 & \cdots & c\mathbf{x}_2^{T}\mathbf{x}_k & \cdots & \mathbf{x}_2^{T}\mathbf{x}_{p+1} \\ \vdots & \vdots & \ddots & \vdots & \cdots & \vdots \\ c\mathbf{x}_k^{T}\mathbf{x}_1 & c\mathbf{x}_k^{T}\mathbf{x}_2 & \cdots & c^2\mathbf{x}_k^{T}\mathbf{x}_k & \cdots & c\mathbf{x}_k^{T}\mathbf{x}_{p+1} \\ \vdots & \vdots & \vdots & \vdots & \cdots & \vdots \\ \mathbf{x}_{p+1}^{T}\mathbf{x}_1 & \mathbf{x}_{p+1}^{T}\mathbf{x}_2 & \cdots & c\mathbf{x}_{p+1}^{T}\mathbf{x}_{p+1} & \cdots & \mathbf{x}_{p+1}^{T}\mathbf{x}_{p+1} \\ \end{bmatrix}$ \ cdots & \ mathbf {x} _ {p + 1} ^ {T} \ mathbf {x} _ {p + 1} \\ \ end {bmatrix} et

{\tilde{X}}^{T} y = [\begin{matrix} x_{1}^{T} y \\ x_{2}^{T} y \\ ⋮ \\ c x_{k}^{T} y \\ ⋮ \\ x_{p + 1}^{T} y \end{matrix}]

$\tilde{\mathbf{X}}^{T}\mathbf{y} = \begin{bmatrix} \mathbf{x}_1^{T}\mathbf{y} \\ \mathbf{x}_2^{T}\mathbf{y} \\ \vdots \\ c\mathbf{x}_k^{T}\mathbf{y} \\ \vdots \\ \mathbf{x}_{p+1}^{T}\mathbf{y} \end{bmatrix}$ Comment puis-je aller d'ici pour montrer la revendication citée ci-dessus (c'est-à-dire que

{\hat{β}}_{\tilde{X}} = \frac{1}{c} {\hat{β}}_{X}

$\hat{\boldsymbol\beta}_{\tilde{\mathbf{X}}} = \dfrac{1}{c}\hat{\boldsymbol\beta}_{\mathbf{X}}$ )? Je ne sais pas comment calculer

({\tilde{X}}^{T} \tilde{X})^{- 1}

$(\tilde{\mathbf{X}}^{T}\tilde{\mathbf{X}})^{-1}$ .

least-squares linear-model

— Clarinettiste
source

Je pense que votre n'est pas correct, il manque un multiplicateur sur toute une ligne.

{\tilde{X}}^{T} \tilde{X}

$\tilde{\mathbf{X}}^{T}\tilde{\mathbf{X}}$

c

$c$

— Firebug

1

Gardez également à l'esprit que la revendication est , pas tous .

{\hat{β}}_{k, new} = \frac{1}{c} {\hat{β}}_{k, old}

$\hat{\beta}_{k, \text{new}}={1\over c}\hat{\beta}_{k, \text{old}}$

β

$\beta$

— Firebug

@ Firebug Yep, je viens de comprendre cela. Je poste une réponse.

— Clarinettiste

2

Vous pouvez remplacer toute cette algèbre par une analyse des unités beaucoup plus simple, car multiplier par change simplement son unité de mesure, et donc le changement correspondant dans les unités associées à son coefficient est de le diviser par . Cela ne prouve pas que doit être divisé par , malheureusement. Cependant, cette chaîne de pensée pourrait nous rappeler qu'une régression multiple peut être effectuée par une succession de régressions contre un régresseur à la fois, où il est clair que est divisé par , et donc la preuve est complète.

X_{j}

$X_j$

c

$c$

β_{j}

$\beta_j$

c

$c$

{\hat{β}}_{j}

$\hat \beta_j$

c

$c$

{\hat{β}}_{j}

$\hat\beta_j$

c

$c$

— blanc

@whuber, alors que l'intuition du résultat est claire, il semble qu'il doit simplement y avoir un peu d'algèbre pour fournir une preuve. Après tout, le facteur d'échelle doit être inversé.

c

$c$

— user795305

11

Étant donné que l'assertion dans la citation est une collection d'instructions sur le redimensionnement des colonnes de , vous pouvez tout aussi bien les prouver en même temps. En effet, il ne faut plus de travail pour prouver une généralisation de l'assertion: $X$

Lorsque est multiplié à droite par une matrice inversible , alors la nouvelle estimation de coefficient est égale à multipliée à gauche par . $X$ $A$ $\hat\beta_A$ $\hat \beta$ $A^{-1}$

Les seuls faits algébriques dont vous avez besoin sont ceux (facilement prouvés et bien connus) que pour toutes les matrices et pour les matrices inversibles et . (Une version plus subtile de ce dernier est nécessaire lorsque vous travaillez avec des inverses généralisés: pour et inversible et tout , . ) $(AB)^\prime=B^\prime A^\prime$ $AB$ $(AB)^{-1}=B^{-1}A^{-1}$ $A$ $B$ $A$ $B$ $X$ $(AXB)^{-} = B^{-1}X^{-}A^{-1}$

Preuve par algèbre :

{\hat{β}}_{A} = ((X A)^{'} ((X A))^{-} (X A)^{'} y = A^{- 1} (X^{'} X)^{-} (A^{'})^{- 1} A^{'} y = A^{- 1} \hat{β},

$\hat\beta_A = ((XA)^\prime ((XA))^{-}(XA)^\prime y = A^{-1}(X^\prime X)^{-} (A^\prime)^{-1}A^\prime y = A^{-1}\hat \beta,$

QED. (Pour que cette preuve soit entièrement générale, le exposant se réfère à un inverse généralisé.) $^-$

Preuve par géométrie :

Étant donné les bases et de et , respectivement, représente une transformation linéaire de à . La multiplication à droite de par peut être considérée comme laissant cette transformation fixe mais en changeant en (c'est-à-dire dans les colonnes de ). Sous ce changement de base, la représentation de tout vecteur doit changer via la multiplication à gauche par , $E_p$ $E_n$ $\mathbb{R}^n$ $\mathbb{R}^p$ $X$ $\mathbb{R}^p$ $\mathbb{R}^n$ $X$ $A$ $E_p$ $AE_p$ $A$ $\hat\beta\in\mathbb{R}^p$ $A^{-1}$ QED .

(Cette preuve fonctionne, non modifiée, même lorsque n'est pas inversible.) $X^\prime X$

La citation se réfère spécifiquement au cas des matrices diagonales avec pour et . $A$ $A_{ii}=1$ $i\ne j$ $A_{jj}=c$

Connexion avec les moindres carrés

L'objectif est ici d'utiliser les premiers principes pour obtenir le résultat, le principe étant celui des moindres carrés: estimer les coefficients qui minimisent la somme des carrés des résidus.

Encore une fois, prouver une (énorme) généralisation ne se révèle pas plus difficile et est plutôt révélateur. Supposons est une carte (linéaire ou non) d'espaces vectoriels réels et supposons que est une fonction à valeur réelle sur . Soit l'ensemble (éventuellement vide) de points pour lequel est minimisé.

ϕ : V^{p} \to W^{n}

$\phi:V^p\to W^n$

Q

$Q$

W^{n}

$W^n$

U \subset V^{p}

$U\subset V^p$

v

$v$

Q (ϕ (v))

$Q(\phi(v))$

Résultat: , qui est déterminé uniquement par et , ne dépend d'aucun choix de base utilisée pour représenter les vecteurs dans . $U$ $Q$ $\phi$ $E_p$ $V^p$

Preuve: QED.

Il n'y a rien à prouver!

Application du résultat: Soit une forme quadratique semi-définie positive sur , soit , et supposons que est une carte linéaire représentée par lorsque les bases de et sont choisis. Définissez . Choisissez une base de et supposez que est la représentation de certains dans cette base. Il s'agit des moindres carrés : minimise la distance au carré . Parce que $F$ $\mathbb{R}^n$ $y\in\mathbb{R}^n$ $\phi$ $X$ $V^p=\mathbb{R}^p$ $W^n=\mathbb{R}^n$ $Q(x)=F(y,x)$ $\mathbb{R}^p$ $\hat\beta$ $v\in U$ $x=X\hat\beta$ $F(y,x)$ $X$ est une carte linéaire, en changeant la base de correspond au droit multipliant par une matrice inversible . Cela multipliera à gauche par , QED . $\mathbb{R}^p$ $X$ $A$ $\hat\beta$ $A^{-1}$

— whuber
source

6

Définissez l'estimateur des moindres carrés , où la matrice de conception est le rang complet. En supposant que la matrice de mise à l'échelle est inversible. $\hat\beta = \arg\min_{\beta\in\mathbb{R}^p} \|y - X \beta\|_2^2$ $X \in \mathbb{R}^{n \times p}$ $S \in \mathbb{R}^{p \times p}$

Définissez ce nouvel estimateur à l'échelle . Cela signifie que pour tous . En définissant , nous pouvons réécrire cette inégalité affichée ci-dessus comme pour tous . Par conséquent , et il s'ensuit que l'estimateur des moindres carrés En raison de l'inversibilité de la matrice de mise à l'échelle $\tilde\alpha = \arg\min_{\alpha\in\mathbb{R}^p} \|y - X S \alpha\|_2^2$

‖ y - X S \tilde{α} ‖_{2}^{2} < ‖ y - X S α ‖_{2}^{2}

$\|y - X S \tilde\alpha\|_2^2 < \|y - X S \alpha\|_2^2$

α \neq \tilde{α}

$\alpha\ne \tilde\alpha$

\tilde{β} = S \tilde{α}

$\tilde\beta = S \tilde\alpha$

‖ y - X \tilde{β} ‖_{2}^{2} < ‖ y - X β ‖_{2}^{2}

$\|y - X \tilde\beta \|_2^2 < \|y - X \beta \|_2^2$

β \neq \tilde{β}

$\beta \ne \tilde\beta$

\tilde{β} = \arg min_{β \in R^{p}} ‖ y - X β ‖_{2}^{2}

$\tilde\beta = \arg\min_{\beta \in \mathbb{R}^p} \|y - X \beta\|_2^2$

\begin{aligned} \hat{β} = \tilde{β} = S \tilde{α} . \end{aligned}

$\begin{align*} \hat\beta = \tilde\beta = S \tilde\alpha. \end{align*}$

S

$S$ , il s'ensuit que . Dans notre cas, cela ne diffère de par l' entrée mise à l'échelle par .

\tilde{α} = S^{- 1} \hat{β}

$\tilde\alpha = S^{-1} \hat\beta$

\hat{β}

$\hat\beta$

k^{t h}

$k^\mathrm{th}$

\frac{1}{c}

$\frac{1}{c}$

— user795305
source

1

Je ne suis pas familier car je devrais travailler avec et des fonctions similaires - pourriez-vous expliquer la transition de votre deuxième à la troisième ligne d'équations?

arg min

$\text{arg min}$

— Clarinettiste

Je l'ai écrit un peu différemment, ce qui devrait rendre les étapes plus claires.

— user795305

C'est vraiment intelligent. (+1)

— Clarinettiste

4

J'ai compris cela après avoir posté la question. Si mon travail est correct, cependant, j'ai mal interprété la demande. La mise à l'échelle se produit uniquement sur la seule composante de correspondant à la colonne de multipliée par . $\dfrac{1}{c}$ $\boldsymbol\beta$ $\mathbf{X}$ $c$

Notez que , dans la notation ci-dessus, est une matrice diagonale symétrique et a une inverse (car elle est diagonale) Notez que est une matrice . Supposons que $\mathbf{S}$ $(p+1) \times (p+1)$

S^{- 1} = [\begin{matrix} 1 \\ 1 \\ ⋱ \\ 1 \\ \frac{1}{c} \\ 1 \\ ⋱ \\ 1 \end{matrix}] .

$\mathbf{S}^{-1} = \begin{bmatrix} 1 & \\ & 1 \\ & & \ddots \\ & & & 1 \\ & & & & \frac{1}{c}\\ & & & & & 1 \\ & & & & & &\ddots \\ & & & & & & & 1 \end{bmatrix}\text{.}$

({\tilde{X}}^{T} \tilde{X})^{- 1}

$(\tilde{\mathbf{X}}^{T}\tilde{\mathbf{X}})^{-1}$

(p + 1) \times (p + 1)

$(p+1)\times(p+1)$

(X^{T} X)^{- 1} = [\begin{matrix} z_{1} & z_{2} & \dots & z_{k} & \dots & z_{p + 1} \end{matrix}] .

$(\mathbf{X}^{T}\mathbf{X})^{-1} = \begin{bmatrix} \mathbf{z}_1 & \mathbf{z}_2 & \cdots & \mathbf{z}_k & \cdots & \mathbf{z}_{p+1} \end{bmatrix}\text{.}$

({\tilde{X}}^{T} \tilde{X})^{- 1} = [(X S)^{T} X S]^{- 1} = (S^{T} X^{T} X S)^{- 1} = (S X^{T} X S)^{- 1} = S^{- 1} (X^{T} X)^{- 1} S^{- 1} .

$(\tilde{\mathbf{X}}^{T}\tilde{\mathbf{X}})^{-1} = [(\mathbf{X}\mathbf{S})^{T}\mathbf{X}\mathbf{S}]^{-1} = (\mathbf{S}^{T}\mathbf{X}^{T}\mathbf{X}\mathbf{S})^{-1} = (\mathbf{S}\mathbf{X}^{T}\mathbf{X}\mathbf{S})^{-1}=\mathbf{S}^{-1}(\mathbf{X}^{T}\mathbf{X})^{-1}\mathbf{S}^{-1}\text{.}$ Par conséquent, et en le multipliant par a un effet similaire à ce que la multiplication de par fait - il reste le même, est multiplié par

S^{- 1} (X^{T} X)^{- 1} = [\begin{matrix} z_{1} \\ z_{2} \\ ⋱ \\ \frac{1}{c} z_{k} \\ ⋱ \\ z_{p + 1} \end{matrix}]

$\mathbf{S}^{-1}(\mathbf{X}^{T}\mathbf{X})^{-1} = \begin{bmatrix} \mathbf{z}_1 \\ & \mathbf{z}_2 \\ & & \ddots \\ & & & \frac{1}{c}\mathbf{z}_k \\ & & & & \ddots \\ & & & & & \mathbf{z}_{p+1} \end{bmatrix}$

S^{- 1}

$\mathbf{S}^{-1}$

X

$\mathbf{X}$

S

$\mathbf{S}$

\frac{1}{c} z_{k}

$\frac{1}{c}\mathbf{z}_k$

\frac{1}{c}

$\frac{1}{c}$ : Par conséquent,

S^{- 1} (X^{T} X)^{- 1} S^{- 1} = [\begin{matrix} z_{1} \\ z_{2} \\ ⋱ \\ \frac{1}{c^{2}} z_{k} \\ ⋱ \\ z_{p + 1} \end{matrix}] .

$\mathbf{S}^{-1}(\mathbf{X}^{T}\mathbf{X})^{-1}\mathbf{S}^{-1} = \begin{bmatrix} \mathbf{z}_1 \\ & \mathbf{z}_2 \\ & & \ddots \\ & & & \frac{1}{c^2}\mathbf{z}_k \\ & & & & \ddots \\ & & & & & \mathbf{z}_{p+1} \end{bmatrix}\text{.}$

\begin{aligned} {\hat{β}}_{\tilde{X}} & = S^{- 1} (X^{T} X)^{- 1} S^{- 1} (X S)^{T} y \\ = [\begin{matrix} z_{1} \\ z_{2} \\ ⋱ \\ \frac{1}{c^{2}} z_{k} \\ ⋱ \\ z_{p + 1} \end{matrix}] [\begin{matrix} x_{1}^{T} y \\ x_{2}^{T} y \\ ⋮ \\ c x_{k}^{T} y \\ ⋮ \\ x_{p + 1}^{T} y \end{matrix}] \\ = [\begin{matrix} z_{1} x_{1}^{T} y \\ z_{2} x_{2}^{T} y \\ ⋮ \\ \frac{1}{c} z_{k} x_{k}^{T} y \\ ⋮ \\ z_{p + 1} x_{p + 1}^{T} y \end{matrix}] \end{aligned}

$\begin{align} \hat{\boldsymbol\beta}_{\tilde{\mathbf{X}}}&=\mathbf{S}^{-1}(\mathbf{X}^{T}\mathbf{X})^{-1}\mathbf{S}^{-1}(\mathbf{X}\mathbf{S})^{T}\mathbf{y} \\ &= \begin{bmatrix} \mathbf{z}_1 \\ & \mathbf{z}_2 \\ & & \ddots \\ & & & \frac{1}{c^2}\mathbf{z}_k \\ & & & & \ddots \\ & & & & & \mathbf{z}_{p+1} \end{bmatrix}\begin{bmatrix} \mathbf{x}_1^{T}\mathbf{y} \\ \mathbf{x}_2^{T}\mathbf{y} \\ \vdots \\ c\mathbf{x}_k^{T}\mathbf{y} \\ \vdots \\ \mathbf{x}_{p+1}^{T}\mathbf{y} \end{bmatrix} \\ &= \begin{bmatrix} \mathbf{z}_1\mathbf{x}_1^{T}\mathbf{y} \\ \mathbf{z}_2\mathbf{x}_2^{T}\mathbf{y} \\ \vdots \\ \frac{1}{c}\mathbf{z}_k\mathbf{x}_k^{T}\mathbf{y} \\ \vdots \\ \mathbf{z}_{p+1}\mathbf{x}_{p+1}^{T}\mathbf{y} \end{bmatrix} \end{align}$ comme vous le souhaitez.

— Clarinettiste
source

Il y a une faute de frappe dans . Vous devez transposer .

S^{- 1} (X^{T} X)^{- 1} S^{- 1} (X S) y

$\mathbf{S}^{-1}( \mathbf{X}^{T}\mathbf{X})^{-1} \mathbf{S}^{-1}(\mathbf{X} \mathbf{S}) \mathbf{y}$

(X S)

$(\mathbf{X}\mathbf{S})$

— JohnK

3

La preuve la plus triviale de tous les temps

Vous commencez avec votre équation linéaire: Maintenant, vous voulez changer l'échelle de vos régresseurs, peut-être convertir du système métrique en Impérial, vous connaissez les kilogrammes en livres, les mètres en verges, etc. avec la matrice de conversion où chaque est le coefficient de conversion de variable (colonne) dans la matrice de conception .

Y = X β + ε

$Y=X\beta+\varepsilon$

S = d i a g (s_{1}, s_{1}, \dots, s_{n})

$S=diag(s_1,s_1,\dots,s_n)$

s_{i}

$s_i$

i

$i$

X

$X$

Réécrivons l'équation:

Y = (X S) (S^{- 1} β) + ε

$Y=(XS)(S^{-1}\beta)+\varepsilon$

Il est maintenant parfaitement clair que la mise à l'échelle est la propriété de la linéarité de votre équation, et non la méthode OLS d'estimation des coefficients. Quelle que soit la méthode d'estimation avec équation linéaire, vous avez que lorsque les régresseurs sont mis à l'échelle comme vos nouveaux coefficients doivent être mis à l'échelle comme $XS$ $S^{-1}\beta$

Preuve par l'algèbre pour OLS uniquement

La mise à l' échelle est la suivante: où facteur d'échelle de chaque variable (colonne) et une version réduite de . Appelons la matrice d'échelle diagonale . Votre estimateur OLS est Branchez la matrice mise à l'échelle au lieu de et utilisons une algèbre matricielle : Donc, vous voyez comment le nouveau coefficient est simplement l'ancien coefficient réduit, comme prévu.

Z = X * d i a g (s_{1}, s_{2}, . . ., s_{n})

$Z=X*diag(s_1,s_2,...,s_n)$

s_{i}

$s_i$

Z

$Z$

X

$X$

S \equiv d i a g (s_{1}, s_{2}, . . ., s_{n})

$S\equiv diag(s_1,s_2,...,s_n)$

\hat{β} = (X^{T} X)^{- 1} X^{T} Y

$\hat\beta=(X^TX)^{-1}X^TY$

Z

$Z$

X

$X$

(Z^{T} Z)^{- 1} Z^{T} Y = (S^{T} X^{T} X S)^{- 1} S^{T} X^{T} Y = S^{- 1} (X^{T} X)^{- 1} S^{- 1} S X^{T} Y = S^{- 1} (X^{T} X)^{- 1} X^{T} Y = S^{- 1} \hat{β}

$(Z^TZ)^{-1}Z^TY=(S^TX^TXS)^{-1}S^TX^TY=S^{-1}(X^TX)^{-1}S^{-1}SX^TY\\ =S^{-1}(X^TX)^{-1}X^TY=S^{-1}\hat\beta$

— Aksakal
source

2

J'aime vos approches, mais je ne suis pas convaincu par "la preuve la plus triviale jamais réalisée". Vous avez implicitement supposé, et devez encore montrer, que le modèle réécrit doit avoir le même ajustement que l'original. Pour le dire plus rigoureusement: si nous considérons une procédure d'ajustement comme une fonction , où est l'ensemble de toutes les données possibles (que nous pourrions écrire comme la paire ordonnée ) et est l'ensemble de toutes les estimations de coefficient possibles, alors vous devez démontrer que pour tous les inversible , tout et tout . (Ce n'est pas toujours vrai!)

δ : M \to R^{p}

$\delta:M\to\mathbb{R}^p$

M

$M$

(X, Y)

$(X,Y)$

R^{p}

$\mathbb{R}^p$

δ (X, Y) = S^{- 1} δ (X S, Y)

$\delta(X,Y)=S^{-1}\delta(XS,Y)$

S

$S$

X

$X$

Y

$Y$

— Whuber

@whuber, en fait c'est l'inverse: la procédure d'ajustement raisonnable doit satisfaire à cette condition, sinon un simple changement d'unité de mesure produira une prévision / estimation différente. je mettrai à jour ma réponse, j'y réfléchirai un peu

— Aksakal

Je suis d'accord - mais je peux imaginer des exceptions dans les cas où n'est pas de plein rang. C'est ce qui m'a suggéré que la situation n'est pas aussi triviale qu'elle pourrait sembler l'être.

X

$X$

— whuber

3

compagnon impérial , pas royal ...: D (Nice answer, +1)

— usεr11852

@ usεr11852, j'ai appris quelque chose aujourd'hui :)

— Aksakal

2

Un moyen facile d'obtenir ce résultat est de se rappeler que est la projection de sur l'espace de colonne de est le vecteur de coefficients lorsque est exprimé comme linéaire combinaison des colonnes de . Si une colonne est mise à l'échelle par un facteur , il est clair que le coefficient correspondant dans la combinaison linéaire doit être mis à l'échelle par . $\hat{y}$ $y$ $X.$ $\hat{\beta}$ $\hat{y}$ $X$ $c$ $1/c$

Soit les valeurs de et les valeurs de la solution OLS lorsqu'une colonne est mise à l'échelle par $b_i$ $\hat{\beta}$ $a_i$ $c.$

b_{1} x_{1} + . . . + b_{i} x_{i} + . . . + b_{m} x_{m} = a_{1} x_{1} + . . . a_{i} (c x_{i}) + . . . + a_{n} x_{n}

$b_1x_1 + ... + b_ix_i + ...+ b_mx_m = a_1x_1 + ... a_i(cx_i) + ... +a_nx_n$

implique que où et , en supposant que les colonnes de sont linéairement indépendantes. $b_j = a_j$ $j \neq i$ $b_i = a_ic$ $X$

— Jonny Lomond
source

Montrant que l'estimateur OLS est équivariant à l'échelle?

Connexion avec les moindres carrés

La preuve la plus triviale de tous les temps

Preuve par l'algèbre pour OLS uniquement