Quel est ce compromis biais-variance pour les coefficients de régression et comment le dériver?

9

Dans cet article , ( Inférence bayésienne pour les composants de la variance utilisant uniquement des contrastes d'erreur , Harville, 1974), l'auteur affirme pour être "bien connu" relation ", pour une régression linéaire où

(y - X β)^{'} H^{- 1} (y - X β) = (y - X \hat{β})^{'} H^{- 1} (y - X \hat{β}) + (β - \hat{β})^{'} (X^{'} H^{- 1} X) (β - \hat{β})

$(y-X\beta)'H^{-1}(y-X\beta)=(y-X\hat\beta)'H^{-1}(y-X\hat\beta)+(\beta-\hat\beta)'(X'H^{-1}X)(\beta-\hat\beta)$

y = X β + ϵ,

$y=X\beta+\epsilon,$

ϵ \sim N (0, H) .

$\epsilon\sim\mathcal{N}(0, H).$

Comment est-ce bien connu? Quelle est la manière la plus simple de le prouver?

— Sibbs Gambling
source

1

C'est sur wikipedia , voir 'dérivation' là-bas.

— user603

@ user603 Cela vous dérange de rendre le lien plus clair? Merci!

— Sibbs Gambling

@ user603 Désolé, je ne vois pas vraiment comment le lien résout le problème. Pour moi, dans mon cas, l'équation est Var (y) = biais + ... Pouvez-vous élaborer?

— Sibbs Gambling

4

@SibbsGambling Notez que votre équation a deux termes liés à la variance dans cette formulation d'une régression linéaire pondérée . Le terme de gauche est lié à la variance autour du vrai modèle (pondéré par la matrice de précision ). Le premier terme à droite est lié à la variance autour des modèles ajustés. Le deuxième terme à droite est lié au carré du biais. C'est le compromis biais-variance.

H^{- 1}

$H^{-1}$

— EdM

6

Le dernier terme de l'équation peut s'écrire

(X β - X \hat{β})^{'} H^{- 1} (X β - X \hat{β}) .

$(X\beta - X\hat{\beta})'H^{-1}(X\beta - X\hat{\beta}).$

Sous cette forme, l'équation dit quelque chose d'intéressant. En supposant que est défini positif et symétrique, il en va de même pour son inverse. Par conséquent, nous pouvons définir un produit intérieur , nous donnant la géométrie. Alors l'égalité ci-dessus dit essentiellement que, $H$ $<x, y>_{H^{-1}} = x'H^{-1}y$

(X β - X \hat{β}) ⊥ (y - X \hat{β}) .

$(X\beta - X\hat{\beta}) \perp (y - X\hat{\beta}).$

Je voulais vous donner ce peu d'intuition puisqu'un commentateur a déjà laissé un lien vers la dérivation.

Edit: Pour la postérité

LHS:

\begin{array}{rcl} (y - X β)^{'} H^{- 1} (y - X β) & = & y^{'} H^{- 1} y & - & 2 y^{'} H^{- 1} X β & + & β^{'} X^{'} H^{- 1} X β \\ = & (UNE) & - & (B) & + & (C) \end{array}

$\begin{eqnarray} (y-X \beta)'H^{-1}(y-X \beta) &=& y'H^{-1}y &-& 2y'H^{-1}X \beta &+& \beta'X'H^{-1}X\beta \\ &=& (A) &-& (B) &+& (C) \end{eqnarray}$

RHS:

(y - X \hat{β})^{'} H^{- 1} (y - X \hat{β}) + (β - \hat{β})^{'} (X^{'} H^{- 1} X) (β - \hat{β})

$(y-X\hat\beta)'H^{-1}(y-X\hat\beta)+(\beta-\hat\beta)'(X'H^{-1}X)(\beta-\hat\beta)$

\begin{array}{rcl} = & y^{'} H^{- 1} y & - 2 y^{'} H^{- 1} X \hat{β} & + {\hat{β}}^{'} X^{'} H^{- 1} X \hat{β} & + β X^{'} H^{- 1} X β & - 2 \hat{β} X^{'} H^{- 1} X β & + {\hat{β}}^{'} X^{'} H^{- 1} X \hat{β} \\ = & (UNE) & - (ré) & + (E) & + (C) & - (F) & + (E) \end{array}

$\begin{eqnarray} &=& y'H^{-1}y &- 2y'H^{-1}X\hat{\beta} &+ \hat{\beta}'X'H^{-1}X\hat{\beta} &+ \beta X'H^{-1}X\beta &- 2\hat{\beta}X'H^{-1}X\beta &+ \hat{\beta}'X'H^{-1}X\hat{\beta} \\ &=& (A) &- (D) &+ (E) &+ (C) &- (F) &+ (E) \end{eqnarray}$

Relation:

\hat{β} = (X^{'} H^{- 1} X)^{- 1} X^{'} H^{- 1} y

$\hat{\beta} = (X'H^{-1}X)^{-1}X'H^{-1}y$

En branchant la relation, vous pouvez montrer que (B) = (F) et que 2 (E) = (D). Terminé.

— jlimahaverford
source

Désolé, je ne vois pas vraiment comment le lien résout le problème. Pour moi, dans mon cas, l'équation est Var (y) = biais + ... Pouvez-vous élaborer?

— Sibbs Gambling

@SibbsGambling a modifié ma réponse, y compris la dérivation.

— jlimahaverford

@jlimahaverford n'oublies-tu pas le à la fin de la formule pour ?

y

$y$

\hat{β}

$\hat{\beta}$

— Gumeo

7

Ils arrivent à cette identité par une technique appelée achever le carré. Le côté gauche est sous une forme quadratique, alors commencez par le multiplier

(y - X β)^{'} H^{- 1} (y - X β) = y^{'} H^{- 1} y - 2 y^{'} H^{- 1} X β + β^{'} X^{'} H^{- 1} X β

$(y-X\beta)'H^{-1}(y-X\beta)= y'H^{-1}y - 2y'H^{-1}X\beta + \beta'X'H^{-1} X\beta$

continuer et réécrire en termes de . L'algèbre est assez longue mais googlante complétant le carré dans la régression bayésienne et vous pouvez trouver beaucoup d'indices. Par exemple, voir le wikipedia sur la régression linéaire bayésienne , et d'autres réponses CrossValided concernant l'achèvement du carré, comme ici . $\hat{\beta} = (X'H^{-1}X)^{-1}X'H^{-1}y$

— bill_e
source

2

Si vous connaissez votre algèbre matricielle, cela devrait être possible en multipliant tout et en vérifiant que vous avez bien la même chose des deux côtés. C'est ce que jlimahaverford a démontré.

$\hat{\beta}$

X \sim N (μ, Σ) .

$\mathbf{X}\sim \mathcal{N}(\mu,\Sigma).$

Σ

$\Sigma$

Σ = P P^{T}

$\Sigma = PP^T$

Oui = P^{- 1} (X - μ)

$\mathbf{Y}=P^{-1}(\mathbf{X}-\mu)$

N (0, I)

$\mathcal{N}(0,I)$

\hat{β}

$\hat{\beta}$

H = P P^{T}

$H=PP^T$

\begin{aligned} y & = X β + ϵ \\ P^{- 1} y & = P^{- 1} X β + P^{- 1} ϵ \end{aligned}

$\begin{align} y&=X\beta+\epsilon\\ P^{-1}y &= P^{-1}X\beta + P^{-1}\epsilon \end{align}$

ϵ

$\epsilon$

cov (P^{- 1} ϵ) = I

$\text{cov}(P^{-1}\epsilon)=I$

\tilde{X} = P^{- 1} X, \tilde{y} = P^{- 1} y et \tilde{ϵ} = P^{- 1} ϵ .

$\tilde{X}=P^{-1}X,\qquad \tilde{y}=P^{-1}y\quad\text{and}\quad \tilde{\epsilon}=P^{-1}\epsilon.$

\tilde{y} = \tilde{X} β + \tilde{ϵ}

$\tilde{y}=\tilde{X}\beta+\tilde{\epsilon}$

\hat{β}

$\hat{\beta}$

\begin{aligned} \hat{β} & = ({\tilde{X}}^{T} \tilde{X})^{- 1} {\tilde{X}}^{T} \tilde{y} \\ = ((P^{- 1} X)^{T} P^{- 1} X)^{- 1} (P^{- 1} X)^{T} P^{- 1} y \\ = (X^{T} (P P^{T})^{- 1} X)^{- 1} X (P P^{T})^{- 1} y \\ = (X^{T} H^{- 1} X)^{- 1} X H^{- 1} y \end{aligned}

$\begin{align} \hat{\beta} &= (\tilde{X}^T\tilde{X})^{-1}\tilde{X}^T\tilde{y}\\ &=((P^{-1}X)^TP^{-1}X)^{-1}(P^{-1}X)^TP^{-1}y\\ &=(X^T(PP^T)^{-1}X)^{-1}X(PP^T)^{-1}y\\ &=(X^TH^{-1}X)^{-1}XH^{-1}y \end{align}$

— Gumeo
source