Équation pour les facteurs d'inflation de la variance

Suite à une question posée précédemment, les facteurs d'inflation de la variance (VIF) peuvent être exprimés comme est la version mise à l'échelle de la longueur unitaire de

{VIF}_{j} = \frac{Var ({\hat{b}}_{j})}{σ^{2}} = [w_{j}^{'} w_{j} - w_{j}^{'} W_{- j} (W_{- j}^{'} W_{- j})^{- 1} W_{- j}^{'} w_{j}]^{- 1}

$\textrm{VIF}_j = \frac{\textrm{Var}(\hat{b}_j)}{\sigma^2} = [\mathbf{w}_j^{\prime} \mathbf{w}_j - \mathbf{w}_j^{\prime} \mathbf{W}_{-j} (\mathbf{W}_{-j}^{\prime} \mathbf{W}_{-j})^{-1} \mathbf{W}_{-j}^{\prime} \mathbf{w}_j]^{-1}$

W

$\mathbf{W}$

X

$\mathbf{X}$

Quelqu'un peut-il me montrer comment aller d'ici à l'équation est le coefficient de détermination multiple obtenu en régressant sur les autres variables du régresseur.

{VIF}_{j} = \frac{1}{1 - R_{j}^{2}}

$\textrm{VIF}_j = \frac{1}{1-R_j^2}$

R_{j}^{2}

$R_j^2$

x_{j}

$x_j$

J'ai beaucoup de mal à bien faire ces opérations matricielles ...

multiple-regression vif

— Communauté
source

Supposons que toutes variables sont normalisées par la transformation de corrélation, comme vous l'avez mentionné, version mise à l'échelle de la longueur unitaire de . Le modèle standardisé ne modifie pas la corrélation entre variables peut être calculé lors de la transformation standardisée du modèle linéaire d'origine. Notons la matrice de conception après transformation standardisée comme Ensuite $X$ $\mathbf{X}$ $X$ $VIF$

\begin{aligned} X^{*} = [\begin{matrix} 1 & X_{11} & \dots & X_{1, p - 1} \\ 1 & X_{21} & \dots & X_{2, p - 1} \\ ⋮ & ⋮ & ⋮ & ⋮ \\ 1 & X_{n 1} & \dots & X_{n, p - 1} \end{matrix}] . \end{aligned}

$\begin{align*} \mathbf{X^*} = \begin{bmatrix} 1& X_{11}& \ldots &X_{1,p-1} \\ 1& X_{21}& \ldots &X_{2,p-1} \\ \vdots & \vdots & \vdots & \vdots \\ 1& X_{n1}& \ldots &X_{n,p-1} \\ \end{bmatrix}. \end{align*}$

\begin{aligned} X^{*^{'}} X^{*} = [\begin{matrix} n & 0^{'} \\ 0 & r_{X X} \end{matrix}], \end{aligned}

$\begin{align*} \mathbf{X^{*'}X^*} = \begin{bmatrix} n & \mathbf{0}' \\ \mathbf{0} & \mathbf{r}_{XX} \end{bmatrix}, \end{align*}$ où est la matrice de corrélation de variables. Nous savons également que pour est le ème terme diagonal de .

r_{X X}

$\mathbf{r}_{XX}$

X

$X$

\begin{aligned} σ^{2} {\hat{β}} & = σ^{2} (X^{*^{'}} X^{*})^{- 1} \\ = σ^{2} [\begin{matrix} \frac{1}{n} & 0^{'} \\ 0 & r_{X X}^{- 1} . \end{matrix}] \end{aligned}

$\begin{align*} \sigma^2\{\hat{\beta}\} & = \sigma^2 (\mathbf{X^{*'}X^*})^{-1}\\ & = \sigma^2 \begin{bmatrix} \frac{1}{n} & \mathbf{0}' \\ \mathbf{0} & \mathbf{r}^{-1}_{XX}. \end{bmatrix}\\ \end{align*}$

V I F_{k}

$VIF_k$

k = 1, 2, \dots, p - 1

$k=1,2,\ldots,p-1$

k

$k$

r_{X X}^{- 1}

$\mathbf{r}^{-1}_{XX}$

k = 1

$k = 1$

r_{X X}

$r_{XX}$

k

$k$ . Définissons: Notez que les deux matrices sont différentes des matrices de conception. Comme nous ne nous soucions que des coefficients des variables , le vecteur d'une matrice de conception peut être ignoré dans notre calcul. Par conséquent, en utilisant le complément de Schur ,

\begin{aligned} X_{(- 1)} = [\begin{matrix} X_{12} & \dots & X_{1, p - 1} \\ X_{22} & \dots & X_{2, p - 1} \\ ⋮ & ⋮ & ⋮ \\ X_{n 2} & \dots & X_{n, p - 1} \end{matrix}], X_{1} = [\begin{matrix} X_{11} \\ X_{21} \\ ⋮ \\ X_{n 1} \end{matrix}] . \end{aligned}

$\begin{align*} \mathbf{X}_{(-1)} = \begin{bmatrix} X_{12}&\ldots&X_{1,p-1} \\X_{22}&\ldots&X_{2,p-1}\\ \vdots & \vdots & \vdots \\ X_{n2}&\ldots&X_{n,p-1} \\ \end{bmatrix}, \mathbf{X}_1 = \begin{bmatrix} X_{11} \\ X_{21} \\ \vdots \\ X_{n1} \\ \end{bmatrix}. \end{align*}$

X

$X$

1

$1$

\begin{aligned} r_{X X}^{- 1} (1, 1) & = (r_{11} - r_{1 X_{(- 1)}} r_{X_{(- 1)} X_{(- 1)}}^{- 1} r_{X_{(- 1)} 1})^{- 1} \\ = (r_{11} - [r_{1 X_{(- 1)}} r_{X_{(- 1)} X_{(- 1)}}^{- 1}] r_{X_{(- 1)} X_{(- 1)}} [r_{X_{(- 1)} X_{(- 1)}}^{- 1} r_{X_{(- 1)} 1}])^{- 1} \\ = (1 - β_{1 X_{(- 1)}}^{'} X_{(- 1)}^{'} X_{(- 1)} β_{1 X_{(- 1)}})^{- 1}, \end{aligned}

$\begin{align*} r^{-1}_{XX} (1,1) & = (r_{11} - r_{1\mathbf{X}_{(-1)}} r^{-1}_{\mathbf{X}_{(-1)}\mathbf{X}_{(-1)}} r_{\mathbf{X}_{(-1)}1})^{-1} \\ & = (r_{11} - [r_{1\mathbf{X}_{(-1)}} r^{-1}_{\mathbf{X}_{(-1)}\mathbf{X}_{(-1)}}] r_{\mathbf{X}_{(-1)}\mathbf{X}_{(-1)}} [r^{-1}_{\mathbf{X}_{(-1)}\mathbf{X}_{(-1)}} r_{\mathbf{X}_{(-1)}1}])^{-1} \\ & = (1-\beta_{1\mathbf{X}_{(-1)}}' \mathbf{X}_{(-1)}' \mathbf{X}_{(-1)} \beta_{1\mathbf{X}_{(-1)}} )^{-1}, \end{align*}$ où est les coefficients de régression de sur sauf l'interception. En fait, l'ordonnée à l'origine devrait être l'origine, puisque tous les

β_{1 X_{(- 1)}}

$\beta_{1\mathbf{X}_{(-1)}}$

X_{1}

$X_1$

X_{2}, \dots, X_{p - 1}

$X_2, \ldots, X_{p-1}$

X

$X$ les variables sont normalisées avec une moyenne nulle. D'un autre côté, (ce serait plus simple si nous pouvons tout écrire sous forme de matrice explicite) Par conséquent

\begin{aligned} R_{1}^{2} & = \frac{S S R}{S S T O} = \frac{β_{1 X_{(- 1)}}^{'} X_{(- 1)}^{'} X_{(- 1)} β_{1 X_{(- 1)}}}{1} \\ = β_{1 X_{(- 1)}}^{'} X_{(- 1)}^{'} X_{(- 1)} β_{1 X_{(- 1)}} . \end{aligned}

$\begin{align*} R_1^2 & = \frac{SSR}{SSTO} = \frac{\beta_{1\mathbf{X}_{(-1)}}' \mathbf{X}_{(-1)}' \mathbf{X}_{(-1)} \beta_{1\mathbf{X}_{(-1)}}}{1} \\ & = \beta_{1\mathbf{X}_{(-1)}}' \mathbf{X}_{(-1)}' \mathbf{X}_{(-1)} \beta_{1\mathbf{X}_{(-1)}}. \end{align*}$

\begin{aligned} V I F_{1} = r_{X X}^{- 1} (1, 1) = \frac{1}{1 - R_{1}^{2}} . \end{aligned}

$\begin{align*} VIF_1 = r^{-1}_{XX} (1,1) = \frac{1}{1-R_1^2}. \end{align*}$

— jwyao
source