Dans quelles conditions exactement la régression des crêtes est-elle en mesure d'apporter une amélioration par rapport à la régression des moindres carrés ordinaires?

La régression de crête estime les paramètres $\boldsymbol \beta$ dans un modèle linéaire $\mathbf y = \mathbf X \boldsymbol \beta$ by

$$\hat{\boldsymbol \beta}_\lambda = (\mathbf X^\top \mathbf X + \lambda \mathbf I)^{-1} \mathbf X^\top \mathbf y,$$ où $\lambda$ est un paramètre de régularisation. Il est bien connu qu'elle fonctionne souvent mieux que la régression OLS (avec $\lambda=0$ ) lorsqu'il existe de nombreux prédicteurs corrélés.

Un théorème d'existence pour la régression de crête dit qu'il existe toujours un paramètre $\lambda^* > 0$ tel que l'erreur quadratique moyenne de $\hat{\boldsymbol \beta}_\lambda$ est strictement inférieure à l'erreur quadratique moyenne de l'OLS estimation $\hat{\boldsymbol \beta}_\mathrm{OLS}=\hat{\boldsymbol \beta}_0$ . En d'autres termes, une valeur optimale de $\lambda$ est toujours non nulle. Cela a apparemment été prouvé pour la première fois dans Hoerl et Kennard, 1970 et est répété dans de nombreuses notes de cours que je trouve en ligne (par exemple ici et ici ). Ma question porte sur les hypothèses de ce théorème:

1. Y a-t-il des hypothèses sur la matrice de covariance $\mathbf X^\top \mathbf X$ ?

2. Y a-t-il des hypothèses sur la dimensionnalité de $\mathbf X$ ?

En particulier, le théorème est-il toujours vrai si les prédicteurs sont orthogonaux (c'est-à-dire $\mathbf X^\top \mathbf X$ est diagonal), ou même si $\mathbf X^\top \mathbf X=\mathbf I$ ? Et est-ce toujours vrai s'il n'y a qu'un ou deux prédicteurs (disons, un prédicteur et une interception)?

Si le théorème ne fait pas de telles hypothèses et reste vrai même dans ces cas, alors pourquoi la régression de crête n'est-elle généralement recommandée que dans le cas de prédicteurs corrélés, et jamais (?) Recommandée pour une régression simple (c'est-à-dire non multiple)?

---

Ceci est lié à ma question sur la vision unifiée du rétrécissement: quelle est la relation (le cas échéant) entre le paradoxe de Stein, la régression des crêtes et les effets aléatoires dans les modèles mixtes? , mais aucune réponse ne clarifie ce point jusqu'à présent.

La réponse à la fois à 1 et à 2 est non, mais il faut être prudent dans l'interprétation du théorème d'existence.

Variance de Ridge Estimator

Soit l'estimation de la crête sous la pénalité , et soit le véritable paramètre du modèle . Soit les valeurs propres de . D'après les équations de Hoerl et Kennard 4.2-4.5, le risque (en termes de la norme attendue de l'erreur) est kβY=Xβ+ϵλ1,…,λpXTXL$\hat{\beta^*}$$k$$\beta$$Y = X \beta + \epsilon$$\lambda_1, \dotsc, \lambda_p$$X^T X$
$L^2$

( X T X+k I p ) -2= ( X T X+k I p ) -1 ( X T X+k I p ) -1. γ1 ^ β ∗ -βγ

$$\begin{align*} E \left( \left[ \hat{\beta^*} - \beta \right]^T \left[ \hat{\beta^*} - \beta \right] \right)& = \sigma^2 \sum_{j=1}^p \lambda_j/ \left( \lambda_j +k \right)^2 + k^2 \beta^T \left( X^T X + k \mathbf{I}_p \right)^{-2} \beta \\ & = \gamma_1 (k) + \gamma_2(k) \\ & = R(k) \end{align*}$$ où pour autant que je sache, Ils remarquent que a l'interprétation de la variance du produit interne de , tandis que est le produit interne du biais.$\left( X^T X + k \mathbf{I}_p \right)^{-2} = \left( X^T X + k \mathbf{I}_p \right)^{-1} \left( X^T X + k \mathbf{I}_p \right)^{-1}.$$\gamma_1$$\hat{\beta^*} - \beta$$\gamma_2$

Supposons que , puis Soit être la dérivée du risque w / r / t . Puisque , nous concluons qu'il existe des tels que . R ( k ) = p σ 2 + k 2 β T$X^T X = \mathbf{I}_p$R′(k)=2k(1+k)βTβ-(pσ2+k2βTβ

$$R(k) = \frac{p \sigma^2 + k^2 \beta^T \beta}{(1+k)^2}.$$ klimk→0+R′(k)=-2pσ2<0k∗>0R(k∗)<R(0 $$R^\prime (k) = 2\frac{k(1+k)\beta^T \beta - (p\sigma^2 + k^2 \beta^T \beta)}{(1+k)^3}$$ $k$$\lim_{k \rightarrow 0^+} R^\prime (k) = -2p \sigma^2 < 0$$k^*>0$$R(k^*)<R(0)$

Les auteurs remarquent que l'orthogonalité est la meilleure que l'on puisse espérer en termes de risque à , et qu'à mesure que le nombre de conditions de augmente, approches .X T X lim k → 0 + R ′ ( k ) - $k=0$$X^T X$$\lim_{k \rightarrow 0^+} R^\prime (k)$$- \infty$

Commentaire

Il semble y avoir un paradoxe ici, en ce que si et est constant, alors nous estimons simplement la moyenne d'une séquence de variables normales , et nous connaissons l'estimation sans biais de la vanille est recevable en l'espèce. Ceci est résolu en remarquant que le raisonnement ci-dessus prévoit simplement qu'une valeur minimisante de existe pour les fixes . Mais pour tout , nous pouvons faire exploser le risque en rendant grand, donc cet argument à lui seul ne montre pas l'admissibilité pour l'estimation de la crête.$p=1$$X$$(\beta, \sigma^2)$$k$$\beta^T \beta$$k$$\beta^T \beta$

Pourquoi la régression des crêtes n'est-elle généralement recommandée que dans le cas de prédicteurs corrélés?

La dérivation du risque de H&K montre que si nous pensons que est petit, et si le plan est presque singulier, alors nous pouvons réaliser de grandes réductions du risque de l'estimation. Je pense que la régression de crête n'est pas utilisée de manière omniprésente car l'estimation OLS est un défaut sûr et que les propriétés d'invariance et de non-biais sont attrayantes. Quand il échoue, il échoue honnêtement - votre matrice de covariance explose. Il y a aussi peut-être un point philosophique / inférentiel, que si votre conception est presque singulière et que vous avez des données d'observation, alors l'interprétation de comme donnant des changements dans pour les changements d'unité dans est suspecte - la grande matrice de covariance est un symptôme de cela. $\beta ^T \beta$$X^T X$$\beta$$E Y$$X$

Mais si votre objectif est uniquement la prédiction, les préoccupations inférentielles ne sont plus valables et vous avez un argument solide pour utiliser une sorte d'estimateur de rétrécissement.