Appliquer une régression de crête pour un système d'équations sous-déterminé?

Lorsque , le problème des moindres carrés qui impose une restriction sphérique à la valeur de peut être écrit comme pour un système surdéterminé. est la norme euclidienne d'un vecteur. $y = X\beta + e$ $\delta$ $\beta$

\begin{matrix} \min ‖ y - X β ‖_{2}^{2} \\ s . t . ‖ β ‖_{2}^{2} \leq δ^{2} \end{matrix}

$\begin{equation} \begin{array} &\operatorname{min}\ \| y - X\beta \|^2_2 \\ \operatorname{s.t.}\ \ \|\beta\|^2_2 \le \delta^2 \end{array} \end{equation}$

‖ \cdot ‖_{2}

$\|\cdot\|_2$

La solution correspondante à $\beta$ est donnée par

\hat{β} = {(X^{T} X + λ I)}^{- 1} X^{T} y,

$\begin{equation} \hat{\beta} = \left(X^TX + \lambda I\right)^{-1}X^T y \ , \end{equation}$ qui peut être dérivée de la méthode des multiplicateurs de Lagrange (

λ

$\lambda$ est le multiplicateur):

L (β, λ) = ‖ y - X β ‖_{2}^{2} + λ (‖ β ‖_{2}^{2} - δ^{2})

$\begin{equation} \mathcal{L}(\beta,\lambda) = \|y-X\beta\|^2_2 + \lambda(\|\beta\|^2_2 - \delta^2) \end{equation}$

Je comprends qu'il existe une propriété qui

{(X^{T} X + λ I)}^{- 1} X^{T} = X^{T} {(X X^{T} + λ I)}^{- 1} .

$\begin{equation} \left(X^TX + \lambda I\right)^{-1}X^T = X^T\left(XX^T + \lambda I\right)^{-1} \ . \end{equation}$ Le côté droit ressemble au pseudo-inverse de la matrice de régresseur

X

$X$ dans le cas sous-déterminé (avec le paramètre de régularisation ajouté,

λ

$\lambda$ ). Est-ce à dire que la même expression peut être utilisée pour approximer

β

$\beta$ pour le cas sous-déterminé? Existe-t-il une dérivation distincte pour l'expression correspondante dans le cas sous-déterminé, car la contrainte de restriction sphérique est redondante avec la fonction objectif (norme minimale de

β

$\beta$ ):

\begin{matrix} m i n . ‖ β ‖_{2} \\ s . t . X β = y . \end{matrix}

$\begin{equation} \begin{array} &\operatorname{min.}\ \| \beta \|_2\\ \operatorname{s.t.}\ X\beta = y \ . \end{array} \end{equation}$

— hatmatrix
source

En commençant par la formulation du problème de régression des crêtes comme

$\min \| X\beta -y \|_{2}^{2} + \lambda \| x \|_{2}^{2}$

vous pouvez écrire le problème comme

$\min \| A\beta - b \|_{2}^{2}$

où

$A=\left[ \begin{array}{c} X \\ \sqrt{\lambda} I \end{array} \right]$

$b=\left[ \begin{array}{c} y \\ 0 \end{array} \right].$

La matrice est de rang complet de la colonne à cause de la partie. Ainsi, le problème des moindres carrés comme solution unique $A$ $\sqrt{\lambda}I$

$\hat{\beta}=(A^{T}A)^{-1}A^{T}b$

En écrivant ceci en termes de et , et en simplifiant beaucoup de 0, nous obtenons $X$ $y$

$\hat{\beta}=(X^{T}X+\lambda I)^{-1}X^{T}y$

Rien dans cette dérivation ne dépend si a plus de lignes ou de colonnes, ou même si a un rang complet. Cette formule est donc applicable au cas indéterminé. $X$ $X$

C'est un fait algébrique que pour , $\lambda>0$

$(X^{T}X+\lambda I)^{-1}X^{T}=X^{T}(XX^{T}+\lambda I)^{-1}$

Ainsi, nous avons également la possibilité d'utiliser

$\hat{\beta}=X^{T}(XX^{T}+\lambda I)^{-1}y$ .

Pour répondre à vos questions spécifiques:

Oui, les deux formules fonctionnent pour le cas indéterminé ainsi que pour le cas surdéterminé. Ils ont également le travail si est inférieur au minimum du nombre de lignes et de colonnes de . La deuxième version peut être plus efficace pour les problèmes indéterminés car est plus petit que dans ce cas. $\mbox{rank}(X)$ $X$ $XX^{T}$ $X^{T}X$
Je ne suis au courant d'aucune dérivation de la version alternative de la formule qui commence par un autre problème des moindres carrés amortis et utilise les équations normales. Dans tous les cas, vous pouvez le dériver de manière simple en utilisant un peu d'algèbre.

Il est possible que vous pensiez au problème de régression des crêtes sous la forme

$\min \| \beta \|_{2}^{2}$

sujet à

$\| X\beta-y \|_{2}^{2} \leq \epsilon.$

Cependant, cette version du problème de régression des crêtes conduit simplement au même problème des moindres carrés amortis . $\min \| X\beta -y \|_{2}^{2} + \lambda \| \beta \|_{2}^{2}$

— Brian Borchers
source

Il convient de noter ce qui se passe dans la limite lorsque passe à 0 si a un rang de ligne complet ou un rang de colonne complet. Si a le rang de colonne complet, alors dans la limite, vous obtenez le pseudoinverse . De même, si a un rang complet, alors à la limite, vous obtenez le pseudo-inverse . Donc, cela fonctionne comme prévu.

λ

$\lambda$

X

$X$

X

$X$

(X^{T} X)^{- 1} X^{T}

$(X^{T}X)^{-1}X^{T}$

X

$X$

X^{T} (X X^{T})^{- 1}

$X^{T}(XX^{T})^{-1}$

— Brian Borchers

C'est une réponse incroyablement complète et la dérivation des tableaux augmentés (plus l'algèbre que j'ai manquée) est très satisfaisante. Je ne pensais pas au problème de régression des crêtes sous la forme que vous avez présentée à la fin, mais il est intéressant de voir qu'il conduit à la même fonction objective. Un grand merci!

— hatmatrix

Merci. Je vais insérer un plug sans vergogne ici - Vous pouvez trouver cela (et beaucoup de matériel connexe) dans le manuel sur l'estimation des paramètres et les problèmes inverses que j'ai co-écrit avec Rick Aster et Cliff Thurber.

— Brian Borchers

Permettez-moi également d'ajouter que le calcul de cette matrice inverse n'est généralement pas la meilleure façon d'utiliser cette formule. En fonction de la taille et la parcimonie possible de vous pourriez être beaucoup mieux à l' aide d' un schéma itératif ou en utilisant simplement la factorisation de Cholesky de la matrice .

X

$X$

X^{T} X + λ I

$X^{T}X + \lambda I$

— Brian Borchers

Merci pour vos suggestions! J'apprécie la référence à votre livre car j'ai eu du mal à trouver un texbook sur ce matériel. Notre taille de données n'est en fait pas très grande (seulement que nous devrons peut-être appliquer ce nombre de fois à des ensembles de données séparés), donc peut se prêter à l'inverse direct, mais merci pour les pointeurs supplémentaires!

— hatmatrix