Inverser la régression des crêtes: compte tenu de la matrice de réponse et des coefficients de régression, trouver des prédicteurs appropriés

Considérons un problème de régression OLS standard : J'ai des matrices et et je veux trouver pour minimiser La solution est donnée par $\newcommand{\Y}{\mathbf Y}\newcommand{\X}{\mathbf X}\newcommand{\B}{\boldsymbol\beta}\DeclareMathOperator*{argmin}{argmin}$ $\Y$ $\X$ $\B$

L = ‖ Y - X β ‖^{2} .

$L=\|\Y-\X\B\|^2.$

\hat{β} = \underset{β}{argmin} {L} = (X^{⊤} X)^{+} X^{⊤} Y .

$\hat\B=\argmin_\B\{L\} = (\X^\top\X)^+\X^\top \Y.$

Je peux aussi poser un problème "inverse": étant donné $\Y$ et $\B^*$ , trouver $\hat\X$ qui donnerait $\hat\B\approx \B^*$ , c'est-à-dire minimiserait $\|\argmin_\B\{L\}-\B^*\|^2$ . En d'autres termes, j'ai la matrice de réponse $\Y$ et le vecteur de coefficient $\B^*$ et je veux trouver la matrice de prédicteur qui donnerait des coefficients proches de $\B^*$ . Ceci est, bien sûr, également un problème de régression OLS avec la solution

\hat{X} = \underset{X}{argmin} {‖ \underset{β}{argmin} {L} - β^{*} ‖^{2}} = Y β^{⊤} (β β^{⊤})^{+} .

$\hat\X = \argmin_\X\Big\{\|\argmin_\B\{L\}-\B^*\|^2\Big\} = \Y\B^\top(\B\B^\top)^{+}.$

Mise à jour de la clarification: Comme @ GeoMatt22 l'a expliqué dans sa réponse, si $\Y$ est un vecteur (c'est-à-dire s'il n'y a qu'une seule variable de réponse), alors $\hat \X$ sera de premier rang et le problème inverse est massivement sous-déterminé. Dans mon cas, $\Y$ est en fait une matrice (c'est-à-dire qu'il existe de nombreuses variables de réponse, c'est une régression multivariée ). Donc $\X$ est $n\times p$ , $\Y$ est $n\times q$ et $\B$ est $p\times q$ .

Je suis intéressé à résoudre un problème "inverse" pour la régression des crêtes. A savoir, ma fonction de perte est maintenant

L = ‖ Y - X β ‖^{2} + μ ‖ β ‖^{2}

$L=\|\Y-\X\B\|^2+\mu\|\B\|^2$ et la solution est

\hat{β} = \underset{β}{argmin} {L} = (X^{⊤} X + μ I)^{- 1} X^{⊤} Y .

$\hat\B=\argmin_\B\{L\}=(\X^\top \X+\mu\mathbf I)^{-1}\X^\top \Y.$

Le problème "inverse" est de trouver

\hat{X} = \underset{X}{argmin} {‖ \underset{β}{argmin} {L} - β^{*} ‖^{2}} = ?

$\hat\X = \argmin_\X\Big\{\|\argmin_\B\{L\}-\B^*\|^2\Big\} = \;?$

Encore une fois, j'ai une matrice de réponse $\Y$ et un vecteur de coefficient $\B^*$ et je veux trouver une matrice prédictive qui produirait des coefficients proches de $\B^*$ .

En fait, il existe deux formulations liées:

Trouvez $\hat\X$ donné $\Y$ et $\B^*$ et $\mu$ .
Recherchez $\hat\X$ et $\hat \mu$ étant donné $\Y$ et $\B^*$ .

L'un ou l'autre a-t-il une solution directe?

Voici un bref extrait de Matlab pour illustrer le problème:

% generate some data
n = 10; % number of samples
p = 20; % number of predictors
q = 30; % number of responses
Y = rand(n,q);
X = rand(n,p);
mu = 0;
I = eye(p);

% solve the forward problem: find beta given y,X,mu
betahat = pinv(X'*X + mu*I) * X'*Y;

% backward problem: find X given y,beta,mu
% this formula works correctly only when mu=0
Xhat =  Y*betahat'*pinv(betahat*betahat');

% verify if Xhat indeed yields betahat
betahathat = pinv(Xhat'*Xhat + mu*I)*Xhat'*Y;
max(abs(betahathat(:) - betahat(:)))

Ce code renvoie zéro si mu=0mais pas autrement.

regression least-squares ridge-regression

— amibe dit réintégrer Monica
source

Puisque et sont donnés, ils n'affectent pas les variations de la perte. Par conséquent, dans (1), vous utilisez toujours OLS. (2) est tout aussi simple, car la perte peut être rendue arbitrairement petite en prenant arbitrairement négatif, dans les limites de toutes les contraintes que vous comparez pour lui imposer. Cela vous réduit au cas (1).

B

$B$

μ

$\mu$

\hat{μ}

$\hat\mu$

— whuber

@whuber Merci. Je pense que je ne l'ai pas expliqué assez clairement. Considérez (1). et sont donnés (appelons-le ), mais je dois trouver qui produirait des coefficients de régression de crête proches de , en d'autres termes, je veux trouver minimisantJe ne vois pas pourquoi cela devrait être OLS.

B

$B$

μ

$\mu$

B^{*}

$B^*$

X

$X$

B^{*}

$B^*$

X

$X$

‖ \underset{B}{argmin} {L_{r i d g e} (X, B)} - B^{*} ‖^{2} .

$\Big\|\operatorname*{argmin}_B\big\{ L_\mathrm{ridge}(X,B)\big\} - B^*\Big\|^2.$

— amibe dit Reinstate Monica

C'est comme si j'avais et je veux trouver

f (v, w)

$f(v,w)$

v

$v$ tel que soit proche d'un . Ce n'est pas la même chose que de trouver .

{argmin}_{w} f (v, w)

$\operatorname{argmin}_w f(v,w)$

w^{*}

$w^*$

{argmin}_{v} f (v, w^{*})

$\operatorname{argmin}_v f(v,w^*)$

— amibe dit Reinstate Monica

L'exposition dans votre article prête à confusion à ce sujet, car il est évident que vous n'utilisez pas réellement comme fonction de perte. Pourriez-vous peut-être développer les détails des problèmes (1) et (2) de la poste?

L

$L$

— whuber

@ hxd1011 De nombreuses colonnes de X sont généralement appelées "régression multiple", de nombreuses colonnes de Y sont généralement appelées "régression multivariée".

— amibe dit Reinstate Monica

Maintenant que la question a convergé vers une formulation plus précise du problème d'intérêt, j'ai trouvé une solution pour le cas 1 (paramètre de crête connu). Cela devrait également aider pour le cas 2 (pas exactement une solution analytique, mais une formule simple et quelques contraintes).

Résumé: Aucune des deux formulations de problèmes inverses n'a de réponse unique. Dans le cas 2 , où le paramètre de crête est inconnu, il existe une infinité de solutions , pour . Dans le cas 1, où est donné, il existe un nombre fini de solutions pour , en raison de l'ambiguïté dans le spectre de valeurs singulières. $\mu\equiv\omega^2$ $X_\omega$ $\omega\in[0,\omega_\max]$ $\omega$ $X_\omega$

(La dérivation est un peu longue, donc TL, DR: il y a un code Matlab fonctionnel à la fin.)

Cas sous-déterminé («OLS»)

Le problème suivant est où , et .

min_{B} ‖ X B - Y ‖^{2}

$\min_B\|XB-Y\|^2$

X \in R^{n \times p}

$X\in\mathbb{R}^{n\times p}$

B \in R^{p \times q}

$B\in\mathbb{R}^{p\times q}$

Y \in R^{n \times q}

$Y\in\mathbb{R}^{n\times q}$

Sur la base de la question mise à jour, nous supposons , alors est sous déterminée donnée et . Comme dans la question, nous supposerons le "défaut" (minimum $n<p<q$ $B$ $X$ $Y$ $L_2$ solution -norme) où est la pseudo - de .

B = X^{+} Y

$B=X^+Y$

X^{+}

$X^+$

X

$X$

De la décomposition en valeurs singulières ( SVD ) de $X$ , donnée par * le pseudoinverse peut être calculé comme ** (* Les premières expressions utilisent le SVD complet, tandis que les secondes expressions utilisent le SVD réduit. ** Pour plus de simplicité, je suppose que a un rang complet, c'est-à-dire que existe.)

X = U S V^{T} = U S_{0} V_{0}^{T}

$X=USV^T=US_0V_0^T$

X^{+} = V S^{+} U^{T} = V_{0} S_{0}^{- 1} U^{T}

$X^+=VS^+U^T=V_0S_0^{-1}U^T$

X

$X$

S_{0}^{- 1}

$S_0^{-1}$

Donc, le problème avancé a la solution Pour référence future, je note que , où est le vecteur de valeurs singulières.

B \equiv X^{+} Oui = (V_{0} S_{0}^{- 1} U^{T}) Oui

$B\equiv X^+Y=\left(V_0S_0^{-1}U^T\right)Y$

S_{0} = d i a g (σ_{0})

$S_0=\mathrm{diag}(\sigma_0)$

σ_{0} > 0

$\sigma_0>0$

Dans le problème inverse, on nous donne et $Y$ $B$ . Nous savons que est venu du processus ci - dessus, mais nous ne savons pas . La tâche consiste alors à déterminer le approprié . $B$ $X$ $X$

Comme indiqué dans la question mise à jour, dans ce cas, nous pouvons récupérer $X$ en utilisant essentiellement la même approche, à savoir en utilisant maintenant la pseudo de .

X_{0} = Oui B^{+}

$X_0=YB^+$

B

$B$

Cas surdéterminé (estimateur Ridge)

Dans le cas "OLS", le problème sous-déterminé a été résolu en choisissant la solution de norme minimale , c'est-à-dire que notre solution "unique" a été implicitement régularisée .

Plutôt que de choisir le solution de norme minimale , nous introduisons ici un paramètre pour contrôler "la taille" de la norme, c'est-à-dire que nous utilisons la régression de crête . $\omega$

Dans ce cas, nous avons une série de problèmes de pour , , qui sont donnés par Collecte des différents vecteurs gauche et droit dans cette collection de les problèmes peuvent être réduits au problème "OLS" suivant où nous avons introduit les matrices augmentées $\beta_k$ $k=1,\ldots,q$

min_{β} ‖ X β - y_{k} ‖^{2} + ω^{2} ‖ β ‖^{2}

$\min_\beta\|X\beta-y_k\|^2+\omega^2\|\beta\|^2$

B_{ω} = [β_{1}, \dots, β_{k}], Oui = [y_{1}, \dots, y_{k}]

$B_{\omega}=[\beta_1,\ldots,\beta_k] \quad,\quad Y=[y_1,\ldots,y_k]$

min_{B} ‖ X_{ω} B - Oui ‖^{2}

$\min_B\|\mathsf{X}_\omega B-\mathsf{Y}\|^2$

X_{ω} = [\begin{matrix} X \\ ω I \end{matrix}], Y = [\begin{matrix} Y \\ 0 \end{matrix}]

$\mathsf{X}_\omega=\begin{bmatrix}X \\ \omega I\end{bmatrix} \quad , \quad \mathsf{Y}=\begin{bmatrix}Y \\ 0 \end{bmatrix}$

Dans ce cas surdéterminé, la solution est toujours donnée par le pseudo-inverse mais le pseudo-inverse est maintenant changé, résultant en * où la nouvelle matrice "spectre de singularité" a une diagonale (inverse) ** (* Le calcul quelque peu compliqué requis pour dériver ceci a été omis par souci de concision. Il est similaire à l'exposé ici pour le

B_{ω} = X^{+} Y

$B_\omega = \mathsf{X}^+\mathsf{Y}$

B_{ω} = (V_{0} S_{ω}^{- 2} U^{T}) Y

$B_\omega = \left(V_0S_\omega^{-2}U^T\right) Y$

σ_{ω}^{2} = \frac{σ_{0}^{2} + ω^{2}}{σ_{0}}

$\sigma_\omega^2 = \frac{\sigma_0^2+\omega^2}{\sigma_0}$

p \leq n

$p\leq n$ . ** Ici les entrées du vecteur est exprimé en termes de vecteur , où toutes les opérations sont en entrée.)

σ_{ω}

$\sigma_\omega$

σ_{0}

$\sigma_0$

Maintenant, dans ce problème, nous pouvons toujours récupérer formellement une "solution de base" comme mais ce n'est plus une vraie solution.

X_{ω} = Y B_{ω}^{+}

$X_\omega=YB_\omega^+$

Cependant, l'analogie tient toujours dans le fait que cette "solution" a SVD

X_{ω} = U S_{ω}^{2} V_{0}^{T}

$X_\omega=US_\omega^2V_0^T$ avec les valeurs singulières données ci-dessus.

σ_{ω}^{2}

$\sigma_\omega^2$

Nous pouvons donc dériver une équation quadratique reliant les valeurs singulières souhaitées aux valeurs singulières récupérables et le paramètre de régularisation $\sigma_0$ $\sigma_\omega^2$ $\omega$ . La solution est alors

σ_{0} = \bar{σ} \pm Δ σ, \bar{σ} = \frac{1}{2} σ_{ω}^{2}, Δ σ = \sqrt{(\bar{σ} + ω) (\bar{σ} - ω)}

$\sigma_0=\bar{\sigma} \pm \Delta\sigma \quad , \quad \bar{\sigma} = \tfrac{1}{2}\sigma_\omega^2 \quad , \quad \Delta\sigma = \sqrt{\left(\bar{\sigma}+\omega\right)\left(\bar{\sigma}-\omega\right)}$

La démonstration de Matlab ci-dessous (testée en ligne via Octave ) montre que cette méthode de solution semble fonctionner aussi bien en théorie qu'en théorie. La dernière ligne montre que toutes les valeurs singulières de sont dans la reconstruction , mais je n'ai pas complètement compris quelle racine prendre ( = vs ). Pour ce sera toujours la racine . Cela semble généralement tenir pour « petit » , alors que pour « grand » la $X$ $\bar{\sigma}\pm\Delta\sigma$ sgn $+$ $-$ $\omega=0$ $+$ $\omega$ $\omega$ $-$ racine semble prendre le dessus. (La démo ci-dessous est actuellement réglée sur un "grand" cas.)

% Matlab demo of "Reverse Ridge Regression"
n = 3; p = 5; q = 8; w = 1*sqrt(1e+1); sgn = -1;
Y = rand(n,q); X = rand(n,p);
I = eye(p); Z = zeros(p,q);
err = @(a,b)norm(a(:)-b(:),Inf);

B = pinv([X;w*I])*[Y;Z];
Xhat0 = Y*pinv(B);
dBres0 = err( pinv([Xhat0;w*I])*[Y;Z] , B )

[Uw,Sw2,Vw0] = svd(Xhat0, 'econ');

sw2 = diag(Sw2); s0mid = sw2/2;
ds0 = sqrt(max( 0 , s0mid.^2 - w^2 ));
s0 = s0mid + sgn * ds0;
Xhat = Uw*diag(s0)*Vw0';

dBres = err( pinv([Xhat;w*I])*[Y;Z] , B )
dXerr = err( Xhat , X )
sigX = svd(X)', sigHat = [s0mid+ds0,s0mid-ds0]' % all there, but which sign?

Je ne peux pas dire à quel point cette solution est robuste , car les problèmes inverses sont généralement mal posés et les solutions analytiques peuvent être très fragiles. Cependant, des expériences superficielles polluant avec du bruit gaussien (c'est-à-dire qu'il a donc un rang complet rapport à un rang réduit ) semblent indiquer que la méthode se comporte raisonnablement bien. $B$ $p$ $n$

Quant au problème 2 (ie inconnu), ce qui précède donne au moins une limite supérieure sur . Pour que le discriminant quadratique soit non négatif, nous devons avoir $\omega$ $\omega$

ω \leq ω_{max} = {\bar{σ}}_{n} = min [\frac{1}{2} σ_{ω}^{2}]

$\omega \leq \omega_{\max} = \bar{\sigma}_n = \min[\tfrac{1}{2}\sigma_\omega^2]$

Pour l'ambiguïté du signe racine quadratique, l'extrait de code suivant montre que, indépendamment du signe, tout donnera la même solution de crête avant , même lorsque diffère de . $\hat{X}$ $B$ $\sigma_0$ $\mathrm{SVD}[X]$

Xrnd=Uw*diag(s0mid+sign(randn(n,1)).*ds0)*Vw0'; % random signs
dBrnd=err(pinv([Xrnd;w*I])*[Y;Z],B) % B is always consistent ...
dXrnd=err(Xrnd,X) % ... even when X is not

— GeoMatt22
source

+11. Merci beaucoup pour tous les efforts que vous avez déployés pour répondre à cette question et pour toutes les discussions que nous avons eues. Cela semble répondre entièrement à ma question. J'ai pensé que le simple fait d'accepter votre réponse ne suffisait pas dans ce cas; cela mérite bien plus de deux votes positifs que cette réponse a actuellement. À votre santé.

— Amoeba dit Reinstate Monica

@amoeba merci! Je suis content que ce soit utile. Je pense que je posterai un commentaire sur la réponse de whuber que vous liez en demandant s'il pense que c'est approprié et / ou s'il y a une meilleure réponse à utiliser. (Notez qu'il préfigure sa discussion SVD avec la condition , c'est-à-dire un surdéterminé .)

p \leq n

$p\leq n$

X

$X$

— GeoMatt22

@ GeoMatt22 mon commentaire sur la question d'origine dit que l'utilisation pinvn'est pas une bonne chose, êtes-vous d'accord?

— Haitao Du

@ hxd1011 En général, vous (presque) ne voulez jamais inverser explicitement une matrice numériquement, et cela vaut également pour le pseudo-inverse. Les deux raisons pour lesquelles je l'ai utilisé ici sont 1) la cohérence avec les équations mathématiques + le code de démonstration d'amibe, et 2) pour le cas de systèmes sous-déterminés, les solutions par défaut "slash" de Matlab peuvent différer des solutions pinv . Presque tous les cas de mon code pourraient être remplacés par les commandes \ ou / appropriées, qui sont généralement à préférer. (Cela permet à Matlab de décider du solveur direct le plus efficace.)

— GeoMatt22

@ hxd1011 pour clarifier le point 2 de mon commentaire précédent, à partir du lien dans votre commentaire sur la question d'origine: "Si le rang de A est inférieur au nombre de colonnes de A, alors x = A \ B n'est pas nécessairement le minimum solution standard. Le plus cher x = pinv (A) * B calcule la solution de moindres carrés normaux minimum. ".

— GeoMatt22