Comment effectuer une régression orthogonale (total des moindres carrés) via l'ACP?

J'utilise toujours lm()en R pour effectuer une régression linéaire de sur . Cette fonction renvoie un coefficient tel que $y$ $x$ $\beta$

y = β x .

$y = \beta x.$

Aujourd'hui, j'ai appris le nombre total de moindres carrés et cette princomp()fonction (analyse en composantes principales, ACP) peut être utilisée pour l'exécuter. Cela devrait être bon pour moi (plus précis). J'ai fait quelques tests en utilisant princomp(), comme:

r <- princomp( ~ x + y)

Mon problème est: comment interpréter ses résultats? Comment obtenir le coefficient de régression? Par "coefficient", je veux dire le nombre que je dois utiliser pour multiplier la valeur pour donner un nombre proche de . $\beta$ $x$ $y$

— Dail
source

Un instant les gars, je suis un peu confus. regardez: zoonek2.free.fr/UNIX/48_R/09.html Cela s'appelle PCA (Analyse en Composantes Principales, alias "régression orthogonale" ou "sommes perpendiculaires de carrés" ou "total des moindres carrés") donc je pense que nous parlons à propos de TLS avec princomp () Non?

— Dail

Non; ce sont deux choses différentes, voir l'article de wikipedia sur PCA. Le fait qu'il soit utilisé ici est un hack (je ne sais pas exactement, mais je vais le vérifier); c'est pourquoi l'extraction complexe des coefficients.

Une question connexe: stats.stackexchange.com/questions/2691/… et un article de blog est référencé par l'une des réponses: cerebralmastication.com/2010/09/…

— Jonathan

Moindres carrés ordinaires vs moindres carrés totaux

Considérons d'abord le cas le plus simple d'une seule variable prédictive (indépendante) . Par souci de simplicité, laissez et être centrés, c'est-à-dire que l'interception est toujours nulle. La différence entre la régression OLS standard et la régression TLS "orthogonale" est clairement montrée sur cette figure (adaptée par moi) de la réponse la plus populaire dans le fil le plus populaire sur PCA: $x$ $x$ $y$

OLS vs TLS

OLS ajuste l'équation en réduisant au minimum les distances au carré entre les valeurs observées et les valeurs prédites . TLS correspond à la même équation en minimisant les distances au carré entre les points et leur projection sur la ligne. Dans ce cas le plus simple, la ligne TLS est simplement le premier composant principal des données 2D. Pour trouver , faites l'ACP sur les points , c'est-à-dire construisez la matrice de covariance et trouvez son premier vecteur propre $y=\beta x$ $y$ $\hat y$ $(x,y)$ $\beta$ $(x,y)$ $2\times 2$ $\boldsymbol \Sigma$ ; alors . $\mathbf v = (v_x, v_y)$ $\beta = v_y/v_x$

En Matlab:

 v = pca([x y]);    //# x and y are centered column vectors
 beta = v(2,1)/v(1,1);

Dans R:

 v <- prcomp(cbind(x,y))$rotation
 beta <- v[2,1]/v[1,1]

Soit dit en passant, cela produira une pente correcte même si et n'étaient pas centrés (car les fonctions PCA intégrées effectuent automatiquement le centrage). Pour récupérer l'ordonnée à l'origine, calculez . $x$ $y$ $\beta_0 = \bar y - \beta \bar x$

OLS vs TLS, régression multiple

Étant donné une variable dépendante et de nombreuses variables indépendantes (encore une fois, toutes centrées pour plus de simplicité), la régression correspond à une équation OLS est la place en minimisant les erreurs quadratiques entre les valeurs observées de et les valeurs prédites . TLS fait l'ajustement en minimisant les distances au carré entre observées $y$ $x_i$

y = β_{1} x_{1} + \dots + β_{p} x_{p} .

$y= \beta_1 x_1 + \ldots + \beta_p x_p.$

y

$y$

\hat{y}

$\hat y$

(x, y) \in R^{p + 1}

$(\mathbf x, y)\in\mathbb R^{p+1}$ points et les points les plus proches sur le plan de régression / hyperplan.

Notez qu'il n'y a plus de "ligne de régression"! L'équation ci-dessus spécifie un hyperplan : c'est un plan 2D s'il y a deux prédicteurs, un hyperplan 3D s'il y a trois prédicteurs, etc. Donc la solution ci-dessus ne fonctionne pas: on ne peut pas obtenir la solution TLS en prenant uniquement le premier PC (qui est une ligne). Pourtant, la solution peut être facilement obtenue via PCA.

Comme précédemment, l'ACP est effectuée sur points. On obtient vecteurs propres dans les colonnes de . Les premiers vecteurs propres définissent un hyperplan dimensions dont nous avons besoin; le dernier (nombre ) vecteur propre est orthogonal. La question est de savoir comment transformer la base de donnée par les premiers vecteurs propres en coefficients . $(\mathbf x, y)$ $p+1$ $\mathbf V$ $p$ $p$ $\mathcal H$ $p+1$ $\mathbf v_{p+1}$ $\mathcal H$ $p$ $\boldsymbol \beta$

Observe que si l' on pose pour tout et que , alors , soit le vecteur se trouve dans l'hyperplan . Par contre, on sait que $x_i=0$ $i \ne k$ $x_k=1$ $\hat y=\beta_k$

(0, \dots, 1, \dots, β_{k}) \in H

$(0,\ldots, 1, \ldots, \beta_k) \in \mathcal H$

H

$\mathcal H$

est orthogonal. C'est-à-dire que leur produit scalaire doit être nul:

v_{p + 1} = (v_{1}, \dots, v_{p + 1}) ⊥ H

$\mathbf v_{p+1}=(v_1, \ldots, v_{p+1}) \:\bot\: \mathcal H$

v_{k} + β_{k} v_{p + 1} = 0 \Rightarrow β_{k} = - v_{k} / v_{p + 1} .

$v_k + \beta_k v_{p+1}=0 \Rightarrow \beta_k = -v_k/v_{p+1}.$

En Matlab:

 v = pca([X y]);    //# X is a centered n-times-p matrix, y is n-times-1 column vector
 beta = -v(1:end-1,end)/v(end,end);

Dans R:

 v <- prcomp(cbind(X,y))$rotation
 beta <- -v[-ncol(v),ncol(v)] / v[ncol(v),ncol(v)]

Encore une fois, cela produira des pentes correctes même si et n'étaient pas centrés (car les fonctions PCA intégrées effectuent automatiquement le centrage). Pour récupérer l'ordonnée à l'origine, calculez . $x$ $y$ $\beta_0 = \bar y - \bar {\mathbf x} \boldsymbol \beta$

$x$ $(x,y)$ $v^{(1)}_y/v^{(1)}_x=-v^{(2)}_x/v^{(2)}_y$

Solution de formulaire fermé pour TLS

$\boldsymbol \beta$

$\mathbf X$ $\mathbf y$ $\mathbf v_{p+1}$ $[\mathbf X\: \mathbf y]$ $\sigma^2_{p+1}$ $-\mathbf v_{p+1}/v_{p+1} = (\boldsymbol \beta\:\: -1)^\top$

(\begin{matrix} X^{⊤} X & X^{⊤} y \\ y^{⊤} X & y^{⊤} y \end{matrix}) (\begin{matrix} β \\ - 1 \end{matrix}) = σ_{p + 1}^{2} (\begin{matrix} β \\ - 1 \end{matrix}),

$\left(\begin{array}{c}\mathbf X^\top \mathbf X & \mathbf X^\top \mathbf y\\ \mathbf y^\top \mathbf X & \mathbf y^\top \mathbf y\end{array}\right) \left(\begin{array}{c}\boldsymbol \beta \\ -1\end{array}\right) = \sigma^2_{p+1}\left(\begin{array}{c}\boldsymbol \beta \\ -1\end{array}\right),$

β_{T L S} = (X^{⊤} X - σ_{p + 1}^{2} je)^{- 1} X^{⊤} y,

$\boldsymbol \beta_\mathrm{TLS} = (\mathbf X^\top \mathbf X - \sigma^2_{p+1}\mathbf I)^{-1} \mathbf X^\top \mathbf y,$

β_{O L S} = (X^{⊤} X)^{- 1} X^{⊤} y .

$\boldsymbol \beta_\mathrm{OLS} = (\mathbf X^\top \mathbf X)^{-1} \mathbf X^\top \mathbf y.$

Régression multiple multivariée

La même formule peut être généralisée au cas multivarié, mais même pour définir ce que fait le TLS multivarié, il faudrait une certaine algèbre. Voir Wikipedia sur TLS . La régression OLS multivariée équivaut à un ensemble de régressions OLS univariées pour chaque variable dépendante, mais dans le cas TLS, ce n'est pas le cas.

— amibe dit réintégrer Monica
source

Je ne connais pas R, mais je voulais quand même fournir des extraits R pour référence future. Il y a beaucoup de gens compétents ici en R. N'hésitez pas à modifier mes extraits si nécessaire! Merci.

— Amoeba dit Reinstate Monica

(0, \dots, 1, \dots, β_{k})

$(0,\ldots, 1, \ldots, \beta_k)$

x_{i}

$x_i$

x_{k} = 1

$x_k=1$

y = \sum β_{j} x_{j}

$y=\sum \beta_j x_j$

y = β_{k} \cdot 1 = β_{k}

$y=\beta_k\cdot 1 = \beta_k$

(0, \dots, 1, \dots β_{k})

$(0,\ldots, 1, \ldots \beta_k)$

y = \sum β_{j} x_{j}

$y=\sum \beta_j x_j$

— Amoeba dit Reinstate Monica

Il me semble avoir mal lu cette partie mais maintenant c'est clair. Merci aussi pour la clarification.

— JohnK

Dans R, vous préférerez peut-être " vecteurs propres (cov (cbind (x, y))) $ " à "prcomp (cbind (x, y)) $ rotation" car le premier est beaucoup plus rapide pour les vecteurs plus grands.

— Thomas Browne

Basé sur l'implémentation naïve de GNU Octave trouvée ici , quelque chose comme ça pourrait (grain de sel, il est tard) fonctionner.

tls <- function(A, b){

  n <- ncol(A)
  C <- cbind(A, b)

  V <- svd(C)$v
  VAB <- V[1:n, (n+1):ncol(V)]
  VBB <- V[(n+1):nrow(V), (n+1):ncol(V)]
  return(-VAB/VBB)
}

— cashoes
source

princompexécute l' analyse de la composante principale au lieu de la régression des moindres carrés totaux. Pour autant que je sache, il n'y a pas de fonction R ni de package qui fait TLS; il y a tout au plus une régression de Deming dans MethComp .
Pourtant, veuillez considérer cela comme une suggestion que cela ne vaut probablement pas la peine.

Je pensais que Deming dans le package MethComp était TLS - quelle est la différence?

— mark999

Vous devez lui donner le ratio d'erreurs sur x et y; pure TLS optimise cela.