Quelle est la fonction objectif de la PCA?

L'analyse en composantes principales peut utiliser la décomposition matricielle, mais il ne s'agit que d'un outil pour y parvenir.

Comment trouverais-tu les composantes principales sans utiliser l'algèbre matricielle?

Quelle est la fonction objectif (but) et quelles sont les contraintes?

pca

— Neil McGuigan
source

Peut-être que quelque chose me manque alors corrigez-moi si je me trompe, mais il devrait être possible (du moins en principe) de construire ce qui est fait dans PCA en utilisant des matrices comme un problème de programmation linéaire (compliqué), mais je ne le fais pas. savez comment vous énoncez toutes les contraintes requises. De plus, je ne suis pas sûr que ce serait très simple à faire par rapport à la simple utilisation de la PCA. Pourquoi essayez-vous d'éviter les matrices?

— Chris Simokat

@ Chris Je ne vois pas comment on peut arriver à un problème de programmation linéaire. Je ne comprenais pas non plus qu'il fallait éviter les matrices dans le calcul . La question était de savoir quel type de problème était résolu par la PCA et non de la manière dont il était traité (en calculant le SVD par exemple). La solution de cardinal dit que vous trouvez des directions orthogonales successives de variance maximale . La solution que j'ai présentée indique que vous trouvez des hyperplans avec une erreur de reconstruction minime.

— NRH

@ chris J'espère trouver un autre moyen de visualiser PCA, sans algèbre matricielle, afin d'améliorer ma compréhension de celle-ci.

— Neil McGuigan

@Chris, vous avez une fonction d'objectif quadratique et une contrainte d'égalité de norme

ℓ_{2}

$\ell_2$ . Alternativement, dans la formulation de la réponse de @ NRH, vous avez une contrainte de rang matriciel. Cela ne va pas se réduire à un problème de programmation linéaire. @NRH donne une bonne intuition et, en fait, il existe un lien très étroit entre les deux perspectives sur la CPA. Peut-être qu'en collaboration avec @NRH, nous pourrons ajouter cela à son message afin de compléter l'ensemble des réponses.

— cardinal

@NRH, en fait, j'aime beaucoup ESL , mais je pense que le traitement de ce sujet ici est assez superficiel, comme c'est le cas pour la plupart des sujets abordés dans le livre. En particulier, ils ne prouvent pas (ni même assignent comme exercice) la partie importante de la solution au problème d'optimisation que vous donnez.

— cardinal

Réponses:

Sans essayer de donner un aperçu complet de la PCA, du point de vue de l'optimisation, l' objectif principal est le quotient de Rayleigh . La matrice qui figure dans le quotient est (un multiple de) l'exemple de matrice de covariance , où chaque est un vecteur de fonctions et est la matrice de telle sorte que la ième ligne est .

S = \frac{1}{n} \sum_{i = 1}^{n} x_{i} x_{i}^{T} = X^{T} X / n

$\newcommand{\m}[1]{\mathbf{#1}}\newcommand{\x}{\m{x}}\newcommand{\S}{\m{S}}\newcommand{\u}{\m{u}}\newcommand{\reals}{\mathbb{R}}\newcommand{\Q}{\m{Q}}\newcommand{\L}{\boldsymbol{\Lambda}} \S = \frac{1}{n} \sum_{i=1}^n \x_i \x_i^T = \m{X}^T \m{X} / n$

x_{i}

$\x_i$

p

$p$

X

$\m{X}$

i

$i$

x_{i}^{T}

$\x_i^T$

PCA cherche à résoudre une série de problèmes d'optimisation. Le premier de la séquence est le problème sans contrainte

\begin{array}{ll} maximize & \frac{u^{T} S u}{u^{T} u}, u \in R^{p} . \end{array}

$\begin{array}{ll} \text{maximize} & \frac{\u^T \S \u}{\u^T\u} \;, \u \in \reals^p \> . \end{array}$

Depuis, le problème ci-dessus non contraint est équivalent au problème contraint $\u^T \u = \|\u\|_2^2 = \|\u\| \|\u\|$

\begin{array}{ll} maximize & u^{T} S u \\ subject to & u^{T} u = 1 . \end{array}

$\begin{array}{ll} \text{maximize} & \u^T \S \u \\ \text{subject to} & \u^T \u = 1 \>. \end{array}$

C’est ici que l’algèbre matricielle entre en jeu. Puisque est une matrice semi-définie positive symétrique (par construction!), Il possède une décomposition en valeurs propres de la forme où est un matrice orthogonale (donc ) et est une matrice diagonale avec des entrées non négatives telles que . $\S$

S = Q Λ Q^{T},

$\S = \Q \L \Q^T \>,$

Q

$\Q$

Q Q^{T} = I

$\Q \Q^T = \m{I}$

Λ

$\L$

λ_{i}

$\lambda_i$

λ_{1} \geq λ_{2} \geq \dots \geq λ_{p} \geq 0

$\lambda_1 \geq \lambda_2 \geq \cdots \geq \lambda_p \geq 0$

Par conséquent, . Puisque est contraint dans le problème à avoir une norme de un, alors il en est de même de puisque , en vertu de étant orthogonal. $\u^T \S \u = \u^T \Q \L \Q^T \u = \m{w}^T \L \m{w} = \sum_{i=1}^p \lambda_i w_i^2$ $\u$ $\m{w}$ $\|\m{w}\|_2 = \|\Q^T \u\|_2 = \|\u\|_2 = 1$ $\Q$

Mais, si nous voulons maximiser la quantité sous les contraintes que , le mieux que nous puissions faire est de définissez , c’est-à-dire et pour . $\sum_{i=1}^p \lambda_i w_i^2$ $\sum_{i=1}^p w_i^2 = 1$ $\m{w} = \m{e}_1$ $w_1 = 1$ $w_i = 0$ $i > 1$

Maintenant, en annulant le correspondant , ce que nous recherchions en premier lieu, nous obtenons que où désigne la première colonne de , soit le vecteur propre correspondant à la plus grande valeur propre de . La valeur de la fonction objectif apparaît alors facilement comme étant . $\u$

u^{⋆} = Q e_{1} = q_{1}

$\u^\star = \Q \m{e}_1 = \m{q}_1$

q_{1}

$\m{q}_1$

Q

$\Q$

S

$\S$

λ_{1}

$\lambda_1$

Les vecteurs de composantes principales restants sont ensuite trouvés en résolvant la séquence (indexée par ) des problèmes d'optimisation Le problème est donc le même, sauf que nous ajoutons la contrainte supplémentaire selon laquelle la solution doit être orthogonale à toutes les solutions précédentes de la séquence. Il est difficile de ne pas étendre l'argument ci - dessus pour montrer que inductivement la solution du e problème est, en effet, , le ème vecteur propre de . $i$

\begin{array}{ll} maximize & u_{i}^{T} S u_{i} \\ subject to & u_{i}^{T} u_{i} = 1 \\ u_{i}^{T} u_{j} = 0 \forall 1 \leq j < i . \end{array}

$\begin{array}{ll} \text{maximize} & \u_i^T \S \u_i \\ \text{subject to} & \u_i^T \u_i = 1 \\ & \u_i^T \u_j = 0 \quad \forall 1 \leq j < i\>. \end{array}$

i

$i$

q_{i}

$\m{q}_i$

i

$i$

S

$\S$

La solution PCA est également souvent exprimée en termes de décomposition en valeurs singulières de . Pour voir pourquoi, laissez . Alors et ainsi de suite (à proprement parler, jusqu’à signer se retourne) et . $\m{X}$ $\m{X} = \m{U} \m{D} \m{V}^T$ $n \S = \m{X}^T \m{X} = \m{V} \m{D}^2 \m{V}^T$ $\m{V} = \m{Q}$ $\L = \m{D}^2 / n$

Les composants principaux sont trouvés en projetant sur les vecteurs des composants principaux. Dans la formulation SVD que nous venons de donner, il est facile de voir que $\m{X}$

X Q = X V = U D V^{T} V = U D .

$\m{X} \m{Q} = \m{X} \m{V} = \m{U} \m{D} \m{V}^T \m{V} = \m{U} \m{D} \> .$

La simplicité de la représentation des vecteurs de la composante principale et des composantes principales elles-mêmes en termes de SVD de la matrice de caractéristiques est l'une des raisons pour lesquelles la SVD est si bien en évidence dans certains traitements de PCA.

— cardinal
source

Si seuls les premiers valeurs / vecteurs singuliers sont nécessaires, Nash et Shlien proposent un algorithme rappelant la méthode de la puissance habituelle pour calculer les valeurs propres dominantes. Cela pourrait intéresser le PO.

— JM n'est pas statisticien

@NRH, Merci d'avoir attrapé (et corrigé) mes fautes de frappe avant que je réussisse à les voir!

— cardinal

Bonjour @ cardinal, merci pour votre réponse. Mais il semble que vous n'ayez pas voulu démontrer pourquoi l'optimisation séquentielle conduit à un optimum global. Pourriez-vous élaborer, s'il vous plaît? Merci!

— Lifu Huang

La solution présentée par cardinal se concentre sur la matrice de covariance de l’échantillon. Un autre point de départ est l’ erreur de reconstruction des données par un hyperplan à q dimensions. Si les points de données à dimensions p sont l’objectif est de résoudre $x_1, \ldots, x_n$

min_{μ, λ_{1}, \dots, λ_{n}, V_{q}} \sum_{i = 1}^{n} | | x_{i} - μ - V_{q} λ_{i} | |^{2}

$\min_{\mu, \lambda_1,\ldots, \lambda_n, \mathbf{V}_q} \sum_{i=1}^n ||x_i - \mu - \mathbf{V}_q \lambda_i||^2$

pour une matrice avec des colonnes orthonormales et . Ceci donne le meilleur classement q -reconstruction tel que mesuré par la norme euclidienne, et les colonnes de la solution sont les q premiers vecteurs de composantes principales. $p \times q$ $\mathbf{V}_q$ $\lambda_i \in \mathbb{R}^q$ $\mathbf{V}_q$

Pour la solution pour et (il s’agit d’une régression) est $\mathbf{V}_q$ $\mu$ $\lambda_i$

μ = \bar{x} = \frac{1}{n} \sum_{i = 1}^{n} x_{i} λ_{i} = V_{q}^{T} (x_{i} - \bar{x})

$\mu = \overline{x} = \frac{1}{n}\sum_{i=1}^n x_i \qquad \lambda_i = \mathbf{V}_q^T(x_i - \overline{x})$

Pour faciliter la notation, supposons que ait été centré dans les calculs suivants. Nous devons ensuite minimiser $x_i$

\sum_{i = 1}^{n} | | x_{i} - V_{q} V_{q}^{T} x_{i} | |^{2}

$\sum_{i=1}^n ||x_i - \mathbf{V}_q\mathbf{V}_q^T x_i||^2$

sur avec des colonnes orthonormées. Notez que est la projection sur l' espace de colonne de dimension q . Le problème est donc équivalent à minimiser sur le rang q projections . C’est-à-dire que nous devons maximiser sur le rang q des projections , où est l'exemple de matrice de covariance. À présent $\mathbf{V}_q$ $P = \mathbf{V}_q\mathbf{V}_q^T$

\sum_{i = 1}^{n} | | x_{i} - P x_{i} | |^{2} = \sum_{i = 1}^{n} | | x_{i} | |^{2} - \sum_{i = 1}^{n} | | P x_{i} | |^{2}

$\sum_{i=1}^n ||x_i - P x_i||^2 = \sum_{i=1}^n ||x_i||^2 - \sum_{i=1}^n||Px_i||^2$

P

$P$

\sum_{i = 1}^{n} | | P x_{i} | |^{2} = \sum_{i = 1}^{n} x_{i}^{T} P x_{i} = tr (P \sum_{i = 1}^{n} x_{i} x_{i}^{T}) = n tr (P S)

$\sum_{i=1}^n||Px_i||^2 = \sum_{i=1}^n x_i^TPx_i = \text{tr}(P \sum_{i=1}^n x_i x_i^T) = n \text{tr}(P \mathbf{S})$

P

$P$

S

$\mathbf{S}$

tr (P S) = tr (V_{q}^{T} S V_{q}) = \sum_{i = 1}^{q} u_{i}^{T} S u_{i}

$\text{tr}(P\mathbf{S}) = \text{tr}(\mathbf{V}_q^T\mathbf{S}\mathbf{V}_q) = \sum_{i=1}^q u_i^T \mathbf{S} u_i$ où sont les colonnes (orthonormées) dans , et les arguments présentés dans la réponse de @ cardinal montrent que le maximum est obtenu en prenant ' s pour être vecteurs propres avec les plus grandes valeurs propres.

u_{1}, \dots, u_{q}

$u_1, \ldots, u_q$

q

$q$

V_{q}

$\mathbf{V}_q$

u_{i}

$u_i$

q

$q$

S

$\mathbf{S}$

q

$q$

L'erreur de reconstruction suggère un certain nombre de généralisations utiles, par exemple des composantes principales éparses ou des reconstructions par des variétés de faible dimension plutôt que des hyperplans. Pour plus de détails, voir la section 14.5 dans Les éléments de l’apprentissage statistique .

— NRH
source

(+1) Bons points. Quelques suggestions: Il serait bon de définir et ce serait vraiment bien de donner une courte preuve du résultat. Ou, alternativement, il peut être connecté au problème d'optimisation impliquant des quotients de Rayleight. Je pense que cela rendrait les réponses à cette question très complètes!

λ_{i}

$\lambda_i$

— cardinal

@ Cardinal, je crois avoir achevé les étapes manquantes pour passer de la formulation de la reconstruction au problème que vous résolvez.

— NRH

Bon travail. Je crois que la dernière lacune est dans votre dernière déclaration. Il n'est pas immédiatement évident que l'optimisation de la somme est la même chose que l'exécution de la séquence d'optimisations dans ma réponse. En fait, je ne pense pas que cela découle directement, en général. Mais, il ne faut pas non plus en parler ici.

— cardinal

@ cardinal, il s'ensuit par induction. Vous indiquez le début de l'induction et dans l'étape d'induction, choisissez les vecteurs orthonormaux qui maximisent la somme et organisez-les de sorte que soit un vecteur unitaire orthogonal à . Ensuite, par vos résultats, et par l'hypothèse d'induction . Bien entendu, la base n'est pas une base unique pour l' espace dimensionnel. Vous pouvez également généraliser "l'argument de combinaison convexe" que vous utilisez pour donner une preuve directe.

w_{1}, \dots, w_{q}

$w_1, \ldots, w_q$

w_{q}

$w_q$

u_{1}, \dots, u_{q - 1}

$u_1, \ldots, u_{q-1}$

w_{q}^{T} S w_{q} \leq u_{q}^{T} S u_{q}

$w_q^T \mathbf{S} w_q \leq u_q^T \mathbf{S} u_q$

\sum_{i = 1}^{q - 1} w_{i}^{T} S w_{i} \leq \sum_{i = 1}^{q - 1} u_{i}^{T} S u_{i}

$\sum_{i=1}^{q-1} w_i^T \mathbf{S} w_i \leq \sum_{i=1}^{q-1}u_i^T \mathbf{S} u_i$

q

$q$

— NRH

@ cardinal, je ne force pas une imbrication, j'utilise simplement une considération de dimension. Si nous avons un sous-espace dimensionnel, vous pouvez toujours choisir dans cet espace, de sorte qu'il soit orthogonal à un sous-espace -dimensionnel. Ensuite, vous remplissez le -basis comme vous le souhaitez.

q

$q$

w_{q}

$w_q$

(q - 1)

$(q-1)$

w

$w$

— NRH

Voir NIPALS ( wiki ) pour un algorithme qui n'utilise pas explicitement une décomposition matricielle. Je suppose que c'est ce que vous voulez dire quand vous dites que vous voulez éviter l'algèbre matricielle puisque vous ne pouvez vraiment pas éviter l'algèbre matricielle ici :)

— JMS
source