Quand utiliseriez-vous PCA plutôt que LDA dans la classification?

10

Je lis cet article sur la différence entre l'analyse en composantes principales et l'analyse discriminante multiple (analyse discriminante linéaire), et j'essaie de comprendre pourquoi vous utiliseriez jamais PCA plutôt que MDA / LDA.

L'explication est résumée comme suit:

En gros, dans PCA, nous essayons de trouver les axes avec les variances maximales où les données sont les plus réparties (au sein d'une classe, car PCA traite l'ensemble de données comme une seule classe), et dans MDA, nous maximisons en outre la répartition entre les classes.

Ne voudriez-vous pas toujours à la fois maximiser la variance et maximiser la répartition entre les classes?

— chris
source

1

désolé, je voulais dire l'analyse discriminante multiple qui semble aussi être appelée analyse discriminante linéaire multiple

— chris

1

Vous devriez clarifier votre question, car à partir de maintenant, c'est trivial: vous devriez préférer PCA à MDA lorsqu'il n'y a pas de classes à discriminer dans vos données. Je pense que vous devriez préciser qu'il s'agit de classification dans la question.

— Firebug

1

LDA est un terme beaucoup plus courant que MDA. Il n'est pas nécessaire de dire "multiple linéaire", "linéaire" suffit.

— amoeba

11

Il vous manque quelque chose de plus profond: l'ACP n'est pas une méthode de classification.

L'ACP dans l'apprentissage automatique est traitée comme une méthode d'ingénierie des fonctionnalités. Lorsque vous appliquez PCA à vos données, vous garantissez qu'il n'y aura aucune corrélation entre les fonctionnalités résultantes. De nombreux algorithmes de classification en bénéficient.

Vous devez toujours garder à l'esprit que les algorithmes peuvent avoir des hypothèses sur les données, et si ces hypothèses ne tiennent pas, elles peuvent sous-performer.

LDA doit calculer une inversion de matrice de covariance pour projeter les données (vérifiez ces fils et réponses: faut- il effectuer l'ACP avant de procéder à la classification? Et est -il judicieux de combiner l'ACP et l'ADL? ). Si vous avez peu de données, cela est instable et vous obtenez des projections surajustées vers vos points de données, c'est-à-dire une matrice de covariance intra-classe unique. L'ACP est généralement utilisée pour éviter cela, ce qui réduit la dimension du problème.

La réponse est donc que vous n'utilisez jamais PCA pour effectuer la classification, mais vous pouvez l'utiliser pour essayer d'améliorer les performances de LDA.

— Pyromane
source

7

Alors que la réponse précédente de Firebug est correcte, je veux ajouter une autre perspective:

Apprentissage non supervisé ou supervisé:

LDA est très utile pour trouver des dimensions qui visent à séparer un cluster, vous devrez donc connaître les clusters avant. LDA n'est pas nécessairement un classificateur, mais peut être utilisé comme tel. Ainsi, le LDA ne peut être utilisé que dans un apprentissage supervisé

L'ACP est une approche générale pour le débruitage et la réduction de la dimensionnalité et ne nécessite pas d'informations supplémentaires telles que les étiquettes de classe dans l'apprentissage supervisé. Par conséquent, il peut être utilisé dans un apprentissage non supervisé.

— Nikolas Rieble
source

2

+1, spécialement pour LDA is not neccesarily a classifier. Un lecteur (l'OP aussi) est également recommandé de lire cette question connexe: comment LDA, une technique de classification, sert également de technique de réduction de dimensionnalité comme l'APC .

— ttnphns

et les réponses ici comparent les sorties et les tracés de LDA et PCA comme faibles. réductions.

— ttnphns

(+1) LDA est vraiment une technique de réduction de dimension, une généralisation du discriminant linéaire de Fisher, que les gens considèrent généralement comme un critère de classification.

— Firebug

2

LDA est utilisé pour découper l'espace multidimensionnel.

PCA est utilisé pour réduire l'espace multidimensionnel.

Par exemple: les objets 3D projettent des ombres 2D. L'ACP nous permet souvent de réduire des centaines de dimensions spatiales en une poignée de dimensions spatiales inférieures tout en préservant 70% à 90% des informations importantes.

Juste comment je peux voir la taille et la forme de votre main depuis son ombre. Je ne peux pas tout vous dire sur la forme de votre main. Mais en ayant une collection de 3 ou 4 ombres sous des angles connus optimaux. Ensuite, je pourrais vous dire la plupart des choses sur la taille et la forme de la main.

— Brad
source