PCA robuste vs distance Mahalanobis robuste pour la détection des valeurs aberrantes

L'ACP robuste (telle que développée par Candes et al 2009 ou mieux encore Netrepalli et al 2014 ) est une méthode populaire pour la détection des valeurs aberrantes multivariées , mais la distance de Mahalanobis peut également être utilisée pour la détection des valeurs aberrantes étant donné une estimation robuste et régularisée de la matrice de covariance . Je suis curieux de savoir les (dés) avantages d'utiliser une méthode par rapport à l'autre.

Mon intuition me dit que la plus grande distinction entre les deux est la suivante: lorsque l'ensemble de données est "petit" (dans un sens statistique), l'ACP robuste donnera une covariance de rang inférieur tandis que l'estimation de matrice de covariance robuste donnera à la place une pleine- covariance de rang due à la régularisation de Ledoit-Wolf. Comment cela affecte-t-il à son tour la détection des valeurs aberrantes?

— Mustafa S Eisa
source

Question intéressante mais je ne vois pas comment une réponse peut être motivée sans un cas d'utilisation spécifique. Avez-vous des «observations très corrompues» ? Avez-vous des données généralement bruyantes? Un certain nombre d'implémentations de RPCA sont essentiellement des techniques robustes d'estimation de covariance (voir Principe de Jolliffe. Analyse en composantes, Ed. 2nd Ch. 10) où les PC sont estimés à partir de l'estimation régularisée de la covariance. Ainsi, les distinctions entre les deux approches que vous mentionnez sont loin d'être claires. En général, la détection automatique des valeurs aberrantes réussit dans le contexte d'une application particulière.

— usεr11852 dit Réintégrer Monic

Le problème des «données bruyantes» n'est pas la détection des valeurs aberrantes. Je pense que le problème de détection des valeurs aberrantes est suffisamment restrictif en soi pour permettre une comparaison générale entre ces deux méthodes sans cas d'utilisation. C'est une question de méthodologie.

— Mustafa S Eisa

Peut-être que j'ai essayé d'en dire trop dans trop peu d'espace, désolé pour ça. Je voudrais attirer l'attention sur le fait que les deux approches que vous mentionnez ne sont pas distinctes. Vous devriez envisager de vous concentrer davantage sur la comparaison entre une approche de poursuite de projection (ce que vous appelez RPCA) et une approche d'estimation de covariance robuste (ce que vous appelez les distances de Mahalanobis). Une estimation robuste de la covariance est en soi une méthodologie parfaitement valable pour les implémentations RPCA (par exemple, google "PCA M-Estimation"). Sans trop mentionner la présence d'approches PCA pondérées que vous ne mentionnez pas en quelque sorte dans le contexte de RPCA.

— usεr11852 dit Réintégrer Monic

Pas besoin d'excuses :) Les deux méthodes sont très distinctes, en particulier sur les petits ensembles de données. L'une de leurs différences est mentionnée à la fin de ma question. Bien que l'ACP (robuste) puisse être considérée comme un problème de projection, elle peut également être interprétée comme un problème d'estimation de covariance, il y a donc peut-être moins de distinction dans la méthode d'estimation des paramètres que dans l'application et les performances.

— Mustafa S Eisa

@ MustafaSEisa / Belle question! Je pense que l'on peut y répondre pour des raisons méthodologiques: en fait, c'est l'un de mes coups de cœur. Je vais tenter une réponse provisoire dès que possible. Pendant ce temps; Je pense qu'une façon fructueuse de l'aborder en termes plus généraux consiste à examiner les conséquences de l'utilisation de modèles avec un groupe d'invariance imbriqué mais inégal. Comme j'essaie de le faire ici dans un contexte légèrement différent.

— user603

Cet article compare certaines méthodes dans ce domaine. Ils se réfèrent à l'approche Robust PCA à laquelle vous avez lié en tant que «PCP» (poursuite des composantes principales) et à la famille de méthodes à laquelle vous avez lié pour une estimation de covariance robuste en tant que M-estimateurs.

Ils soutiennent que

PCP est conçu pour des coordonnées de données uniformément corrompues, au lieu de points de données corrompus (c'est-à-dire des valeurs aberrantes), par conséquent, la comparaison avec PCP est quelque peu injuste pour ce type de données

et montrent que PCP (aka robust PCA) peut échouer pour la détection des valeurs aberrantes dans certains cas.

Ils parlent également de trois types «d'ennemis de la récupération du sous-espace», c'est-à-dire différents types de valeurs aberrantes, et quels types de méthodes pourraient bien faire face à chacun. La comparaison de vos propres valeurs aberrantes avec les trois types d '"ennemis" discutés ici pourrait vous aider à choisir une approche.

— David J. Harris
source

Merci pour ce David, je vais jeter un œil au journal. Cependant, il existe une version de PCA robuste qui impose une pénalité invariante en rotation sur la donnée (lignes de la matrice de données) au lieu d'une pénalité sur les coordonnées (comme dans le cas Candes). Pensées?

— Mustafa S Eisa

Je ne suis pas sûr de comprendre votre question. Me demandez-vous de comparer les deux approches dont vous avez parlé dans votre question avec une approche PCA robuste différente?

— David J. Harris

ℓ_{1}

$\ell_1$

ℓ_{1}

$\ell_1$

Si votre réponse est «non», c'est très bien, je me demande simplement.

— Mustafa S Eisa

Oh je vois. Serait-ce un cas particulier de la distance de Mahalanobis?

— David J. Harris