Articles essentiels sur les décompositions matricielles

18

J'ai récemment lu le livre de Skillicorn sur les décompositions matricielles et j'ai été un peu déçu, car il était destiné à un public de premier cycle. Je voudrais compiler (pour moi et pour les autres) une courte bibliographie des articles essentiels (enquêtes, mais aussi des articles révolutionnaires) sur les décompositions matricielles. Ce que je pense principalement, c'est quelque chose sur SVD / PCA (et les variantes robustes / clairsemées) et NNMF, car ce sont de loin les plus utilisés. Avez-vous tous des recommandations / suggestions? Je retiens la mienne pour ne pas biaiser les réponses. Je demanderais de limiter chaque réponse à 2-3 articles.

PS: Je considère ces deux décompositions comme les plus utilisées dans l'analyse des données . Bien sûr, QR, Cholesky, LU et polaire sont très importants dans l'analyse numérique. Ce n'est cependant pas l'objet de ma question.

matrix-decomposition svd numerics

— gappy
source

16

Comment savez-vous que SVD et NMF sont de loin les décompositions matricielles les plus utilisées plutôt que LU, Cholesky et QR? Ma «percée» préférée devrait être l'algorithme QR révélateur de rang garanti,

Chan, Tony F. "Rang révélant les factorisations QR". Algèbre linéaire et ses volumes d' applications 88-89, avril 1987, pages 67-82. DOI: 10.1016 / 0024-3795 (87) 90103-0

... un développement de l'idée antérieure de QR avec pivotement de colonne:

Businger, Peter; Golub, Gene H. (1965). Solutions de moindres carrés linéaires par transformations de Householder. Numerische Mathematik Volume 7, Numéro 3, 269-276, DOI: 10.1007 / BF01436084

Un ( le ?) Manuel classique est:

Golub, Gene H .; Van Loan, Charles F. (1996). Matrix Computations (3e éd.), Johns Hopkins, ISBN 978-0-8018-5414-9 .

(Je sais que tu n'as pas demandé de manuels mais je ne peux pas résister)

Edit: Un peu plus googler trouve un papier dont le résumé suggère que nous pourrions être légèrement au niveau des marsouins croisés. Mon texte ci-dessus venait d'une perspective d '«algèbre linéaire numérique» (NLA); vous êtes peut-être plus préoccupé par une perspective de «statistiques appliquées / psychométrie» (AS / P)? Pourriez-vous peut-être clarifier?

Lawrence Hubert, Jacqueline Meulman et Willem Heiser. Deux objectifs de la factorisation matricielle: une évaluation historique. Revue SIAM Vol. 42, n ° 1 (mars 2000), pp. 68-82

— onestop
source

2

Je dirais moi-même "le" manuel, avec les algorithmes matriciels de Stewart (les deux parties ) juste derrière. Je donnerais moi-même une liste des articles pionniers, mais le PO devrait vraiment expliquer s'il veut le point de vue numérique ou le point de vue statistique (je peux aider avec le premier, mais pas tant avec le second).

— JM n'est pas statisticien

1

+1 pour Golub et Van Loan. Et, oui, l'article définitif est approprié.

— shabbychef

2

J'ai modifié ma question pour préciser que je me concentre sur la partie statistique. Je suis d'accord avec tout le monde que Golub et Van Loan sont la référence standard pour les décompositions matricielles. Mais il omet le sujet de la décomposition à très grande échelle par des projections aléatoires. Un article d'enquête que je mettrais dans ma liste est «Trouver une structure avec un caractère aléatoire: algorithmes stochastiques pour construire des décompositions matricielles approximatives» par Halko et al.

— gappy

4

Pour NNMF, Lee et Seung décrivent un algorithme itératif très simple à mettre en œuvre. En fait, ils donnent deux algorithmes similaires, l'un pour minimiser la norme de Frobenius des résidus, l'autre pour minimiser la divergence de Kullback-Leibler de l'approximation et de la matrice d'origine.

Daniel Lee, H. Sebastian Seung, Algorithms for Non-negative Matrix Factorization, Advances in Neural Information Processing Systems 13: Proceedings of the 2000 Conference. MIT Appuyez sur. pp. 556–562.

— shabbychef
source

3

Peut-être que vous pouvez trouver intéressant

[Apprendre avec les factorisations matricielles] Thèse de doctorat de Nathan Srebro,
[Recherche de diverses méthodes de factorisation matricielle pour les grands systèmes de recommandation] , Gábor Takács et.al. et presque la même technique décrite ici

Les deux derniers liens montrent comment les factorisations à matrice clairsemée sont utilisées dans le filtrage collaboratif. Cependant, je pense que les algorithmes de factorisation de type SGD peuvent être utiles ailleurs (au moins, ils sont extrêmement faciles à coder)

— bijey
source

2

Witten, Tibshirani - Décomposition de matrice pénalisée

http://www.biostat.washington.edu/~dwitten/Papers/pmd.pdf

http://cran.r-project.org/web/packages/PMA/index.html

Martinsson, Rokhlin, Szlam, Tygert - SVD randomisé

http://cims.nyu.edu/~tygert/software.html

http://cims.nyu.edu/~tygert/blanczos.pdf

— 3 tours
source

5

Merci. Je connais les deux papiers. Je ne suis pas un grand fan de Witten [pas Whitten] et al., Car je pense qu'il y a des articles plus importants sur les décompositions clairsemées. Concernant la SVD randomisée, j'aime particulièrement l'article de synthèse "Finding structure with randomness: Algorithmes stochastiques pour construire des décompositions matricielles approximatives" ( arxiv.org/abs/0909.4061 ) également co- écrit par Martinsson.

— gappy

je suis d'accord. je mettais juste là deux papiers que personne n'avait mentionnés.

— pslice

2

Au NIPS de cette année, il y avait un court article sur les SVD distribués à très grande échelle qui fonctionne en un seul passage sur une matrice d'entrée en streaming .

Le document est plus orienté vers l'implémentation, mais met les choses en perspective avec de vraies heures d'horloge murale et tout. Le tableau du début est également une bonne enquête.

— pisk
source

Que signifie NIPS?

— arrêt

Lien @onestop ajouté. NIPS = Neural Information Processing Systems. C'est une communauté (pas un système :)). Mais pisk parle de la conférence NIPS 2010.

— robin girard