Qu'est-ce que le «partiel» dans les méthodes des moindres carrés partiels?

Dans la régression des moindres carrés partiels (PLSR) ou la modélisation des équations structurelles des moindres carrés partiels (PLS-SEM), à quoi fait référence le terme "partiel"?

Je voudrais répondre à cette question, largement basée sur la perspective historique , qui est assez intéressante. Herman Wold, qui a inventé l' approche des moindres carrés partiels (PLS) , n'a pas commencé à utiliser le terme PLS (ou même à mentionner le terme partiel ) tout de suite. Au cours de la période initiale (1966-1969), il a appelé cette approche NILES - abréviation du terme et du titre de son article initial sur ce sujet Estimation non linéaire par procédures itératives des moindres carrés , publié en 1966.

Comme nous pouvons le voir, les procédures qui seront appelées plus tard partielles ont été appelées itératives , en se concentrant sur la nature itérative de la procédure d'estimation des poids et des variables latentes (LV). Le terme «moindres carrés» provient de l'utilisation de la régression des moindres carrés ordinaires (OLS) pour estimer d'autres paramètres inconnus d'un modèle (Wold, 1980). Il semble que le terme «partiel» trouve ses racines dans les procédures NILES, qui ont mis en œuvre «l'idée de diviser les paramètres d'un modèle en sous-ensembles afin qu'ils puissent être estimés en parties» (Sanchez, 2013, p. 216; je souligne) .

La première utilisation du terme PLS a eu lieu dans les procédures d'estimation des moindres carrés partiels itératifs non linéaires (NIPALS) , dont la publication marque la prochaine période de l'histoire du PLS - la période de modélisation NIPALS . Les années 1970 et 1980 deviennent la période de la modélisation douce , lorsque, influencé par l'approche LISREL de Karl Joreskog à SEM, Wold transforme l'approche NIPALS en modélisation douce, qui a essentiellement formé le cœur de l'approche PLS moderne (le terme PLS devient courant à la fin des années 1970 ). Les années 1990, la prochaine période de l'histoire du PLS, que Sanchez (2013) appelle la période «gap», est marquée en grande partie par la diminution de son utilisation. Heureusement, à partir des années 2000 ( période de consolidation), PLS a connu son retour en tant qu'approche très populaire de l'analyse SEM, notamment en sciences sociales.

MISE À JOUR (en réponse au commentaire de l'amibe):

• Peut-être que le libellé de Sanchez n'est pas idéal dans la phrase que j'ai citée. Je pense que "estimé en parties" s'applique aux blocs latents de variables. Wold (1980) décrit le concept en détail.
• Vous avez raison, NIPALS a été initialement développé pour PCA. La confusion vient du fait qu'il existe à la fois des approches PLS linéaires et PLS non linéaires. Je pense que Rosipal (2011) explique très bien les différences (du moins, c'est la meilleure explication que j'ai vue jusqu'à présent).

MISE À JOUR 2 (clarification supplémentaire):

En réponse aux préoccupations exprimées dans la réponse de l'amibe, je voudrais clarifier certaines choses. Il me semble qu'il faut distinguer l'usage du mot "partiel" entre NIPALS et PLS. Cela crée deux questions distinctes concernant 1) le sens de "partiel" dans NIPALS et 2) le sens de "partiel" dans PLS (c'est la question originale de Phil2014). Bien que je ne sois pas sûr de la première, je peux apporter des éclaircissements sur la seconde.

Selon Wold, Sjöström et Eriksson (2001),

Le "partiel" dans PLS indique qu'il s'agit d'une régression partielle, car ...

En d'autres termes, "partiel" découle du fait que la décomposition des données par l'algorithme NIPALS pour PLS peut ne pas inclure tous les composants , donc "partielle". Je soupçonne que la même raison s'applique aux NIPALS en général, s'il est possible d'utiliser l'algorithme sur des données "partielles". Cela expliquerait "P" dans NIPALS.

En termes d'utilisation du mot "non linéaire" dans la définition NIPALS (ne pas confondre avec le PLS non linéaire , qui représente une variante non linéaire de l'approche PLS!), Je pense qu'il ne fait pas référence à l' algorithme lui - même , mais aux modèles non linéaires , qui peuvent être analysé, en utilisant NIPALS basé sur la régression linéaire.

MISE À JOUR 3 (explication d'Herman Wold):

Alors que l'article de Herman Wold de 1969 semble être le premier article sur NIPALS, j'ai réussi à trouver un autre des premiers articles sur ce sujet. Il s'agit d'un article de Wold (1974), où le «père» de PLS présente sa justification pour utiliser le mot «partiel» dans la définition de NIPALS (p. 71):

3.1.4. Estimation NIPALS: OLS itératif. Si une ou plusieurs variables du modèle sont latentes, les relations prédictives impliquent non seulement des paramètres inconnus, mais également des variables inconnues, ce qui fait que le problème d'estimation devient non linéaire. Comme indiqué en 3.1 (iii), NIPALS résout ce problème par une procédure itérative, disons avec les étapes s = 1, 2, ... Chaque étape s implique un nombre fini de régressions OLS, une pour chaque relation prédictive du modèle. Chacun de ces régression donne des estimations proxy pour un sous-ensemble des paramètres et des variables latentes inconnues ( d' où le nom partielle des moindres carrés), et ces estimations proxy sont utilisés dans l'étape suivante de la procédure pour le calcul de nouvelles estimations de proxy.

Les références

Rosipal, R. (2011). Moindres carrés partiels non linéaires: un aperçu. Dans Lodhi H.et Yamanishi Y. (Eds.), Chemoinformatics and Advanced Machine Learning Perspectives: Complex Computational Methods and Collaborative Techniques , pp. 169-189. ACCM, IGI Global. Récupéré de http://aiolos.um.savba.sk/~roman/Papers/npls_book11.pdf

Sanchez, G. (2013). Modélisation de chemin PLS avec R. Berkeley, CA: Trowchez Editions. Récupéré de http://gastonsanchez.com/PLS_Path_Modeling_with_R.pdf

Wold, H. (1974). Flux causaux à variables latentes: séparations des voies à la lumière de la modélisation NIPALS. Revue économique européenne, 5 , 67-86. Éditions Hollande du Nord.

Wold, H. (1980). Construction et évaluation de modèles lorsque les connaissances théoriques sont rares: théorie et applications des moindres carrés partiels. Dans J. Kmenta et JB Ramsey (éd.), Evaluation of économetric models , pp. 47-74. New York: Academic Press. Extrait de http://www.nber.org/chapters/c11693

Wold, S., Sjöström, M. et Eriksson, L. (2001). PLS-régression: Un outil de base de la chimiométrie. Chemometrics and Intelligent Laboratory Systems, 58 , 109-130. doi: 10.1016 / S0169-7439 (01) 00155-1 Extrait de http://www.libpls.net/publication/PLS_basic_2001.pdf

$X$$Y$

Cependant, historiquement, comme @Aleksandr l'explique bien (+1), PLS a été introduit par Wold qui a utilisé son algorithme NIPALS pour l'implémenter; NIPALS signifie "moindres carrés partiels itératifs non linéaires", donc évidemment P dans PLS vient d'arriver de NIPALS.

$\newcommand{\X}{\mathbf X}\X$$\newcommand{\v}{\mathbf v}\v$$\newcommand{\p}{\mathbf p}\p$$\v$$\p$

1. $\v = \X^\top \p (\p^\top \p)^{-1}$
2. $\|\v\|$$1$
3. $\p = \X \v (\v^\top \v)^{-1}$

$\v$$\p$$\X$

(Pourquoi il l'a appelé "non linéaire", je ne comprends toujours pas.)

Ce terme est remarquablement trompeur, car s'il est "partiel", alors chaque algorithme de maximisation des attentes est également "partiel" (en fait, NIPALS peut être considéré comme une forme primitive de SE, voir Roweis 1998 ). Je pense que PLS est un bon candidat pour le concours Le terme le plus trompeur en apprentissage automatique. Hélas, il est peu probable que cela change, malgré les efforts de Wold Jr. (voir le commentaire de @ Momo ci-dessus).