Qu'est-ce qui est ordinaire, dans les moindres carrés ordinaires?

Un de mes amis a récemment demandé ce qui était si ordinaire, à propos des moindres carrés ordinaires. Nous ne semblions aller nulle part dans la discussion. Nous avons tous deux convenu que l'OLS est un cas particulier du modèle linéaire, qu'il a de nombreuses utilisations, est bien connu et est un cas particulier de nombreux autres modèles. Mais est-ce vraiment tout?

Je voudrais donc savoir:

D'où vient vraiment ce nom?
Qui a été le premier à utiliser le nom?

— Repmat
source

C'est ordinaire car il existe maintenant d'autres variantes. Pondéré. Robuste. non linéaire. ... L'ordinaire est la façon de l'empêcher d'être confondu avec autre chose.

— EngrStudent

Comme une supposition OLS est probablement le premier algorithme d'ajustement numérique développé vers 1805 AD . Le nom ordinaire a probablement été ajouté après l'élaboration de variations sur le thème.

— Carl

Les moindres carrés en sont souvent appelés moindres carrés ordinaires (OLS) car il s'agit de la toute première procédure statistique à être développée vers 1800, voir l'histoire . Cela revient à minimiser la norme , . Par la suite, moindres carrés pondérés, minimisation d'autres normes (par exemple, ), moindres carrés généralisés , estimation M , minimisation bivariée (par exemple, régression de Deming), régression non paramétrique, régression du maximum de vraisemblance, régularisation (par exemple, Tikhonov, crête) et d'autres techniques de problèmes inverses et plusieurs autres outils ont été développés. Il y a encore une controverse sur qui l'a appliqué en premier, Gauss ou Legendre (voir $y$ $L_2$ $||Y-f(X)||_2$ $L_1$ lien ). Le terme "ordinaire" (impliquant en ) n'a évidemment été ajouté aux "moindres carrés" qu'après l'apparition de tant de méthodes alternatives que l'OLS (toujours le plus populaire) devait être différencié de la pléthore d'autres minimisations devenues disponibles. Lors de l'ajout exact d' ordinaires moindres carrés, il serait difficile de retracer, car cela s'est produit lorsqu'il est devenu naturel ou évident de le faire. $y$ $+$

— Carl
source

Vous pouvez également opposer OLS à WLS, les moindres carrés pondérés, ce qui minimise les carrés pondérés.

— AdamO

C'est en fait déjà quelque part sous d'autres normes, par exempleest pondéré.

| | 1 - \frac{Y}{f (x)} | |

$||1-\frac{Y}{f(x)}||$

— Carl

C'est une vieille question, si je me souviens bien, j'étais vraiment intéressé (à l'époque) à savoir qui avait utilisé le terme OLS pour la première fois ... Je suppose que je ne saurai jamais ... Bonne réponse tho +1

— Repmat

Je n'ai jamais entendu de "moindres carrés" utilisés pour décrire la minimisation qui n'est pas une norme . (Notez que les "normes énergétiques" telles que celles utilisées dans la régularisation de Tikhonov ne sont qu'un d'un vecteur transformé.) Un terme plus général serait simplement "régression", ou peut-être " estimation M ".

L_{2}

$L_2$

L_{2}

$L_2$

— GeoMatt22

Je suis d'accord avec @AdamO qu'ordinaire vs pondéré * semble le contraste probable. (* Plutôt, "Généralisé" . En science informatique, je pense que cela serait encore juste appelé pondéré? Pourquoi une matrice de poids devrait-elle être diagonale?)

— GeoMatt22