Les estimations de régression L1 sont médianes alors que les estimations de régression L2 signifient?

24

On m'a donc posé une question sur laquelle les mesures centrales L1 (c.-à-d. Le lasso) et L2 (c.-à-d. La régression des crêtes) ont été estimées. La réponse est L1 = médiane et L2 = moyenne. Y a-t-il un type de raisonnement intuitif à cela? Ou faut-il le déterminer algébriquement? Si oui, comment dois-je procéder?

— Bstat
source

4

Par L1 / L2, parlez-vous de la fonction objectif ou des contraintes? Si la fonction objective alors oui, l'erreur L1 est minimisée avec la médiane conditionnelle et L2 la moyenne conditionnelle. Si des contraintes (à quoi se réfèrent crête / lasso), alors ce n'est pas la bonne façon d'y penser. Leurs "mesures centrales" visent toujours une moyenne conditionnelle mais avec des sanctions différentes sur .

β

$\beta$

— muratoa

24

Il existe une explication géométrique simple pour expliquer pourquoi la fonction de perte L1 donne la médiane.

Rappelez-vous que nous travaillons dans une seule dimension, alors imaginez une droite numérique s'étalant horizontalement. Tracez chacun des points de données sur la droite numérique. Mettez votre doigt quelque part sur la ligne; votre doigt sera votre estimation actuelle du candidat.

Supposons que vous déplaciez votre doigt un peu vers la droite, par exemple unités vers la droite. Qu'arrive-t-il à la perte totale? Eh bien, si votre doigt était entre deux points de données et que vous le déplacez sur un point de données, vous avez augmenté la perte totale de pour chaque point de données à gauche de votre doigt et diminué de pour chaque donnée pointez vers la droite de votre doigt. Donc, s'il y a plus de points de données à droite de votre doigt qu'il n'y en a à gauche, déplacer votre doigt vers la droite diminue la perte totale. En d'autres termes, si plus de la moitié des points de données se trouvent à droite de votre doigt, vous devez déplacer votre doigt vers la droite. $\delta$ $\delta$ $\delta$

Cela vous amène à déplacer votre doigt vers un endroit où la moitié des points de données se trouvent à cet endroit et la moitié à droite. Cet endroit est la médiane.

C'est L1 et la médiane. Malheureusement, je n'ai pas d'explication similaire, "toute intuition, pas d'algèbre" pour L2 et la moyenne.

— DW
source

7

Si nous parlons d'une simple estimation ponctuelle, il s'agit d'un calcul simple.

\frac{d}{d β} \frac{1}{n} \sum_{i = 1}^{n} (y_{i} - β)^{2} = - 2 \frac{1}{n} \sum_{i = 1}^{n} (y_{i} - β) = 0 \Rightarrow β = \frac{1}{n} \sum_{i} y_{i}

$\frac{d}{d \beta} \frac{1}{n}\sum_{i=1}^n (y_i - \beta)^2 = -2\frac{1}{n}\sum_{i=1}^n(y_i - \beta) = 0 \Rightarrow \beta = \frac{1}{n}\sum_i y_i$

— muratoa

3

@muratoa, oui, je connais la dérivation du calcul, mais la question demande spécifiquement une explication qui se concentre sur l'intuition et évite l'algèbre. Je suppose que le questionneur connaît déjà la dérivation du calcul, mais cherche quelque chose qui fournit plus d'intuition.

— DW

Je pensais que l'OP mentionnait une régression qui suggère qu'il parle de l'estimation de y donnée x qui est une moyenne conditionnelle utilisant les moindres carrés et la médiane conditionnelle pour l'erreur absolue moyenne. Les mêmes explications devraient fonctionner mais le problème est un peu différent. L'explication du calcul de la moyenne est assez claire et simple. Peut-être qu'une explication de la moyenne peut être donnée de la même manière que les DW pour la médiane. La moyenne de l'échantillon est une estimation non biaisée de la moyenne de la population.

— Michael R. Chernick

Lorsque vous éloignez l'estimation de la moyenne de l'échantillon, l'erreur quadratique moyenne change en raison d'une augmentation du biais. L'erreur quadratique moyenne augmente en fait de d

lorsque l'estimation ajoute d à la moyenne de l'échantillon comme estimation candidate.

^{2}

$^2$

— Michael R. Chernick

11

Une version rapide et sale de l'algèbre donnée par muratoa existe pour le cas L1. Remarquez que sauf lorsque

, la dérivée de

wrt

est

, soit

si

et

si

. Alors

β = y_{i}

$\beta = y_i$

| y_{i} - β |

$| y_i -\beta |$

β

$\beta$

- s g n (y_{i} - β)

$-\mathrm{sgn}(y_i-\beta)$

- 1

$-1$

β < y_{i}

$\beta < y_i$

+ 1

$+1$

β > y_{i}

$\beta > y_i$

, sauf lorsque

est un

. La dérivée disparaît lorsqu'il y a le même nombre de termes positifs et négatifs parmi les

, ce qui se produit grosso modo lorsque

est la médiane des

.

\frac{d}{d β} \frac{1}{n} \sum_{i} | y_{i} - β | = - \frac{1}{n} \sum_{i} s g n (y_{i} - β)

$\frac{\mathrm{d}}{\mathrm{d}\beta} \,\frac{1}{n}\sum_i | y_i -\beta | = -\frac{1}{n}\,\sum_i \mathrm{sgn}(y_i-\beta)$

β

$\beta$

y_{i}

$y_i$

y_{i} - β

$y_i-\beta$

β

$\beta$

y_{i}

$y_i$

— Yves

17

Cette explication est un résumé du muratoa et des commentaires d'Yves sur la réponse de DW. Bien qu'il soit basé sur le calcul, je l'ai trouvé simple et facile à comprendre.

En supposant que nous avons et vouloir obtenir une nouvelle estimation basée sur eux. La plus petite perte est obtenue lorsque l'on trouve qui rend la dérivée de la perte à zéro. $y_1, y_2, ... y_k$ $\beta$ $\beta$

Perte L1

L 1 = \frac{1}{k} \sum_{i = 1}^{k} | y_{i} - β |

$L1=\frac{1}{k}\sum_{i=1}^k|y_i-\beta|$

vaut 1 lorsque

, -1 lorsque

. La dérivée est égale à 0 lorsqu'il y a le même nombre de termes positifs et négatifs parmi les

, ce qui signifie que

devrait être la médiane de

.

\frac{\partial L_{1}}{\partial β} = - \frac{1}{k} \sum_{je = 1}^{k} s g n (y_{je} - β)

$\frac{\partial L_1}{\partial\beta}=-\frac{1}{k}\sum_{i=1}^k sgn(y_i-\beta)$

s g n (y_{i} - β)

$sgn(y_i-\beta)$

y_{i} > β

$y_i>\beta$

y_{i} < β

$y_i<\beta$

y_{i} - β

$y_i-\beta$

β

$\beta$

y_{i}

$y_i$

Perte de L2

L 2 = \frac{1}{k} \sum_{je = 1}^{k} (y_{je} - β)^{2}

$L2=\frac{1}{k}\sum_{i=1}^k(y_i-\beta)^2$

\frac{\partial L_{2}}{\partial β} = - \frac{2}{k} \sum_{je = 1}^{k} (y_{je} - β)

$\frac{\partial L_2}{\partial\beta}=-\frac{2}{k}\sum_{i=1}^k(y_i-\beta)$

\frac{\partial L_{2}}{\partial β} = 0 \to β = \frac{1}{k} \sum_{je = 1}^{k} y_{je}

$\frac{\partial L_2}{\partial\beta}=0\rightarrow\beta=\frac{1}{k}\sum_{i=1}^k y_i$

β

$\beta$

y_{i}

$y_i$

— chefwen
source

3

Ajout à la réponse de DW avec un exemple encore plus pratique (pour la fonction de perte L2 également):

Imaginez un petit village composé de 4 maisons proches les unes des autres (par exemple 10 mètres). A 1 kilomètre de ceux-ci, vous avez une autre maison très isolée. Maintenant, vous arrivez dans cette ville et souhaitez construire votre propre maison quelque part. Vous voulez vivre près des autres maisons et être ami avec tout le monde. Considérez ces deux scénarios alternatifs:

Vous décidez d'être à l'endroit où la distance moyenne à n'importe quelle maison est la plus petite (c'est-à-dire en minimisant une fonction de perte L1).
- Si vous placez votre maison au centre du village, vous serez à environ 10 mètres de 4 maisons et à 1 kilomètre d'une maison, ce qui vous donne une distance moyenne d'environ 200 mètres (10 + 10 + 10 + 10 + 1000 / 5).
- Si vous placez votre maison à 500 mètres du village, vous serez à environ 500 mètres de 5 maisons, ce qui vous donne une distance moyenne de 500 mètres.
- Si vous placez votre maison à côté de la maison isolée, vous serez à 1 km du village (4 maisons) et à environ 10 mètres d'une maison, ce qui vous donne une distance moyenne d'environ 800 mètres.
Ainsi, la distance moyenne la plus basse de 100 mètres est atteinte en construisant votre maison dans le village. Plus précisément, vous construirez votre maison au milieu de ces 4 maisons pour gagner encore quelques mètres de distance moyenne. Et il s'avère que ce point est le " point médian ", que vous auriez obtenu de la même manière en utilisant la formule médiane.
Vous décidez d'adopter une approche démocratique. Vous demandez à chacun de vos cinq futurs voisins leur emplacement préféré pour votre nouvelle maison. Ils vous aiment tous et veulent que vous viviez près d'eux. Donc, ils indiquent tous que leur emplacement préféré est l'endroit juste à côté de leur propre maison. Vous prenez la moyenne de tous les lieux votés de vos cinq voisins, et le résultat est "à 200 mètres du village" (moyenne des votes: 0 + 0 + 0 + 0 + 1000/5 = 200), qui est le " point moyen " des 5 maisons, que vous auriez obtenu de la même façon en utilisant la formule moyenne. Et cet emplacement se révèle être exactement le même qui minimise la somme des distances au carré (c'est-à-dire la fonction de perte L2). Faisons juste le calcul pour le voir:
- À cet emplacement, la somme des distances au carré est: 200 ^ 2 + 200 ^ 2 + 200 ^ 2 + 200 ^ 2 + 800 ^ 2 = 800 000
- Si nous construisons la maison au centre du village, notre somme des distances au carré serait: 0 ^ 2 + 0 ^ 2 + 0 ^ 2 + 0 ^ 2 + 1000 ^ 2 = 1 000 000
- Si nous construisons construisons la maison à 100 mètres du village (comme en 1), la somme des distances au carré est: 100 ^ 2 + 100 ^ 2 + 100 ^ 2 + 100 ^ 2 + 900 ^ 2 = 850 000
- Si nous construisons la maison à 100 mètres de la maison isolée, la somme des distances au carré est: 900 ^ 2 + 900 ^ 2 + 900 ^ 2 + 900 ^ 2 + 100 ^ 2 = 3 250 000

Alors oui, il est intéressant de remarquer que, un peu contre-intuitivement, quand on minimise la somme des distances, on ne se retrouve pas au "milieu" au sens de la moyenne, mais au sens du médian. Cela fait partie des raisons pour lesquelles OLS, l'un des modèles de régression les plus populaires, utilise des erreurs quadratiques plutôt que des erreurs absolues.

— Jonathan Zimmermann
source

1

En plus des réponses déjà publiées (qui m'ont été très utiles!), Il existe une explication géométrique du lien entre la norme L2 et la moyenne.

Pour utiliser la même notation que chefwen , la formule pour la perte L2 est:

L 2 = \frac{1}{k} \sum_{je = 1}^{k} (y_{je} - β)^{2}

$L2 = \frac{1}{k} \sum^{k}_{i=1} (y_i - \beta)^2$

$\beta$ $L2$ $k$

\sqrt{\sum_{je = 1}^{k} (y_{je} - β)^{2}}

$\sqrt { \sum^{k}_{i=1} (y_i - \beta)^2 }$

$y$ $k$ $y$ $\vec{\beta} = (\beta, \beta, ..., \beta)$

$\beta$ $y$ $\vec{\beta}$ $\vec{\beta}$ $\vec{1} = (1, 1, ..., 1)$ $y$ $\vec{1}$

$k = 2$ $y = (2, 6)$ $\vec{1}$ $(4, 4)$

$k > 2$

\begin{aligned} \vec{β} & = {proj}_{\vec{1}} y \\ = \frac{y \cdot \vec{1}}{| \vec{1} |^{2}} \vec{1} \\ β & = \frac{\sum_{je = 1}^{k} y_{je}}{k} \end{aligned}

$\begin{alignat}{2} \vec{\beta} &= \operatorname{proj}_{\vec{1}}{y} \\ &= \frac{y \cdot \vec{1}}{|\vec{1}|^2}\vec{1} \\ \beta &= \frac{\sum^k_{i=1} y_i}{k} \end{alignat}$

— Paul
source