Quelle est la signification des barres doubles et 2 en bas dans les moindres carrés ordinaires?

J'ai vu cette notation pour les moindres carrés ordinaires ici .

min_{w} {‖ X w - y ‖}_{2}^{2}

$\min_w \left\| Xw - y \right\|^2_2$

Je n'ai jamais vu les doubles barres et les 2 en bas. Que signifient ces symboles? Ont-ils une terminologie spécifique pour eux?

— Aseem Bansal
source

L'utilisation des barres doubles indique simplement que nous utilisons la norme L2.

— Michael R. Chernick

@MichaelChernick et les 2? Cela fait-il partie de la «norme L2»?

— Aseem Bansal

Oui, comme L2, il y a aussi L1.

— Jon

Je pense que

X_{w}

$X_w$ devrait être

X w

$Xw$ car

w

$w$ est un vecteur

— ilanman

@ilanman Oui, c'est ce qui était dans la notation avant l'édition. Je l'ai changé de nouveau

— Aseem Bansal

Vous parlez de la -norm (norme euclidienne) du vecteur ( ). Si cela vous est étranger, brièvement, la -norm d'un vecteur , est: $\ell_2$ $Xw - y$ $\ell_p$ $u \in \mathbb{R}^{n}$

‖ u ‖_{p} = (\sum_{i = 1}^{n} | u_{i} |^{p})^{\frac{1}{p}}

$\|u\|_p = \big(\sum_{i=1}^{n} |u_i|^p\big)^{\frac1p}$

Donc dans votre cas qui est cohérent avec la somme des résidus au carré pour une régression linéaire. Dans le contexte des problèmes de régression, vous le verrez également beaucoup dans les calculs d'erreur quadratique moyenne (MSE) et dans la régression de crête . $\|u\|_2^2 = (\big(\sum\limits_{i=1}^{n} |u_i|^2\big)^{\frac12})^2 = \sum\limits_{i=1}^{n} u_i^2$

Ceci est une norme courante (entre autres raisons, c'est mathématiquement pratique), donc quand c'est évident d'après le contexte, vous verrez les inférieurs omis, et juste . $2$ $\|u\|^2$

Comme mentionné dans les commentaires, vous pouvez également voir la -norm: $\ell_1$

‖ u ‖_{1} = \sum_{i = 1}^{n} | u_{i} |

$\|u\|_1 = \sum_{i=1}^{n} |u_i|$

Ce qui correspond à la valeur absolue. Encore une fois, vous verrez cela dans des problèmes d'erreur absolue moyenne (MAE) ou de lasso .

Autres normes populaires:

-norm: distance de Hamming , ou nombre de non-zéros dans un vecteur, c'est-à-dire dans le calcul de la rareté d'un vecteur. Techniquement, ce n'est pas une norme (c'est une fonction de cardinalité), car vous avez un terme dans la définition, mais il a la forme d'une norme, nous l'appelons donc un.
- Cette norme est la norme idéale utilisée pour induire la rareté des problèmes de régression, car nous voulons vraiment mettre à zéro les coefficients, mais le calcul de la régularisation est NP-difficile, donc nous l'approximons avec qui peut être résolu par programmation linéaire. Il est également populaire dans la détection compressée . $\ell_0$ $\ell_1$
$\ell_{\infty}$ -norm: = pour $\underset{i} {\text{max}}$ $\{|x_i|\}$ $i = 1, ..., n$
$\|A\|_F$ : Norme Frobenius (euclidienne), appliquée à une matrice $A \in \mathbb{R}^{n\times m} = \sqrt{\sum \limits_{i=1}^{n}\sum \limits_{j=1}^{m}|a_{ij}|^2}$

— ilanman
source

Le lien vers wolfram alpha était vraiment utile.

— Aseem Bansal

Vous écrivez que la (pseudo) compte le nombre de zéros dans un vecteur - pensiez-vous peut-être le nombre d' entrées non nulles? (Cela serait plus cohérent avec ce que j'ai vu et signifierait également que serait la distance de Hamming entre et , au lieu d'être moins que distance.)

ℓ_{0}

$\ell_0$

‖ u ‖_{0}

$\lVert u \rVert_{0}$

u

$u$

0 \in R^{n}

$0 \in \mathbb R^n$

n

$n$

— wchargin

Erreur d'orthographe: "Frobenius".

— Hobbs

Au lieu de "c'est une norme commune", j'aurais juste dit "L2 est la norme";)

— user541686