Quelles sont les normes

J'ai vu beaucoup d'articles sur les représentations clairsemées récemment, et la plupart d'entre eux utilisent la norme et font une certaine minimisation. Ma question est, quelle est la norme et la norme mixte ? Et comment sont-ils pertinents pour la régularisation? $\ell_p$ $\ell_p$ $\ell_{p, q}$

Merci

machine-learning regularization sparse

— l'eau
source

$\ell_p$ normes sont des fonctions qui prennent des vecteurs et renvoient des nombres non négatifs. Ils sont définis comme Dans le cas où , c'est appelé la norme euclidienne . Vous pouvez définir la distance euclidienne comme . Lorsque , cela signifie simplement (ou ). Strictement parlant, doit être au moins un pour que soit une norme . Si , alors

‖ \vec{x} ‖_{p} = {(\sum_{i = 1}^{d} | x_{i} |^{p})}^{1 / p}

$\|\vec x\|_p = \left(\sum_{i=1}^d |x_i|^p\right)^{1/p}$

p = 2

$p=2$

‖ \vec{x} - \vec{y} ‖_{2}

$\|\vec x - \vec y\|_2$

p = \infty

$p = \infty$

‖ \vec{x} ‖_{\infty} = sup_{i} x_{i}

$\|\vec x\|_\infty = \sup_i x_i$

max_{i} x_{i}

$\max_i x_i$

p

$p$

‖ \vec{x} ‖_{p}

$\|\vec x\|_p$

0 < p < 1

$0 < p < 1$

‖ \vec{x} ‖_{p}

$\|\vec x\|_p$ n'est pas vraiment une norme, car les normes doivent satisfaire l'inégalité du triangle.

(Il existe également des normes , qui sont définies de manière analogue, à l'exception des fonctions plutôt que des vecteurs ou des séquences - en réalité, c'est la même chose, car les vecteurs sont des fonctions à domaines finis.) $L_p$

Je ne connais aucune utilisation d'une norme dans une application d'apprentissage automatique où , sauf où . Habituellement, vous voyez ou , ou parfois où vous voulez détendre le cas ; n'est pas strictement convexe dans , mais est, pour . Cela peut faciliter la recherche de la solution "plus facilement" dans certains cas. $p > 2$ $p = \infty$ $p = 2$ $p = 1$ $1 < p < 2$ $p = 1$ $\|\vec x\|_1$ $\vec x$ $\|\vec x\|_p$ $1 < p < \infty$

Dans le contexte de la régularisation, si vous ajoutez à votre fonction objectif, ce que vous dites, c'est que vous vous attendez à ce que soit clairsemé , c'est-à-dire principalement composé de zéros. C'est un peu technique, mais fondamentalement, s'il existe une solution dense , il y a probablement une solution plus clairsemée avec la même norme. Si vous vous attendez à ce que votre solution soit dense, vous pouvez ajouter à votre objectif, car il est alors beaucoup plus facile de travailler avec sa dérivée. Les deux servent à empêcher la solution d'avoir trop de poids. $\|\vec x\|_1$ $\vec x$ $\|\vec x\|_2^2$

La norme mixte intervient lorsque vous essayez d'intégrer plusieurs sources. Fondamentalement, vous voulez que le vecteur de solution soit composé de plusieurs pièces , où est l'indice d'une source. La n'est que la normale de toutes les normales recueillies dans un vecteur. C'est-à-dire, $\vec{x}^j$ $j$ $\ell_{p,q}$ $q$ $p$

‖ \vec{x} ‖_{p, q} = {(\sum_{j = 1}^{m} {(\sum_{i = 1}^{d} | x_{i}^{j} |^{p})}^{q / p})}^{1 / q}

$\|\vec x\|_{p,q} = \left( \sum_{j = 1}^m \left( \sum_{i=1}^d |x_i^j|^p\right)^{q/p}\right)^{1/q}$

Le but de ceci n'est pas de "surséparer" un ensemble de solutions, par exemple en utilisant . Les pièces individuelles sont rares, mais vous ne risquez pas de nuancer un vecteur de solution entier en prenant la norme de toutes les solutions. Vous utilisez donc plutôt la norme à l'extérieur. $\|\vec x\|_{1,2}$ $1$ $2$

J'espère que cela pourra aider.

Consultez cet article pour plus de détails.

— Josephine Moeller
source

+1 pour l'explication des normes mixtes. Je ne les ai jamais compris moi-même.

— Suresh Venkatasubramanian

(+1) Belle réponse. Bienvenue à CrossValidated, John!

— MånsT