Pourquoi l'erreur quadratique moyenne est-elle l'entropie croisée entre la distribution empirique et un modèle gaussien?

28

Dans 5.5, Deep Learning (par Ian Goodfellow, Yoshua Bengio et Aaron Courville), il déclare que

Toute perte constituée d'une log-vraisemblance négative est une entropie croisée entre la distribution empirique définie par l'ensemble d'apprentissage et la distribution de probabilité définie par le modèle. Par exemple, l'erreur quadratique moyenne est l'entropie croisée entre la distribution empirique et un modèle gaussien.

Je ne comprends pas pourquoi ils sont équivalents et les auteurs ne s'étendent pas sur ce point.

machine-learning normal-distribution cross-entropy

— Mufei Li
source

32

Soit les données . Écrivez pour la distribution empirique. Par définition, pour toute fonction , $\mathbf{x}=(x_1, \ldots, x_n)$ $F(\mathbf{x})$ $f$

E_{F (x)} [f (X)] = \frac{1}{n} \sum_{i = 1}^{n} f (x_{i}) .

$\mathbb{E}_{F(\mathbf{x})}[f(X)] = \frac{1}{n}\sum_{i=1}^n f(x_i).$

Soit le modèle densité où est défini sur le support du modèle. L' entropie croisée de et est définie comme étant $M$ $e^{f(x)}$ $f$ $F(\mathbf{x})$ $M$

\begin{matrix} (1) & H (F (x), M) = - E_{F (x)} [\log (e^{f (X)}] = - E_{F (x)} [f (X)] = - \frac{1}{n} \sum_{i = 1}^{n} f (x_{i}) . \end{matrix}

$H(F(\mathbf{x}), M) = -\mathbb{E}_{F(\mathbf{x})}[\log(e^{f(X)}] = -\mathbb{E}_{F(\mathbf{x})}[f(X)] =-\frac{1}{n}\sum_{i=1}^n f(x_i).\tag{1}$

En supposant que est un échantillon aléatoire simple, sa probabilité logarithmique négative est $x$

\begin{matrix} (2) & - \log (L (x)) = - \log \prod_{i = 1}^{n} e^{f (x_{i})} = - \sum_{i = 1}^{n} f (x_{i}) \end{matrix}

$-\log(L(\mathbf{x}))=-\log \prod_{i=1}^n e^{f(x_i)} = -\sum_{i=1}^n f(x_i)\tag{2}$

en vertu des propriétés des logarithmes (ils convertissent les produits en sommes). L'expression est une expression fois constante . Parce que les fonctions de perte ne sont utilisées dans les statistiques qu'en les comparant, cela ne fait aucune différence que l'une soit une constante (positive) fois l'autre. C'est dans ce sens que la probabilité logarithmique négative "est une" entropie croisée dans la citation. $(2)$ $n$ $(1)$

Il faut un peu plus d'imagination pour justifier la deuxième affirmation de la citation. Le lien avec l'erreur quadratique est clair, car pour un "modèle gaussien" qui prédit des valeurs aux points , la valeur de à un tel point est $p(x)$ $x$ $f$

f (x; p, σ) = - \frac{1}{2} (\log (2 π σ^{2}) + \frac{(x - p (x))^{2}}{σ^{2}}),

$f(x; p, \sigma) = -\frac{1}{2}\left(\log(2\pi \sigma^2) + \frac{(x-p(x))^2}{\sigma^2}\right),$

qui est l'erreur quadratique mais redimensionnée de et décalée d'une fonction de . Une façon de rendre la citation correcte est de supposer qu'elle ne considère pas que partie du "modèle" - doit être déterminé d'une manière ou d'une autre indépendamment des données. Dans ce cas, les différences entre les erreurs quadratiques moyennes sont proportionnelles aux différences entre les entropies croisées ou les log-vraisemblances, ce qui rend les trois équivalents aux fins de l'ajustement du modèle. $(x-p(x))^2$ $1/(2\sigma^2)$ $\sigma$ $\sigma$ $\sigma$

(En règle générale, cependant, fait partie du processus de modélisation, auquel cas la citation ne serait pas tout à fait correcte.) $\sigma = \sigma(x)$

— whuber
source

1

+1 avec deux suggestions - pourrait utiliser au lieu de pour éviter toute confusion avec . La seconde est que la plupart des estimations de vont être . Lorsque vous le branchez et l'ajoutez, vous obtenez . Similaire à la formule de type AIC ...

g ()

$g ()$

f ()

$f ()$

F ()

$F ()$

σ^{2}

$\sigma^2$

k \sum_{i = 1}^{n} {(x_{i} - p (x_{i}))}^{2}

$k\sum_{i=1}^n \left (x_i - p (x_i)\right)^2$

- \frac{1}{2} \log [\sum_{i = 1}^{n} {(x_{i} - p (x_{i}))}^{2}] + h (k)

$-\frac {1}{2}\log\left [\sum_{i=1}^n \left (x_i - p (x_i)\right)^2\right] +h(k)$

— Probabilités

@probabilityislogic Je choisis la paire et parce qu'ils ne représentent des quantités étroitement liées.

F

$F$

f

$f$

— whuber

Salut, je pense que cela ne s'applique qu'à la distribution linéaire. Dans les problèmes de distribution non linéaire, je pense que nous pouvons toujours utiliser MSE comme fonction de coût, non?

— Lion Lai

5

Pour les lecteurs du livre Deep Learning, je voudrais ajouter à l'excellente réponse acceptée que les auteurs expliquent leur déclaration en détail dans la section 5.5.1 à savoir l' exemple: la régression linéaire comme maximum de vraisemblance .

Là, ils listent exactement la contrainte mentionnée dans la réponse acceptée:

$p(y | x) = \mathcal{N}\big(y; \hat{y}(x; w), \sigma^2\big)$ . La fonction donne la prédiction de la moyenne du gaussien. Dans cet exemple, nous supposons que la variance est fixée à une constante choisie par l'utilisateur. $\hat{y}(x; w)$ $\sigma^2$

Ensuite, ils montrent que la minimisation du MSE correspond à l'estimation du maximum de vraisemblance et donc la minimisation de l'entropie croisée entre la distribution empirique et . $p(y|x)$

— Kilian Batzner
source