Questions marquées «kullback-leibler»

Une mesure asymétrique de la distance (ou de la dissemblance) entre les distributions de probabilité. Il pourrait être interprété comme la valeur attendue du rapport de vraisemblance logarithmique dans l'hypothèse alternative.

1
Pourquoi utilisons-nous la divergence de Kullback-Leibler plutôt que l'entropie croisée dans la fonction objectif t-SNE?
Dans mon esprit, la divergence de KL entre la distribution de l'échantillon et la distribution vraie est simplement la différence entre l'entropie croisée et l'entropie. Pourquoi utilisons-nous l'entropie croisée comme fonction de coût dans de nombreux modèles d'apprentissage automatique, alors que nous utilisons la divergence de Kullback-Leibler dans t-sne? Y …
2
Différences entre la distance de Bhattacharyya et la divergence KL
Je cherche une explication intuitive pour les questions suivantes: En statistique et en théorie de l’information, quelle est la différence entre la distance de Bhattacharyya et la divergence de KL, en tant que mesures de la différence entre deux distributions de probabilité discrètes? Ont-ils absolument aucune relation et mesurent-ils la …
4
Mesures de similitude ou de distance entre deux matrices de covariance
Existe-t-il des mesures de similitude ou de distance entre deux matrices de covariance symétrique (toutes deux ayant les mêmes dimensions)? Je pense ici aux analogues de la divergence KL de deux distributions de probabilités ou de la distance euclidienne entre vecteurs sauf appliquée aux matrices. J'imagine qu'il y aurait pas …
4
Une adaptation de la distance Kullback-Leibler?
Regarde cette image: Si nous tirons un échantillon de la densité rouge, alors certaines valeurs devraient être inférieures à 0,25 alors qu'il est impossible de générer un tel échantillon à partir de la distribution bleue. Par conséquent, la distance de Kullback-Leibler de la densité rouge à la densité bleue est …
3
Quels sont les avantages de la métrique Wasserstein par rapport à la divergence Kullback-Leibler?
Quelle est la différence pratique entre la métrique de Wasserstein et la divergence de Kullback-Leibler ? La métrique de Wasserstein est également appelée distance du moteur de la Terre . De Wikipédia: La métrique de Wasserstein (ou Vaserstein) est une fonction de distance définie entre les distributions de probabilité sur …
3
Quelle est la différence entre l'entropie croisée et la divergence KL?
L'entropie croisée et la divergence KL sont des outils pour mesurer la distance entre deux distributions de probabilité. Quelle est la différence? De plus, la minimisation de KL est équivalente à la minimisation de l'entropie croisée.H(P,Q)=−∑xP(x)logQ(x)H(P,Q)=−∑xP(x)log⁡Q(x) H(P,Q) = -\sum_x P(x)\log Q(x) KL(P|Q)=∑xP(x)logP(x)Q(x)KL(P|Q)=∑xP(x)log⁡P(x)Q(x) KL(P | Q) = \sum_{x} P(x)\log {\frac{P(x)}{Q(x)}} Je …
3
Connexion entre la métrique de Fisher et l'entropie relative
Quelqu'un peut-il prouver le lien suivant entre la métrique d'information de Fisher et l'entropie relative (ou divergence KL) d'une manière purement mathématique rigoureuse? D(p(⋅,a+da)∥p(⋅,a))=12gi,jdaidaj+(O(∥da∥3)D(p(⋅,a+da)∥p(⋅,a))=12gi,jdaidaj+(O(‖da‖3)D( p(\cdot , a+da) \parallel p(\cdot,a) ) =\frac{1}{2} g_{i,j} \, da^i \, da^j + (O( \|da\|^3)g i , j = ∫ ∂ i ( log p ( …
En utilisant notre site, vous reconnaissez avoir lu et compris notre politique liée aux cookies et notre politique de confidentialité.
Licensed under cc by-sa 3.0 with attribution required.