Questions marquées «entropy»

Une quantité mathématique conçue pour mesurer la quantité de caractère aléatoire d'une variable aléatoire.

10
Mesure de l'entropie / informations / motifs d'une matrice binaire 2D
Je veux mesurer l'entropie / densité d'information / ressemblance-motif d'une matrice binaire à deux dimensions. Permettez-moi de montrer quelques images pour clarification: Cet affichage devrait avoir une entropie assez élevée: UNE) Cela devrait avoir une entropie moyenne: B) Enfin, ces images devraient toutes avoir une entropie proche de zéro: C) …
2
Qu'est-ce que l'entropie nous dit?
Je lis sur l' entropie et j'ai du mal à conceptualiser ce que cela signifie dans le cas présent. La page wiki indique ce qui suit: La distribution de probabilité des événements, couplée à la quantité d'informations de chaque événement, forme une variable aléatoire dont la valeur attendue est la …
32 entropy 
6
Pourquoi l'entropie est-elle maximisée lorsque la distribution de probabilité est uniforme?
Je sais que l'entropie est la mesure du caractère aléatoire d'un processus / variable et elle peut être définie comme suit. pour une variable aléatoire X∈X∈X \in set AAA : - H(X)=∑xi∈A−p(xi)log(p(xi))H(X)=∑xi∈A−p(xi)log⁡(p(xi))H(X)= \sum_{x_i \in A} -p(x_i) \log (p(x_i)) . Dans le livre sur l'entropie et la théorie de l'information de …
3
Réfutation basée sur l'entropie du paradoxe de la flèche en arrière bayésienne du temps de Shalizi?
Dans cet article , la talentueuse chercheuse Cosma Shalizi soutient que pour accepter pleinement une vision bayésienne subjective, il faut également accepter un résultat non physique selon lequel la flèche du temps (donnée par le flux d'entropie) devrait en fait reculer . Il s'agit principalement d'une tentative d'argumenter contre l'entropie …
3
Quelle est la différence entre l'entropie croisée et la divergence KL?
L'entropie croisée et la divergence KL sont des outils pour mesurer la distance entre deux distributions de probabilité. Quelle est la différence? De plus, la minimisation de KL est équivalente à la minimisation de l'entropie croisée.H(P,Q)=−∑xP(x)logQ(x)H(P,Q)=−∑xP(x)log⁡Q(x) H(P,Q) = -\sum_x P(x)\log Q(x) KL(P|Q)=∑xP(x)logP(x)Q(x)KL(P|Q)=∑xP(x)log⁡P(x)Q(x) KL(P | Q) = \sum_{x} P(x)\log {\frac{P(x)}{Q(x)}} Je …
3
Interprétation statistique de la distribution d'entropie maximale
J'ai utilisé le principe de l'entropie maximale pour justifier l'utilisation de plusieurs distributions dans divers contextes; cependant, je n'ai pas encore été en mesure de formuler une interprétation statistique, par opposition à une théorie de l'information, de l'entropie maximale. En d'autres termes, qu'est-ce que la maximisation de l'entropie implique sur …
4
Entropie d'une image
Quelle est la façon correcte le plus théorique / physique-théorique de calculer l'entropie d'une image? Je ne me soucie pas de l'efficacité informatique en ce moment - je la veux théoriquement aussi correcte que possible. Commençons par une image en niveaux de gris. Une approche intuitive consiste à considérer l'image …
2
Qu'est-ce que l'entropie empirique?
Dans la définition des ensembles communs typiques (dans "Elements of Information Theory", ch. 7.6, p. 195), nous utilisons −1nlogp(xn)−1nlog⁡p(xn)-\frac{1}{n} \log{p(x^n)} comme entropie empirique d'une séquence avec . Je n'ai jamais rencontré cette terminologie auparavant. Il n'est défini explicitement nulle part selon l'index du livre.nnnp(xn)=∏ni=1p(xi)p(xn)=∏i=1np(xi)p(x^n) = \prod_{i=1}^{n}{p(x_i)} Ma question est essentiellement …
2
Limiter les informations mutuelles en fonction des informations mutuelles ponctuelles
Supposons que j'ai deux ensembles XXX et YYY et une distribution de probabilité conjointe sur ces ensembles p(x,y)p(x,y)p(x,y) . Soit p(x)p(x)p(x) et p(y)p(y)p(y) les distributions marginales sur XXX et YYY respectivement. Les informations mutuelles entre XXX et YYY sont définies comme suit: I(X;Y)=∑x,yp(x,y)⋅log(p(x,y)p(x)p(y))I(X;Y)=∑x,yp(x,y)⋅log⁡(p(x,y)p(x)p(y))I(X; Y) = \sum_{x,y}p(x,y)\cdot\log\left(\frac{p(x,y)}{p(x)p(y)}\right) c'est-à-dire qu'il s'agit de …
1
La forêt aléatoire de Breiman utilise-t-elle un gain d'informations ou un indice de Gini?
Je voudrais savoir si la forêt aléatoire de Breiman (forêt aléatoire dans le package R randomForest) utilise comme critère de fractionnement (critère de sélection d'attribut) le gain d'informations ou l'indice de Gini? J'ai essayé de le découvrir sur http://www.stat.berkeley.edu/~breiman/RandomForests/cc_home.htm et dans la documentation du paquet randomForest dans R. Mais la …
En utilisant notre site, vous reconnaissez avoir lu et compris notre politique liée aux cookies et notre politique de confidentialité.
Licensed under cc by-sa 3.0 with attribution required.