Statistiques et Big Data maximum-entropy

6

Pourquoi l'entropie est-elle maximisée lorsque la distribution de probabilité est uniforme?

Je sais que l'entropie est la mesure du caractère aléatoire d'un processus / variable et elle peut être définie comme suit. pour une variable aléatoire X∈X∈X \in set AAA : - H(X)=∑xi∈A−p(xi)log(p(xi))H(X)=∑xi∈A−p(xi)log⁡(p(xi))H(X)= \sum_{x_i \in A} -p(x_i) \log (p(x_i)) . Dans le livre sur l'entropie et la théorie de l'information de …

32 uniform entropy maximum-entropy

3

Réfutation basée sur l'entropie du paradoxe de la flèche en arrière bayésienne du temps de Shalizi?

Dans cet article , la talentueuse chercheuse Cosma Shalizi soutient que pour accepter pleinement une vision bayésienne subjective, il faut également accepter un résultat non physique selon lequel la flèche du temps (donnée par le flux d'entropie) devrait en fait reculer . Il s'agit principalement d'une tentative d'argumenter contre l'entropie …

31 bayesian entropy maximum-entropy philosophical

3

Interprétation statistique de la distribution d'entropie maximale

J'ai utilisé le principe de l'entropie maximale pour justifier l'utilisation de plusieurs distributions dans divers contextes; cependant, je n'ai pas encore été en mesure de formuler une interprétation statistique, par opposition à une théorie de l'information, de l'entropie maximale. En d'autres termes, qu'est-ce que la maximisation de l'entropie implique sur …

23 distributions entropy intuition information-theory maximum-entropy

4

Distributions antérieures faiblement informatives pour les paramètres d'échelle

J'ai utilisé des distributions log normales comme distributions antérieures pour les paramètres d'échelle (pour les distributions normales, les distributions t, etc.) quand j'ai une idée approximative de ce que l'échelle devrait être, mais je veux me tromper en disant que je ne sais pas beaucoup à ce sujet. Je l'utilise …

21 distributions bayesian modeling prior maximum-entropy

1

L'entropie différentielle est-elle toujours inférieure à l'infini?

Pour une variable aléatoire continue arbitraire, disons , son entropie différentielle est-elle toujours inférieure à ∞ ? (C'est ok si c'est - ∞ .) Sinon, quelle est la condition nécessaire et suffisante pour qu'elle soit inférieure à ∞ ?XXX∞∞\infty−∞−∞-\infty∞∞\infty

14 entropy information-theory maximum-entropy

2

Démontrer que la distribution d'entropie maximale avec une matrice de covariance fixe est gaussienne

J'essaie d'obtenir ma tête autour de la preuve suivante que le gaussien a l'entropie maximale. En quoi l'étape suivie est-elle logique? Une covariance spécifique ne fixe que le deuxième moment. Qu'arrive-t-il aux troisième, quatrième, cinquième moments, etc.?

13 entropy information-theory maximum-entropy

2

Quelle est la fonction de densité de probabilité d'entropie maximale pour une variable continue positive de moyenne et d'écart type donnés?

Quelle est la distribution d'entropie maximale pour une variable continue positive, compte tenu de ses premier et deuxième moments? Par exemple, une distribution gaussienne est la distribution d'entropie maximale pour une variable non bornée, compte tenu de sa moyenne et de l'écart-type, et une distribution Gamma est la distribution d'entropie …

13 distributions standard-deviation mean maximum-entropy

1

Y a-t-il des utilisations contemporaines du jackknifing?

La question: Bootstrapping est supérieur au jackknifing; cependant, je me demande s'il existe des cas où le jackknifing est la seule ou au moins une option viable pour caractériser l'incertitude à partir des estimations des paramètres. De plus, dans des situations pratiques, dans quelle mesure le jackknifing est-il biaisé / …

12 machine-learning cross-validation bootstrap maximum-entropy jackknife

3

Estimateur du maximum de vraisemblance de la distribution conjointe, compte tenu uniquement des comptes marginaux

Soit une distribution conjointe de deux variables catégorielles , avec . Supposons que échantillons ont été tirés de cette distribution, mais nous ne recevons que les comptes marginaux, à savoir pour :px,ypx,yp_{x,y}X,YX,YX,Yx,y∈{1,…,K}x,y∈{1,…,K}x,y\in\{1,\ldots,K\}nnnj=1,…,Kj=1,…,Kj=1,\ldots,K Sj=∑i=1nδ(Xi=l),Tj=∑i=1nδ(Yi=j),Sj=∑i=1nδ(Xi=l),Tj=∑i=1nδ(Yi=j), S_j = \sum_{i=1}^{n}{\delta(X_i=l)}, T_j = \sum_{i=1}^{n}{\delta(Y_i=j)}, Quel est l'estimateur du maximum de vraisemblance pour , étant donné …

12 categorical-data maximum-likelihood joint-distribution marginal maximum-entropy

2

Comment déterminer la prévisibilité des séries chronologiques?

L'un des problèmes importants auxquels sont confrontés les prévisionnistes est de savoir si la série donnée peut être prévue ou non? Je suis tombé sur un article intitulé " L'entropie comme indicateur a priori de la prévisibilité " de Peter Catt qui utilise l' entropie approximative (ApEn) comme mesure relative …

10 time-series forecasting entropy maximum-entropy forecastability

1

Quelle distribution a l'entropie maximale pour un écart absolu moyen connu?

Je lisais la discussion sur Hacker News à propos de l'utilisation de l'écart-type par opposition à d'autres mesures telles que l'écart absolu moyen. Donc, si nous devions suivre le principe de l'entropie maximale, avec quel type de distribution utiliserions-nous si nous ne connaissions que la moyenne de la distribution et …

10 distributions maximum-entropy mad

1

«Puisque est presque gaussien, son PDF peut être écrit comme…»

Petite question: pourquoi est-ce vrai ?? Longue question: Très simplement, j'essaie de comprendre ce qui justifie cette première équation. L'auteur du livre que je lis, (contexte ici si vous le souhaitez, mais pas nécessaire), affirme ce qui suit: En raison de l'hypothèse de quasi-gaussianité, nous pouvons écrire: p0(ξ)=Aϕ(ξ)exp(an+1ξ+(an+2+12)ξ2+∑i=1naiGi(ξ))p0(ξ)=Aϕ(ξ)exp(an+1ξ+(an+2+12)ξ2+∑i=1naiGi(ξ)) p_0(\xi) = …

9 probability normal-distribution entropy maximum-entropy

1

Création d'un modèle de Markov à entropie maximale à partir d'un classificateur d'entropie maximale à entrées multiples existant

Je suis intrigué par le concept d'un modèle de Markov à entropie maximale (MEMM) et je songe à l'utiliser pour un marqueur de partie de la parole (POS). En ce moment, j'utilise un classificateur conventionnel d'entropie maximale (ME) pour baliser chaque mot individuel. Cela utilise un certain nombre de fonctionnalités, …

9 machine-learning mcmc maximum-entropy memm

1

La distribution d'entropie maximale est-elle cohérente avec les distributions marginales données, la distribution du produit des marginaux?

Il existe généralement de nombreuses distributions conjointes cohérentes avec un ensemble connu de distributions marginales .P(X1=x1,X2=x2,...,Xn=xn)P(X1=x1,X2=x2,...,Xn=xn)P(X_1 = x_1, X_2 = x_2, ..., X_n = x_n)fi(xi)=P(Xi=xi)fi(xi)=P(Xi=xi)f_i(x_i) = P(X_i = x_i) De ces distributions conjointes, le produit est-il formé en prenant le produit des marginaux celui ayant l'entropie la plus élevée?∏ifi(xi)∏ifi(xi)\prod_i f_i(x_i) …

9 distributions joint-distribution marginal maximum-entropy

1

Les machines à vecteurs de support (SVM) sont la limite de température zéro de la régression logistique?

J'ai eu récemment une discussion rapide avec un ami bien informé qui a mentionné que les SVM sont la limite de température zéro de la régression logistique. La justification impliquait des polytopes marginaux et la dualité fenchel. Je n'ai pas pu suivre. Cette affirmation selon laquelle les SVM sont la …

8 logistic svm graphical-model exponential-family maximum-entropy

Questions marquées «maximum-entropy»