Estimer l'entropie d'informations par échantillonnage Monte Carlo

Je recherche des méthodes permettant d'estimer l'entropie d'informations d'une distribution alors que les seules méthodes pratiques d'échantillonnage à partir de cette distribution sont les méthodes de Monte Carlo.

Mon problème n'est pas différent du modèle Ising standard qui est généralement utilisé comme exemple d'introduction pour l'échantillonnage Metropolis – Hastings. I ont une distribution de probabilité sur un ensemble , à savoir je p ( a ) pour chacun d' un ∈ A . Les éléments a ∈ A sont de nature combinatoire, comme les états d'Ising, et ils sont très nombreux. Cela signifie qu'en pratique, je n'obtiens jamais deux fois le même échantillon lors de l'échantillonnage de cette distribution sur un ordinateur. p ( a ) ne peut pas être calculé directement (en raison de l'ignorance du facteur de normalisation), mais le rapport p ( $A$$p(a)$$a \in A$$a \in A$$p(a)$ est facile à calculer.$p(a_1)/p(a_2)$

Je veux estimer l'entropie d'information de cette distribution,

Alternativement, je veux estimer la différence d'entropie entre cette distribution et celle obtenue en la restreignant à un sous ensemble a ∈ A 1 ⊂ A (et bien sûr en re-normalisant).$a\in A_1 \subset A$

Si je comprends les informations dont vous disposez, ce que vous voulez n'est pas possible: les informations dont vous disposez ne suffisent pas pour déterminer l'entropie. Il ne suffit même pas d'approximer l'entropie.

Il semble que vous ayez un moyen d'échantillonner à partir de la distribution , et vous avez un moyen de calculer le rapport p ( a 1 ) / p ( a 2 ) pour n'importe quelle paire d'éléments a 1 , a 2 que vous avez obtenu via l'échantillonnage, mais vous n'avez aucune autre information. Si c'est le cas, votre problème n'est pas résoluble.$p(\cdot)$$p(a_1)/p(a_2)$$a_1,a_2$

En particulier, nous pouvons trouver une paire de distributions qui ont des entropies différentes, mais qui ne peuvent pas être distinguées en utilisant les informations à votre disposition. Considérons d'abord la distribution uniforme sur un ensemble (aléatoire) de taille . Considérons ensuite la distribution uniforme sur un ensemble (aléatoire) de taille 2 300 . Celles-ci ont des entropies différentes (200 bits vs 300 bits). Cependant, compte tenu des informations dont vous disposez, vous n'avez aucun moyen de savoir avec laquelle de ces deux distributions vous travaillez. En particulier, dans les deux cas, le rapport p ( a 1 ) / p ( a 2$2^{200}$$2^{300}$$p(a_1)/p(a_2)$sera toujours exactement 1, donc les ratios ne vous aideront pas à faire la distinction entre les deux distributions. Et en raison du paradoxe de l'anniversaire, vous pouvez échantillonner autant que vous le souhaitez, mais vous n'obtiendrez jamais deux fois la même valeur (pas au cours de votre vie, sauf avec une probabilité exponentiellement faible), de sorte que les valeurs que vous obtenez à partir de l'échantillonnage ressembleront juste à des points aléatoires et ne contiennent aucune information utile.

Donc, pour résoudre votre problème, vous devrez en savoir plus. Par exemple, si vous savez quelque chose sur la structure de la distribution , cela pourrait permettre de résoudre votre problème.$p(\cdot)$

$\Delta F$$\Delta S$$\Delta F$$\Delta \langle E \rangle$$A_1$$A$$E$$A_1$

Voici deux références supplémentaires sur les algorithmes de calcul de l'énergie libre:

Lelièvre, T., Rousset, M. et Stoltz, G. (2010). Calculs d'énergie gratuits. Imperial College Press. http://doi.org/10.1142/9781848162488

Chipot, C. et Pohorille, A. (2007). Calculs d'énergie gratuits. (C. Chipot et A. Pohorille, éd.) (Vol. 86). Berlin, Heidelberg: Springer Berlin Heidelberg. http://doi.org/10.1007/978-3-540-38448-9