La distribution d'entropie maximale est-elle cohérente avec les distributions marginales données, la distribution du produit des marginaux?

Il existe généralement de nombreuses distributions conjointes cohérentes avec un ensemble connu de distributions marginales .$P(X_1 = x_1, X_2 = x_2, ..., X_n = x_n)$$f_i(x_i) = P(X_i = x_i)$

De ces distributions conjointes, le produit est-il formé en prenant le produit des marginaux celui ayant l'entropie la plus élevée?$\prod_i f_i(x_i)$

Je crois certainement que c'est vrai, mais j'aimerais vraiment voir une preuve.

Je suis plus intéressé par le cas où toutes les variables sont discrètes, mais je serais également intéressé par des commentaires sur l'entropie par rapport aux mesures de produit dans le cas continu.

Une façon consiste à utiliser les propriétés de la divergence Kullback-Leibler .

Soit la famille de distributions avec les marges données, et soit la distribution du produit (et évidemment ).$\mathfrak{P}$$Q$$Q \in \mathfrak{P}$

Maintenant, pour tout , l'entropie croisée est:$P \in \mathfrak{P}$

$H(P,Q) = E_P [\log q(X)] = E_P \left[ \log \prod_i q_i(X) \right] = \sum_i E_P [\log q_i(X)] = \sum_i H(P_i,Q_i)$

c'est-à-dire la somme de l'entropie croisée des marges. Les marges étant toutes fixes, ce terme lui-même doit être fixe.

Maintenant, nous pouvons écrire la divergence KL comme suit:

$D_{KL}(P \| Q) = H(P,Q) - H(P)$

et donc:

$\operatorname*{arg\,min}_{P \in \mathfrak{P}} \ D_{KL}(P \| Q) = \operatorname*{arg\,max}_{P \in \mathfrak{P}} \ H(P)$

c'est-à-dire que la distribution qui maximise l'entropie est celle qui minimise la divergence KL avec , qui, par les propriétés de la divergence KL , nous savons qu'elle est elle-même.$P$$Q$$Q$