Edit: Cette réponse est basée sur une hypothèse incorrecte selon laquelle la probabilité des dénombrements marginaux donnés n'est qu'une fonction des probabilités marginales et . J'y pense toujours.px,ypx=∑ypx,ypy=∑xpx,y
Les mauvaises choses suivent:
Comme mentionné dans un commentaire, le problème avec la recherche de «l'estimateur du maximum de vraisemblance pour est qu'il n'est pas unique. Par exemple, considérons le cas avec binaires et les marginaux . Les deux estimateurspx,yX,YS1=S2=T1=T2=10
p=(120012),p=(14141414)
ont les mêmes probabilités marginales et dans tous les cas, et ont donc des probabilités égales (qui maximisent toutes deux la fonction de vraisemblance, comme vous pouvez le vérifier).pxpy
En effet, quels que soient les marginaux (tant que deux d'entre eux sont non nuls dans chaque dimension), la solution du maximum de vraisemblance n'est pas unique. Je vais le prouver pour le cas binaire. Soit une solution de vraisemblance maximale. Sans perte de généralité, supposons . Alors a les mêmes marginaux et est donc aussi une solution de vraisemblance maximale.p=(acbd)0<a≤dp=(0c+ab+ad−a)
Si vous souhaitez en outre appliquer une contrainte d'entropie maximale, vous obtenez une solution unique qui, comme l'a déclaré F. Tussell, est la solution dans laquelle sont indépendants. Vous pouvez voir ceci comme suit:X,Y
L'entropie de la distribution est ; maximisation sous réserve de et (de manière équivalente, où et ) en utilisant les multiplicateurs de Lagrange donne l'équation:H(p)=−∑x,ypx,ylogpx,y∑xpx,y=py∑ypx,y=pxg⃗ (p)=0gx(p)=∑ypx,y−pxgy(p)=∑xpx,y−py
∇H(p)=∑k∈X∪Yλk∇gk(p)
Tous les gradients de chaque sont 1, donc en coordonnées cela àgk
1−logpx,y=λx+λy⟹px,y=e1−λx−λy
plus les contraintes d'origine et . Vous pouvez vérifier que cela est satisfait lorsque et , donnant∑ y p x , y∑xpx,y=py∑ypx,y=pxe1/2−λx=pxe1/2−λy=py
px,y=pxpy.
maximum-entropy