Quand est - ce champs aléatoires de Markov

Dans leur manuel, Modèles graphiques, familles exponentielles et inférence variationnelle , M. Jordan et M. Wainwright discutent du lien entre les familles exponentielles et les champs aléatoires de Markov (modèles graphiques non dirigés).

J'essaie de mieux comprendre la relation entre eux avec les questions suivantes:

• Tous les MRF sont-ils membres des familles exponentielles?
• Tous les membres des familles exponentielles peuvent-ils être représentés en tant que MRF?
• Si MRFs Familles exponentielles, quels sont de bons exemples de distributions d'un type non incluses dans l'autre ?$\neq$

D'après ce que je comprends dans leur manuel (chapitre 3), Jordan et Wainwright présentent l'argument suivant:

1. Supposons que nous ayons une variable aléatoire scalaire X qui suit une certaine distribution , et tirons observations , et nous voulons identifier .n X 1 , … X n$p$$n$$X^1, \ldots X^n$$p$

2. Nous calculons les attentes empiriques de certaines fonctions $\phi_\alpha%$

   pour toutα∈$\hat{\mu}_\alpha= \frac{1}{n}\sum^n_{i=1}\phi_\alpha(X^i),$$\alpha \in \mathcal{I}$

   où chaque dans un ensemble I indexe une fonction ϕ α : X → $\alpha$$\mathcal{I}$$\phi_\alpha: \mathcal{X} \rightarrow R$

3. Alors si nous forçons les deux ensembles de quantités suivants à être cohérents, c'est-à-dire à correspondre (pour identifier ):$p$

   • Les attentes des statistiques suffisantes ϕ de la distribution $E_p[(\phi_\alpha(X)]=\int_\mathcal{X}\phi_\alpha(x)p(x)\nu(dx)$$\phi$$p$

   • Les attentes sous la distribution empirique

nous obtenons un problème sous-déterminé , en ce sens qu'il existe de nombreuses distributions qui sont cohérentes avec les observations. Il nous faut donc un principe pour choisir parmi eux (identifier p ).$p$$p$

Si nous utilisons le principe de l'entropie maximale pour supprimer cette indétermination, nous pouvons obtenir un seul :$p$

sous réserve de E p [ ( & phiv alpha ( X ) ] = um alpha pourensemble alpha ∈ $\DeclareMathOperator*{\argmax}{arg\,max} p^* = \argmax_{p\in{\mathcal{P}}} \,H(p)$$E_p[(\phi_\alpha(X)] = \hat{\mu}_\alpha$$\alpha \in \mathcal{I}$

où ce prend la forme p θ ( x ) ∝ exp ∑ α ∈ I θ α ϕ α ( x ) , où θ ∈ R d représente une paramétrisation de la distribution sous forme de famille exponentielle.$p^*$$p_\theta(x) \propto$${\sum_{\alpha \in \mathcal{I}}\theta_\alpha \phi_\alpha(x)},$$\theta \in R^d$

En d'autres termes, si nous

1. Faire en sorte que les attentes des distributions soient cohérentes avec les attentes de la distribution empirique
2. Utilisez le principe de l'entropie maximale pour vous débarrasser de l'indétermination

On se retrouve avec une distribution de la famille exponentielle.$\rightarrow$

Cependant, cela ressemble plus à un argument pour introduire des familles exponentielles, et (pour autant que je puisse comprendre), il ne décrit pas la relation entre les MRF et exp. des familles. Suis-je en train de manquer quelque chose?

Vous avez tout à fait raison - l'argument que vous avez présenté relie la famille exponentielle au principe de l'entropie maximale, mais n'a rien à voir avec les MRF.

Pour répondre à vos trois questions initiales:

Tous les membres des familles exponentielles peuvent-ils être représentés en tant que MRF?

Tous les MRF sont-ils membres des familles exponentielles?

$are$

$\neq$

Les distributions mixtes sont des exemples courants de distributions familiales non exponentielles. Considérons le modèle d'espace d'état gaussien linéaire (comme un modèle de Markov caché, mais avec des états cachés continus et des distributions de transition et d'émission gaussiennes). Si vous remplacez le noyau de transition par un mélange de Gaussiens, la distribution résultante n'est plus dans la famille exponentielle (mais elle conserve toujours la riche structure d'indépendance conditionnelle caractéristique des modèles graphiques pratiques).

[1] http://en.wikipedia.org/wiki/Markov_random_field