Qu'est-ce qu'une «méthode de transmission des messages»?

J'ai une vague idée de ce qu'est une méthode de transmission de messages: un algorithme qui construit une approximation d'une distribution en construisant itérativement des approximations de chacun des facteurs de la distribution conditionnelle à toutes les approximations de tous les autres facteurs.

Je crois que les deux sont des exemples de transmission de messages variationnels et de propagation des attentes . Qu'est-ce qu'un algorithme de transmission de messages plus explicite / correct? Les références sont les bienvenues.

Puisque vous demandez des références, je peux recommander le chapitre 16 de David MacKay Information Theory, Inference, and Learning Algorithms. (vous n'avez pas besoin de lire les 15 chapitres précédents pour comprendre le ch. 16) Le livre est téléchargeable gratuitement sur le site Web de l'auteur (avec la permission de l'éditeur).

Pour un exemple intéressant, consultez la thèse de John Winn . Utilise un algorithme de transmission de messages pour l'apprentissage générique d'ensemble variationnel - permettant une construction simple de problèmes d'inférence tels que ICA et PCA.

Peut-être que l'article sur la propagation des croyances sera utile.

L'article donne une description en deux points de la façon dont les «messages» sont transmis le long des bords dans un graphique de facteurs. Ce "passage de message" peut être effectué pour n'importe quel graphique. Pour les arbres, l'algorithme est exact dans le sens où il donne le calcul des distributions marginales et conjointes souhaitées des nœuds de l'arbre. Les itérations de l'algorithme pour les graphiques généraux sont des tentatives pour produire des approximations des distributions marginales ou conjointes souhaitées.