Après avoir regardé des vidéos sur YouTube, j'ai l'impression que je ne peux pas vraiment définir ce qu'est l'inférence variationnelle. Je peux suivre les procédures pendant que je regarde les conférences vidéo à ce sujet. Mais difficile de définir ce qui est vraiment. J'espère en entendre parler.
Réponses:
Pas sur la base de mes connaissances, mais voici un article (en anglais assez simple) qui, selon moi, est très pertinent pour la question: Blei, Kucukelbir & McAuliffe 2016. Inférence variationnelle: une revue pour les statisticiens . https://arxiv.org/abs/1601.00670
Du résumé:
L'un des principaux problèmes des statistiques modernes est d'approximer les densités de probabilité difficiles à calculer. Ce problème est particulièrement important dans les statistiques bayésiennes, qui encadrent toutes les inférences sur des quantités inconnues comme un calcul impliquant la densité postérieure. Dans cet article, nous passons en revue l'inférence variationnelle (VI), une méthode d'apprentissage automatique qui se rapproche des densités de probabilité grâce à l'optimisation. Le VI a été utilisé dans de nombreuses applications et a tendance à être plus rapide que les méthodes classiques, telles que l'échantillonnage Monte Carlo à chaîne de Markov. L'idée derrière VI est de poser d'abord une famille de densités puis de trouver le membre de cette famille qui est proche de la cible. La proximité est mesurée par la divergence de Kullback-Leibler. Nous passons en revue les idées qui sous-tendent l'inférence variationnelle du champ moyen, discutons du cas particulier du VI appliqué aux modèles de famille exponentielle, présentons un exemple complet avec un mélange bayésien de Gaussiens et dérivons une variante qui utilise l'optimisation stochastique pour passer à des données massives. Nous discutons de la recherche moderne en VI et mettons en évidence d'importants problèmes ouverts. VI est puissant, mais il n'est pas encore bien compris . Notre espoir en écrivant cet article est de catalyser la recherche statistique sur cette classe d'algorithmes.
Ils offrent également des conseils sur le moment où les statisticiens doivent utiliser l'échantillonnage Monte Carlo à chaîne de Markov et sur l'inférence variationnelle (voir le paragraphe Comparaison de l'inférence variationnelle et de la MCMC dans l'article).