Utiliser la géométrie de l'information pour définir les distances et les volumes… utile?

13

Je suis tombé sur un vaste corpus de littérature qui préconise d'utiliser la métrique de l'information de Fisher comme métrique locale naturelle dans l'espace des distributions de probabilité, puis de l'intégrer pour définir les distances et les volumes.

Mais ces quantités «intégrées» sont-elles réellement utiles à quelque chose? Je n'ai trouvé aucune justification théorique et très peu d'applications pratiques. L'un est le travail de Guy Lebanon où il utilise la «distance de Fisher» pour classer les documents et un autre est l' ABC de Rodriguez de la sélection des modèles… où le «volume de Fisher» est utilisé pour la sélection des modèles. Apparemment, l'utilisation du "volume d'informations" donne une amélioration des "ordres de grandeur" par rapport à AIC et BIC pour la sélection des modèles, mais je n'ai vu aucun suivi de ce travail.

Une justification théorique pourrait être d'avoir une borne de généralisation qui utilise cette mesure de distance ou de volume et qui est meilleure que les bornes dérivées de MDL ou d'arguments asymptotiques, ou une méthode reposant sur l'une de ces quantités qui est manifestement meilleure dans une situation raisonnablement pratique, existe-t-il des résultats de ce genre?

model-selection information-geometry

— Yaroslav Bulatov
source

Les informations de Fisher donnent une borne inférieure dans l'estimation des paramètres. C'est une métrique naturelle car elle dit grosso modo quelque chose comme "dans ce sens la difficulté de mon problème ne peut pas diminuer plus que ça". Ce que vous appelez les limites de généralisation sont des limites supérieures? voulez-vous connaître les performances de la méthode qui utilise la métrique de Fisher (le grand corps que vous mentionnez est une bonne liste)? désolé mais je ne comprends pas vraiment la question :) pouvez-vous reformuler ce point?

— robin girard

Disons que la matrice d'informations de Fisher donne notre tenseur métrique riemannien. Il nous permet de trouver la longueur d'arc de n'importe quelle courbe en l'intégrant. Ensuite, vous définissez la distance entre p et q comme la plus petite longueur d'arc sur toutes les courbes reliant p et q. C'est la mesure de distance que je demande. Idem avec le volume.

— Yaroslav Bulatov

1

Ainsi, juste à titre d'exemple, Rodriguez obtient une amélioration significative en utilisant le "volume d'informations" comme mesure de la complexité du modèle, mais étonnamment, je ne vois personne d'autre essayer ceci

— Yaroslav Bulatov

5

La Royal Statistical Society a publié un article la semaine dernière sur les techniques MCMC sur les variétés de Riemann, utilisant principalement la métrique d'information Fisher: http://www.rss.org.uk/main.asp?page=1836#Oct_13_2010_Meeting

Les résultats semblent prometteurs, bien que, comme le soulignent les auteurs, dans de nombreux modèles d'intérêt (tels que les modèles de mélange), les informations de Fisher n'ont pas de forme analytique.

— Simon Byrne
source

1

Est-ce le papier "Riemann manifold Langevin"? Intégrez-vous l'information Fisher à un moment donné?

— Yaroslav Bulatov

4

L'argument le plus connu est que la métrique de Fisher, étant invariante pour coordonner les transformations, peut être utilisée pour formuler un a priori non informé (a priori de Jeffreys). Je ne suis pas sûr de l'acheter!

Ce qui est moins connu, c'est que parfois ces «quantités intégrées» se révèlent être des divergences et telles, on peut affirmer que les distances des pêcheurs génèrent un ensemble généralisé de divergences (et leurs propriétés).

Mais encore, je n'ai pas encore trouvé une bonne description intuitive des informations du pêcheur et des quantités qu'elle génère. Veuillez me dire si vous en trouvez un.

— Lucas
source

Beaucoup d'informations sont connues sur Fisher Information, ce sont des intégrales d'informations sur les pêcheurs dont je ne suis pas sûr. Je ne suis pas au courant de ce que vous dites au sujet de Fisher Information se transformant en une divergence connue sur l'intégration

— Yaroslav Bulatov

4

La raison pour laquelle il n'y a "aucun suivi" est que très peu de gens comprennent le travail de Rodriguez sur cette question qui remonte à plusieurs années. C'est quelque chose d'important et nous en verrons plus à l'avenir, j'en suis sûr.

Cependant, certains diront que la métrique de Fisher n'est qu'une approximation de second ordre de la vraie métrique (par exemple l'article de Neumann sur l'établissement des prieurs entropiques ) qui est en fait définie par la distance de Kullback-Liebler (ou généralisations de celle-ci) et qui conduit à la formulation de Zellner de MDI priors.

— Michael
source