Géométrie algébrique pour les statistiques

J'ai entendu parler des utilisations de la géométrie algébrique en statistique et en apprentissage automatique. Je voulais essayer d'en apprendre un peu plus sur ces sujets. Je ne connais presque rien de la géométrie algébrique, mais j'ai une formation en mathématiques et je connais la théorie des groupes de base, les champs d'anneaux et certaines algèbres commutatives. Mes questions sont:

1. Quels sont les concepts géométriques algébriques que je devrais apprendre qui sont liés aux applications dans Stats / ML (je suppose qu'une partie seulement de ce qui est habituellement enseigné dans les cours et les livres géométriques algébriques est utile).

2. Pouvez-vous recommander des livres / documents d'introduction à quelqu'un avec mes antécédents? Je ne parle pas de manuels standard pour AG mais de quelque chose qui se concentre sur les concepts utilisés dans les applications.

Voici une liste des références standard:

• Drton, Sturmfels et Sullivant, Conférences sur les statistiques algébriques
• Pachter, Sturmfels, Statistiques algébriques pour la biologie computationnelle
• Pistone, Riccomagno, Wynn, Statistiques algébriques: Algèbre computationnelle de calcul en statistique
• Sullivant, Statistiques algébriques
• Zwiernik, Statistiques semi - algébriques et modèles d'arbres latents
• Riccomagno, une brève histoire des statistiques algébriques

Voici une liste de références connexes, ne traitant pas directement des statistiques algébriques, bien que fournissant un contexte dans la méthodologie utilisée pour le sujet:

• Lauritzen, Modèles graphiques
• Lauritzen, Algèbre abstraite concrète
• Perle, causalité: modèles, raisonnement et inférence
• Cox, Little, O'Shea, idéaux, variétés et algorithmes: une introduction à la géométrie algébrique computationnelle et à l'algèbre commutative
• Garrity, Belshoff, Boos, et al, Géométrie algébrique: une approche de résolution de problèmes
• Sturmfels, résolution de systèmes d'équations polynomiales
• Uhler, Géométrie de l'estimation du maximum de vraisemblance dans les modèles graphiques

Pages Web de cours sur le sujet, passé et présent:

• Cours du professeur Sturmfels à Berkeley
• Cours à la TU Berlin
• Séminaire à la Freie Universität, Berlin
• Conférence à l'Université de Gênes
• Séminaire de statistiques algébriques de Berkeley

Ces listes ne sont certainement pas exhaustives.

• Sumio Watanabe, Géométrie algébrique et théorie de l'apprentissage statistique , Cambridge University Press, Cambridge, Royaume-Uni, 2009.

Bien sûr d'être influent, ce livre jette les bases de l'utilisation de la géométrie algébrique dans la théorie de l'apprentissage statistique. De nombreux modèles statistiques et machines d'apprentissage largement utilisés appliqués aux sciences de l'information ont un espace de paramètres qui est singulier: les modèles de mélange, les réseaux de neurones, les HMM, les réseaux bayésiens et les grammaires sans contexte stochastiques en sont des exemples majeurs. La géométrie algébrique et la théorie de la singularité fournissent les outils nécessaires pour étudier de tels modèles non lisses. Quatre formules principales sont établies:

1. la fonction de vraisemblance logarithmique peut recevoir une forme standard commune en utilisant la résolution des singularités, même appliquée à des modèles plus complexes;

2. le comportement asymptotique de la vraisemblance marginale ou «l'évidence» est dérivé basé sur la théorie de la fonction zêta;

3. de nouvelles méthodes sont dérivées pour estimer les erreurs de généralisation dans les estimations de Bayes et Gibbs à partir d'erreurs d'entraînement;

4. les erreurs de généralisation du maximum de vraisemblance et les méthodes a posteriori sont clarifiées par la théorie des processus empiriques sur les variétés algébriques.