Quels types de problèmes mathématiques y a-t-il en IA sur lesquels les gens travaillent?

J'ai récemment obtenu un poste postdoctoral de 18 mois dans un département de mathématiques. C'est un poste avec un devoir d'enseignement relativement léger et beaucoup de liberté sur le type de recherche que je veux faire.

Auparavant, je faisais principalement des recherches en probabilité et en combinatoire. Mais je pense faire un peu plus de travail orienté application, par exemple l'IA. (Il y a aussi la considération qu'il y a de fortes chances que je n'obtienne pas de poste menant à la permanence à la fin de mon poste actuel. Apprendre un peu d'IA pourrait être utile pour d'autres possibilités de carrière.)

Sur quels types de problèmes mathématiques l' IA travaille-t-elle? D'après ce que j'ai entendu, il y a des gens qui étudient

• Automate fini déterministe
• Problèmes de bandit à plusieurs bras
• Recherche d'arbres de Monte Carlo
• Détection communautaire

D'autres exemples?

En intelligence artificielle (parfois appelée intelligence machine ou intelligence computationnelle ), plusieurs problèmes reposent sur des thèmes mathématiques, notamment l'optimisation, les statistiques, la théorie des probabilités, le calcul et l'algèbre linéaire.

Marcus Hutter a travaillé sur une théorie mathématique pour l'intelligence générale artificielle , appelée AIXI , qui est basée sur plusieurs concepts mathématiques et de science des calculs, tels que l'apprentissage par renforcement, la théorie des probabilités (par exemple le théorème de Bayes et les sujets connexes) , la théorie des mesures , la théorie de l'information algorithmique (par exemple Complexité de Kolmogorov), optimisation, induction de Solomonoff , recherche universelle de Levin et théorie du calcul (par exemple machines de Turing universelles). Son livre Universal Artificial Intelligence: Sequential Decisions based on Algorithmic Probability, qui est un livre hautement technique et mathématique, décrit sa théorie des agents d'apprentissage par renforcement bayésien non Markov optimaux.

Il y a aussi le domaine de recherche appelé théorie de l'apprentissage computationnel , qui est consacré à l'étude de la conception et de l'analyse d'algorithmes d'apprentissage automatique. Plus précisément, le domaine se concentre sur l'étude rigoureuse et l'analyse mathématique d'algorithmes d'apprentissage automatique en utilisant des techniques de domaines tels que la théorie des probabilités, les statistiques, l'optimisation, la théorie de l'information et la géométrie. Plusieurs personnes ont travaillé sur la théorie de l'apprentissage informatique, notamment Michael Kearns et Vladimir Vapnik . Il existe également un domaine connexe appelé théorie de l'apprentissage statistique .

De nombreux efforts de recherche sont également consacrés aux approximations (heuristiques) de l' optimisation combinatoire et des problèmes NP-complets , tels que l' optimisation des colonies de fourmis .

Il existe également des travaux sur l' intégralité de l'IA , mais cela n'a pas reçu beaucoup d'attention (par rapport aux autres domaines de recherche mentionnés ci-dessus).

La plupart du travail mathématique effectué en IA que je connais est déjà couvert dans la réponse de nbro. Une chose que je ne crois pas est encore couverte dans cette réponse est de prouver l'équivalence algorithmique et / ou de dériver des algorithmes équivalents . L'un de mes articles préférés à ce sujet est Apprendre à prédire indépendamment de la portée de Hado van Hasselt et Richard Sutton.

L'idée de base est que nous pouvons d'abord formuler un algorithme (sous forme mathématique, par exemple certaines règles / équations de mise à jour pour les paramètres que nous formons) d'une manière, puis trouver différentes règles / équations de mise à jour (c'est-à-dire un algorithme différent) pour dont on peut prouver qu'elle est équivalente à la première (c'est-à-dire qu'elle donne toujours la même sortie).

Un cas typique où cela est utile est si le premier algorithme est facile à comprendre / fait appel à notre intuition / est plus pratique pour les preuves de convergence ou d'autres analyses théoriques, et le deuxième algorithme est plus efficace (en termes de calcul, de mémoire requise, etc. .).

Spécifiquement pour les appareils mathématiques des réseaux de neurones - théorie de la matrice aléatoire . La théorie de la matrice aléatoire non asymptotique a été utilisée dans certaines preuves de convergence de descente de gradient pour les réseaux de neurones , les paysages aléatoires de haute dimension en relation avec le spectre de Hesse ont une relation avec les surfaces de perte des réseaux de neurones .

L'analyse des données topologiques est un autre domaine de recherche intense lié au ML, à l'IA et appliqué aux réseaux de neurones .

Il y avait quelques travaux sur la géométrie tropicale des réseaux de neurones

La théorie du type d'homotopie a également une connexion à l'IA