Déclarations prouvables sur les algorithmes génétiques

Les algorithmes génétiques n'ont pas beaucoup de poids dans le monde théorique, mais ils constituent une méthode métaheuristique assez bien utilisée (par métaheuristique, je veux dire une technique qui s'applique de manière générique à de nombreux problèmes, tels que l'annelage, la descente de gradient, etc.). En fait, une technique similaire à celle de l'AG est assez efficace pour le traitement des TSP euclidiennes .

Certaines métaheuristiques sont assez bien étudiées théoriquement: il existe des travaux sur la recherche locale et le recuit. Nous avons une assez bonne idée du fonctionnement de l'optimisation alternative ( comme k-means ). Mais pour autant que je sache, il n’ya rien de vraiment utile sur les algorithmes génétiques.

Existe-t-il une théorie algorithmique / de complexité solide sur le comportement des algorithmes génétiques, sous quelque forme que ce soit? Bien que j'aie entendu parler de choses comme la théorie des schémas , je l'exclurais de la discussion en fonction de ma compréhension actuelle du domaine pour ne pas être particulièrement algorithmique (mais je pourrais me tromper ici).

Y. Rabinovich, A. Wigderson. Techniques permettant de limiter le taux de convergence des algorithmes génétiques. Algorithmes de structures aléatoires, vol. 14, non. 2, 111-138, 1999. (également disponible sur la page d'accueil d'Avi Wigderson )

Jetez un coup d'œil au travail de Benjamin Doerr du groupe Algorithms chez Max Planck (MPI). Il s’agit d’essayer de faire des contributions prouvables aux algorithmes évolutifs.

Doerr a notamment co-édité un ouvrage récent, Theory of Randomized Search Heuristics

En plus de travailler sur le recuit simulé, Ingo Wegener avait quelques résultats théoriques sur les algorithmes évolutifs. La thèse de son doctorant Dirk Sudholt mérite également un coup d'oeil.

Connaissez-vous ce papier:

Jens Jägersküpper. Combinaison d'analyse de chaîne de Markov et d'analyse de dérive: l'algorithme (1 + 1) évolutif sur les fonctions linéaires rechargées .

Il indique le temps d’exécution attendu de pour les fonctions linéaires d’une classe d’algorithmes évolutifs.$O(n\log n)$

Au cours de la dernière décennie, l'analyse à la volée des algorithmes évolutifs, de l'optimisation des colonies de fourmis et d'autres métaheuristiques a considérablement progressé. Pour une enquête, veuillez vous reporter à Oliveto et al. (2007) .

Lovasz et Vempala (numéro spécial de FOCS 2003 de J. Comp. System Sci.) Utilisent une variante du recuit simulé pour obtenir un meilleur algorithme ( ) permettant de calculer le volume d'un corps convexe. De toute évidence, ils peuvent prouver quelque chose sur la variante qu'ils utilisent, afin d'obtenir la borne supérieure prouvable de leur algorithme global.$O^*(n^4)$

Vérifiez ces références:

Lothar Schmitt, Théorie des algorithmes génétiques II: modèles d'opérateurs génétiques sur la représentation des populations de tenseur de cordes et convergence vers des optima globaux pour une fonction de fitness arbitraire sous mise à l'échelle

Shiu Yin Yuen; BKS Cheung, Limites de probabilité de succès d'un algorithme génétique classique basé sur la distance de Hamming

Chang CY Dorea; Judinor A. Guerra Jr .; Rafael Morgado; Andre GC Pereira, Modélisation de la chaîne de Markov en plusieurs étapes de l'algorithme génétique et résultats de la convergence

C. Dombry, Un modèle de marche aléatoire pondéré. Application à un algorithme génétique

Il existe également un article de D. BHANDARI, CA MURTHY et SK PAL (malheureusement indisponible en ligne) qui fournit une preuve de convergence fondée sur deux hypothèses:

• Sélection élitiste: la meilleure solution de la génération doit être dans la générationt + $t$$t+1$
• L'opérateur de mutation permet de passer d'une solution à une autre en un nombre fini d'étapes

La preuve de convergence utilise un modèle de chaîne de Markov.

Voici la référence: Dinabandhu Bhandari, CA Murthy: Algorithme génétique avec modèle élitiste et sa convergence. IJPRAI 10 (6): 731-747 (1996)

Les modèles mathématiques d'algorithmes génétiques avec des populations finies mais non unitaires sont difficiles à manier et se sont révélés jusqu'ici inanimables à l'analyse pour toutes les fonctions de fitness, sauf la plus triviale. Il est intéressant de noter que si vous êtes prêt à accepter un argument de symétrie , un argument, en d’autres termes, qui n’est pas formulé dans les limites d’un système axiomatique formel, il existe un résultat intéressant et magnifique sur le pouvoir de calcul des algorithmes génétiques.

Plus précisément, un algorithme génétique à croisement uniforme est capable d’évaluer de manière implicite et parallèle un grand nombre de partitions de schéma grossières et peut identifier efficacement les partitions dont les schémas constitutifs ont des valeurs d’aptitude moyenne différentes. Cette forme de parallélisme implicite est en réalité plus puissante que celle décrite par John Holland et ses étudiants et, contrairement au parallélisme implicite décrit par Holland, elle peut être vérifiée expérimentalement. (Voir cet article de blog.)

Le document suivant explique comment des algorithmes génétiques avec filtrage croisé uniforme impliquent un parallélisme implicite dans une heuristique d’optimisation globale polyvalente appelée hyper - escalade :

Explication de l'optimisation dans les algorithmes génétiques avec croisement uniforme . Apparaître dans les actes de la conférence Foundations of Genetic Algorithms 2013.

(Avertissement: je suis l'auteur du journal)

Raphael Cerf a réalisé sa thèse de doctorat sur les algorithmes génétiques à Montpellier sous la direction d'Alain Berlinet, d'un point de vue mathématique. Il est assez ancien, mais ferait probablement partie de toute bibliographie sur les algorithmes génétiques.