Heuristique pour l'optimisation

Comme c'est vendredi, il est temps de poser une question CW. Je recherche des heuristiques qui ont une large utilisation dans les problèmes d'optimisation. Pour limiter la portée à des heuristiques plus «favorables à la théorie», voici les règles (certaines arbitraires, d'autres non)

• Ce devrait être une méthode bien définie, sans nombreux paramètres, et avec un temps d'exécution concret (peut-être par itération)
• Il devrait y avoir des résultats théoriques connus qui lui sont associés (taux de convergence, limites d'approximation le cas échéant, propriétés stationnaires, etc.)
• Il devrait avoir une large applicabilité et au moins une application phare où c'est la méthode de choix ou l'une des quelques-unes.
• il ne devrait pas être inspiré par la nature (bien que cela semble être une objection frivole, j'essaie d'exclure les algorithmes génétiques, l'optimisation des colonies de fourmis et autres).

Les réponses devraient idéalement être dans le format suivant: voici un exemple.

Nom : Optimisation alternée

Objectif : minimiser une fonction (généralement non convexe)$f(x,y)$

Conditions : Les fonctions associées et h (y) = \ min_x f (x, y) sont convexes$g(x) = \min_y f(x,y)$$h(y) = \min_x f(x,y)$

Algorithme : l' itération $i^{\text{th}}$ commence par $x_i, y_i$ .

1. $x_{i+1} \leftarrow \arg \min_x f(x, y_i)$
2. $y_{i+1} \leftarrow \arg\min_y f(x_{i+1}, y)$

Application la plus connue : $k$ -means, paire la plus proche itérée.

Théorie : Résultats connus sur moyennes, conditions générales suffisantes pour l'optimalité globale du cadre$k$

ps Vous pourriez trouver que votre réponse se termine par une conférence dans un séminaire sur les algorithmes que je prévois :)

Nom: moindres carrés repondérés itérés
Objectif: minimiser la fonction de la forme , , , Conditions: dépendent du cas Algorithme: évident - fixer les poids, résoudre le problème quadratique, recalculer les poids Meilleure application connue: médiane géométrique, estimateurs M, norme , détection compressée Théorie: éprouvée au cas par cas$\sum w(\theta)F(\theta)^2$$\theta\in R^n$$F(\theta) \in R^m$$w(\theta)\in R$


$L_p$