Les algorithmes d'apprentissage automatique utilisent constamment l'optimisation. Nous minimisons la perte ou l'erreur, ou maximisons une sorte de fonctions de score. La descente de gradient est l'algorithme d'optimisation "bonjour le monde" couvert probablement sur n'importe quel cours d'apprentissage automatique. C'est évident dans le cas des modèles de régression ou de classification, mais même avec des tâches telles que le clustering, nous recherchons une solution qui s'adapte de manière optimale à nos données (par exemple, k-means minimise la somme des carrés intra-cluster). Donc, si vous souhaitez comprendre le fonctionnement des algorithmes d'apprentissage automatique, en savoir plus sur l'optimisation est utile. De plus, si vous devez faire des choses comme le réglage hyperparamétrique, vous utilisez également directement l'optimisation.
On pourrait dire que l'optimisation convexe ne devrait pas être si intéressante pour l'apprentissage automatique car au lieu de traiter des fonctions convexes , nous rencontrons souvent des surfaces de perte comme celle ci-dessous, qui sont loin d'être convexes .
(source: https://www.cs.umd.edu/~tomg/projects/landscapes/ et arXiv: 1712.09913 )
Néanmoins, comme mentionné dans d'autres réponses, l'optimisation convexe est plus rapide, plus simple et moins gourmande en calcul, il est donc souvent plus facile de «convexifier» un problème (le rendre convivial pour l'optimisation convexe), puis d'utiliser l'optimisation non convexe. Par exemple, les algorithmes de descente de gradient et similaires sont couramment utilisés dans l'apprentissage automatique, en particulier pour les réseaux de neurones, car ils "fonctionnent", évoluent et sont largement mis en œuvre dans différents logiciels, néanmoins ils ne sont pas les meilleurs que nous pouvons obtenir et avoir leurs pièges , tel que discuté par le discours d'Ali Rahimi au NIPS 2017 .
D'un autre côté, les algorithmes d'optimisation non convexes tels que les algorithmes évolutionnaires semblent gagner de plus en plus de reconnaissance dans la communauté ML, par exemple la formation de réseaux de neurones par neuroévolution semble être un sujet de recherche récent (voir aussi arXiv: 1712.07897 ).