Comment choisir le meilleur algorithme pour un jeu de société comme les dames?
Jusqu'à présent, je n'ai considéré que trois algorithmes, à savoir le minimax, l'élagage alpha-bêta et la recherche d'arbre Monte Carlo (MCTS). Apparemment, la taille alpha-bêta et les SCTM sont des extensions de l'algorithme de base minimax.
Réponses:
tl; dr:
Aucun de ces algorithmes n'est pratique pour le travail moderne, mais ce sont de bons endroits pour commencer pédagogiquement.
Vous devriez toujours préférer utiliser l'élagage Alpha-Beta plutôt que la recherche nue minimax.
Vous devriez préférer utiliser une forme de recherche guidée heuristique si vous pouvez trouver une heuristique utile. Venir avec une heuristique utile nécessite généralement beaucoup de connaissances dans le domaine.
Vous devriez préférer utiliser la recherche Monte Carlo Tree lorsque vous manquez d'une bonne heuristique, lorsque les ressources de calcul sont limitées et lorsque les erreurs n'ont pas des conséquences surdimensionnées dans le monde réel.
Plus de détails:
Dans la recherche minimax, nous n'essayons pas d'être très intelligents. Nous utilisons simplement une approche de programmation dynamique standard. Il est facile de comprendre la valeur des mouvements de différence si nous sommes proches de la fin du jeu (puisque le jeu se terminera au prochain coup, nous n'avons pas à regarder très loin). De même, si nous savons ce que fera notre adversaire lors du dernier coup du jeu, il est facile de comprendre ce que nous devons faire lors de l'avant-dernier coup. En fait, nous pouvons traiter l'avant-dernier coup comme le dernier coup d'une partie plus courte. Nous pouvons ensuite répéter ce processus. L'utilisation de cette approche est certaine de découvrir les meilleures stratégies dans un jeu de forme étendue standard, mais nous obligera à considérer chaque mouvement possible, ce qui est impossible pour tous, sauf les jeux les plus simples.
L'élagage Alpha-Beta est une amélioration stricte de la recherche Minimax. Il utilise le fait que certains mouvements sont évidemment pires que d'autres. Par exemple, aux échecs, je n'ai pas besoin d'envisager un mouvement qui vous donnerait la possibilité de me mettre en échec et mat, même si vous pouviez faire autre chose à partir de cette position. Une fois que je vois qu'un mouvement peut entraîner une perte, je ne vais pas me soucier de ce qui pourrait arriver d'autre à partir de ce moment. Je vais regarder d'autres choses. Cet algorithme est également certain de donner le résultat correct, et est plus rapide, mais doit toujours prendre en compte la plupart des mouvements dans la pratique.
Il existe deux façons courantes de contourner le coût informatique extrême de la résolution exacte de ces types de jeux:
Utilisez une méthode heuristique (la recherche A * est l'algorithme habituel à des fins pédagogiques, mais la recherche de repos est une idée similaire dans les jeux à 2 joueurs). C'est juste une fonction qui donne une estimation de la valeur d'un état du jeu. Au lieu de considérer tous les mouvements dans un jeu, vous pouvez simplement considérer les mouvements à une distance finie, puis utiliser la valeur de l'heuristique pour juger de la valeur des états que vous avez atteints. Si votre heuristique est cohérente (essentiellement: si elle surestime toujours la qualité des états), alors cela donnera toujours la bonne réponse, mais avec d'énormes accélérations dans la pratique.
Utilisez des déploiements (comme Monte Carlo Tree Search). Fondamentalement, au lieu de considérer chaque mouvement, exécutez quelques milliers de jeux simulés entre des joueurs agissant au hasard (c'est plus rapide que de considérer tous les mouvements possibles). Attribuez une valeur aux états égale au taux de gain moyen des jeux à partir de celui-ci. Cela peut ne pas donner la bonne réponse, mais dans certains types de jeux, il fonctionne de manière fiable. Il est souvent utilisé comme une extension de techniques plus précises, plutôt que d'être utilisé seul.
NB La raison pour laquelle je n'ai choisi que ces trois algorithmes est due au temps dont je dispose pour les comprendre. À partir d'une petite recherche, j'ai trouvé que ces algorithmes sont essentiellement imbriqués dans l'algorithme minimax. Donc, si je peux comprendre l'un, les deux autres se mettront en place.
Dans ce contexte, je recommanderais de commencer avec Minimax . Des trois algorithmes, Minimax est le plus facile à comprendre.
Alpha-Beta , comme d'autres l'ont mentionné dans d'autres réponses, est une amélioration stricte par rapport à Minimax. Minimax fait fondamentalement partie de la mise en œuvre d'Alpha-Beta, et une bonne compréhension d'Alpha-Beta nécessite de commencer par une bonne compréhension de Minimax de toute façon. S'il vous reste du temps après avoir compris et implémenté Minimax, je vous recommande de passer ensuite à Alpha-Beta et de le construire au-dessus de Minimax. Commencer avec Alpha-Beta si vous ne comprenez pas encore Minimax n'a pas vraiment de sens.
Monte-Carlo Tree Search est probablement un peu plus avancé et plus compliqué à comprendre vraiment et profondément. Au cours de la dernière décennie, les SCTM ont vraiment grandi pour devenir beaucoup plus populaires que les deux autres. Par conséquent, de ce point de vue, la compréhension des SCTM peut être plus "utile".
La connexion entre Minimax et MCTS est moins directe / évidente que la connexion entre Minimax et Alpha-Beta, mais il existe toujours une connexion au moins sur le plan conceptuel. Je dirais qu'avoir une bonne compréhension de Minimax est toujours bénéfique avant de plonger dans les SCTM ; en particulier, comprendre Minimax et ses défauts / points faibles peut fournir un contexte utile / vous aider à comprendre pourquoi les SCTM sont devenus «nécessaires» / populaires.
Pour conclure, à mon avis:
Si vous devez choisir entre l'élagage Minimax et Alpha-Beta, vous devez choisir Alpha-beta. Il est plus efficace et plus rapide car il peut tailler une partie substantielle de votre arbre d'exploration. Mais vous devez ordonner les actions du meilleur au pire en fonction du point de vue max ou min, afin que l'algorithme puisse rapidement réaliser si l'exploration est nécessaire.