Quelle est la différence entre la recherche et l'apprentissage?

Je suis tombé sur un article, The Bitter Truth , via la chaîne YouTube Two Minute Papers . Rich Sutton dit ...

Une leçon à tirer de cette leçon amère est la grande puissance des méthodes à usage général, des méthodes qui continuent à évoluer avec un calcul accru, même si le calcul disponible devient très grand. Les deux méthodes qui semblent évoluer arbitrairement de cette manière sont la recherche et l' apprentissage .

Quelle est la différence entre la recherche et l'apprentissage ici? Ma compréhension est que l'apprentissage est une forme de recherche - où nous recherchons de manière itérative une certaine représentation des données qui minimise une fonction de perte dans le contexte de l'apprentissage en profondeur.

Dans le contexte de l'IA:

1. La recherche se réfère au General Problem Solver de Simon & Newell , et à ses nombreux (nombreux) algorithmes descendants. Ces algorithmes prennent la forme:

   une. Représente un état actuel d'une partie du monde sous la forme d'un sommet dans un graphique.

   b. Représenter, connecté à l'état actuel par des bords, tous les états du monde qui pourraient être atteints à partir de l'état actuel en changeant le monde en une seule action, et représenter tous les états suivants de la même manière.

   c. Trouvez algorithmiquement une séquence d'actions qui mène d'un état actuel à un état objectif plus souhaité, en vous promenant sur ce graphique.

Google Maps est un exemple d'application qui utilise la recherche. Un autre est Google Flights.

2. L'apprentissage fait référence à tout algorithme qui affine une croyance sur le monde à travers l'exposition à des expériences ou à des exemples d'expériences d'autrui. Les algorithmes d'apprentissage n'ont pas de parent clair, car ils ont été développés séparément dans de nombreux sous-domaines ou disciplines différents. Une taxonomie raisonnable est le modèle des 5 tribus . Certains algorithmes d'apprentissage utilisent en fait la recherche en eux-mêmes pour comprendre comment changer leurs croyances en réponse à de nouvelles expériences!

   Un exemple d'algorithme d'apprentissage utilisé aujourd'hui est le Q-learning , qui fait partie de la famille plus générale d' algorithmes d' apprentissage par renforcement . Le Q-learning fonctionne comme ceci:

   une. Le programme d'apprentissage (généralement appelé agent ) reçoit une représentation de l'état actuel du monde et une liste d'actions qu'il pourrait choisir d'effectuer.

   b. Si l'agent n'a jamais vu cet état du monde auparavant, il attribue un nombre aléatoire à la récompense qu'il s'attend à obtenir pour effectuer chaque action. Il stocke ce numéro sous$Q(s,a)$, sa conjecture sur la qualité de l'exécution de l'action $a$ en état $s$.

   c. L'agent regarde$Q(s,a)$pour chaque action qu'il pourrait effectuer. Il choisit la meilleure action avec une certaine probabilité$\epsilon$ et agit autrement au hasard.

   ré. L'action de l'agent fait changer le monde et peut entraîner la récompense de l'agent de l'environnement. L'agent note s'il a obtenu une récompense (et combien était la récompense), et à quoi ressemble le nouvel état du monde. Il ajuste ensuite sa croyance sur la qualité de l'exécution de l'action qu'il a effectuée dans l'état dans lequel il se trouvait, de sorte que sa croyance sur la qualité de cette action soit plus proche de la réalité de la récompense qu'il a obtenue et de la qualité de l'endroit où il a été fini.

   e. L'agent répète les étapes bd pour toujours. Au fil du temps, ses convictions sur la qualité des différentes paires état / action convergeront pour correspondre de plus en plus à la réalité.

Un exemple d'application qui utilise l'apprentissage est les recommandations AI.SEs, qui sont faites par un programme qui analyse probablement les relations entre différentes combinaisons de mots dans des paires de messages, et la probabilité que quelqu'un clique dessus. Chaque fois que quelqu'un clique dessus, il apprend que l'inscription d'un article comme lié est une bonne idée ou non. Le flux Facebook est un autre exemple de tous les jours.

Une façon de penser la différence entre la recherche et l'apprentissage est que la recherche implique généralement une clé de recherche, et un algorithme parcourt la structure à la recherche d'une correspondance entre la clé et un élément déjà existant. Alors que l'apprentissage est la création de la structure en premier lieu. Mais la recherche et l'apprentissage sont liés en ce qu'à la réception d'une entrée (disons d'un ou plusieurs capteurs), la structure est initialement recherchée pour voir si l'entrée existe déjà, mais si ce n'est pas le cas, l'entrée actuelle (lorsque certaines conditions sont remplies) s'ajoute à la structure, et l'apprentissage suit un échec de recherche.