Statistiques et Big Data reinforcement-learning

3

Pourquoi y a-t-il toujours au moins une politique meilleure ou égale à toutes les autres politiques?

Apprentissage par renforcement: une introduction. Deuxième édition, en cours ., Richard S. Sutton et Andrew G. Barto (c) 2012, pp. 67-68. Résoudre une tâche d'apprentissage par renforcement signifie, en gros, trouver une politique qui obtient beaucoup de récompenses à long terme. Pour les MDP finis, nous pouvons définir précisément une …

15 markov-process reinforcement-learning

2

Questions sur Q-Learning à l'aide de réseaux de neurones

J'ai implémenté Q-Learning comme décrit dans, http://web.cs.swarthmore.edu/~meeden/cs81/s12/papers/MarkStevePaper.pdf Afin d'env. Q (S, A) J'utilise une structure de réseau neuronal comme la suivante, Sigmoïde d'activation Entrées, nombre d'entrées + 1 pour les neurones d'action (toutes les entrées mises à l'échelle 0-1) Sorties, sortie unique. Q-Value N nombre de M couches cachées. Méthode …

14 machine-learning neural-networks reinforcement-learning

1

GAM vs LOESS vs splines

Contexte : Je veux tracer une ligne dans un nuage de points qui n'apparaît pas paramétrique, donc j'utilise geom_smooth()in ggplotin R. Il retourne automatiquement geom_smooth: method="auto" and size of largest group is >=1000, so using gam with formula: y ~ s(x, bs = "cs"). Use 'method = x' to change …

14 r gam splines loess r data-visualization boxplot mathematical-statistics theory sufficient-statistics machine-learning classification correlation svm feature-selection probability stochastic-processes machine-learning reinforcement-learning

1

Quelle est la différence entre l'épisode et l'époque dans l'apprentissage Q profond?

J'essaie de comprendre le célèbre article "Jouer à Atari avec l'apprentissage par renforcement profond" ( pdf ). Je ne suis pas clair sur la différence entre une époque et un épisode . Dans l'algorithme , la boucle externe est sur des épisodes , tandis que sur la figure l'axe des …

14 neural-networks terminology reinforcement-learning q-learning

1

Pourquoi l'apprentissage par renforcement profond est-il instable?

Dans l'article de DeepMind de 2015 sur l'apprentissage par renforcement profond, il déclare que «les tentatives précédentes de combiner RL avec des réseaux de neurones ont échoué en grande partie en raison d'un apprentissage instable». L'article énumère ensuite certaines causes de cela, en fonction des corrélations entre les observations. S'il …

13 machine-learning neural-networks deep-learning reinforcement-learning

1

Algorithme optimal pour résoudre les problèmes de bandit à n bras?

Je l' ai lu sur un certain nombre d'algorithmes pour la résolution des problèmes de bandit n armés comme -greedy, softmax et UCB1, mais je vais avoir quelques problèmes de tri par quelle approche est la meilleure pour réduire au minimum le regret.ϵϵ\epsilon Existe-t-il un algorithme optimal connu pour résoudre …

13 machine-learning reinforcement-learning multiarmed-bandit

2

Pourquoi l'expérience de relecture nécessite un algorithme hors stratégie?

Dans le document présentant DQN " Jouer à Atari avec l'apprentissage par renforcement profond ", il mentionnait: Notez que lors de l'apprentissage par rejeu d'expérience, il est nécessaire d'apprendre hors politique (car nos paramètres actuels sont différents de ceux utilisés pour générer l'échantillon), ce qui motive le choix du Q-learning. …

12 reinforcement-learning

2

Traduire un problème d'apprentissage automatique dans un cadre de régression

Supposons que j'ai un panel de variables explicatives , pour , , ainsi qu'un vecteur de variables binaires dépendantes du résultat . Donc n'est observé qu'au moment final et pas à un moment antérieur. Le cas tout à fait général est d'avoir plusieurs pour pour chaque unité à chaque instant …

12 regression machine-learning reinforcement-learning

1

Comment ajuster les poids dans les valeurs Q avec approximation de la fonction linéaire

Dans l'apprentissage par renforcement, l'approximation de fonction linéaire est souvent utilisée lorsque de grands espaces d'états sont présents. (Lorsque les tables de recherche deviennent irréalisables.) La forme de la valeur avec approximation de la fonction linéaire est donnée parQ -Q−Q- Q ( s , a ) = w1F1( s , …

12 machine-learning feature-selection reinforcement-learning

2

Quand les méthodes de Monte-Carlo sont-elles préférées aux différences temporelles?

J'ai fait beaucoup de recherches récemment sur l'apprentissage par renforcement. J'ai suivi l' apprentissage par renforcement de Sutton & Barto : une introduction pour la plupart de cela. Je sais ce que sont les processus de décision de Markov et comment l'apprentissage par programmation dynamique (DP), Monte Carlo et différence …

12 monte-carlo reinforcement-learning temporal-difference

1

Quelle est la politique de déploiement dans le document d'AlphaGo?

Le papier est ici . La politique de déploiement ... est une politique de softmax linéaire basée sur des fonctionnalités rapides, calculées de manière incrémentielle et basées sur des modèles locaux ... Je ne comprends pas ce qu'est la politique de déploiement et comment elle est liée au réseau de …

11 machine-learning monte-carlo reinforcement-learning games

1

Q-learning avec Neural Network comme approximation de fonction

J'essaie d'utiliser un réseau neuronal afin d'approximer la valeur Q dans l'apprentissage Q comme dans les questions sur l'apprentissage Q à l'aide des réseaux de neurones . Comme suggéré dans la première réponse, j'utilise une fonction d'activation linéaire pour la couche de sortie, tandis que j'utilise toujours la fonction d'activation …

11 neural-networks reinforcement-learning

3

Quelle est la relation entre la théorie des jeux et l'apprentissage par renforcement?

Je suis intéressé par (Deep) Reinforcement Learning (RL) . Avant de plonger dans ce domaine, dois-je suivre un cours de théorie des jeux (GT) ? Quel est le lien entre GT et RL ?

11 deep-learning reinforcement-learning game-theory

2

Comment calculer exactement la fonction de perte Deep Q-Learning?

J'ai un doute sur la formation exacte de la fonction de perte d'un réseau Deep Q-Learning. J'utilise un réseau feedforward à 2 couches avec une couche de sortie linéaire et des couches cachées relu. Supposons que j'ai 4 actions possibles. Ainsi, la sortie de mon réseau pour l'état actuelststs_t est …

11 least-squares deep-learning loss-functions reinforcement-learning q-learning

1

Un modèle de P (Y | X) peut-il être formé par descente de gradient stochastique à partir d'échantillons non iid de P (X) et d'iid échantillons de P (Y | X)?

Lors de la formation d'un modèle paramétré (par exemple pour maximiser la probabilité) par descente de gradient stochastique sur certains ensembles de données, il est communément supposé que les échantillons d'apprentissage sont tirés de la distribution des données d'apprentissage. Donc, si l'objectif est de modéliser une distribution conjointe , alors …

10 machine-learning conditional-probability reinforcement-learning gradient-descent

Questions marquées «reinforcement-learning»