Dynamic reinforcement learning reveals time-dependent shifts in strategy during reward learning
Rattachement africain : us, gb. Niveau de preuve : code pays fourni par la source.
Le résumé fourni par la source
Abstract Different brain systems have been hypothesized to subserve multiple “experts” that compete to generate behavior. In reinforcement learning, two general processes, one model-free (MF) and one model-based (MB), are often modeled as a mixture of agents (MoA) and hypothesized to capture differences between automaticity vs. deliberation. However, shifts in strategy cannot be captured by a static MoA. To investigate such dynamics, we present the mixture-of-agents hidden Markov model (MoA-HMM), which simultaneously learns inferred action values from a set of agents and the temporal dynamics of underlying “hidden” states that capture shifts in agent contributions over time. Applying this model to a multi-step,reward-guided task in rats reveals a progression of within-session strategies: a shift from initial MB exploration to MB exploitation, and finally to reduced engagement. The inferred states predict changes in both response time and OFC neural encoding during the task, suggesting that these states are capturing real shifts in dynamics.
Ce résumé expose les affirmations des auteurs. BNTIC ne l’interprète pas comme une validation indépendante des résultats.
Le contrôle bibliographique ouvert
DOI retrouvé dans Crossref DOI retrouvé ; titre concordant.
- Titre Crossref
- Dynamic reinforcement learning reveals time-dependent shifts in strategy during reward learning
- Date Crossref
- 10/05/2024
- Éditeur
- eLife Sciences Publications, Ltd
- Type
- posted-content
Ce recoupement confirme des métadonnées liées au DOI. Il ne confirme ni la méthode ni les conclusions de l’étude, et il ne compte pas comme une seconde source scientifique indépendante.
Où se fait cette recherche
-
Princeton University pays non établi dans la noticeUniversité ou école supérieure
-
Google (United States) pays non établi dans la noticeEntreprise
-
Google DeepMind (United Kingdom) pays non établi dans la noticeEntreprise
-
University College London pays non établi dans la noticeUniversité ou école supérieure
-
Howard Hughes Medical Institute pays non établi dans la noticeStructure de recherche
Princeton University, Google (United States) et Google DeepMind (United Kingdom), avec 2 autres affiliations.
Une affiliation ne permet pas de déduire la nationalité d’un auteur.