Scaling Off-Policy Reinforcement Learning with Batch and Weight Normalization
Rattachement africain : us, se, de. Niveau de preuve : code pays fourni par la source.
Le résumé fourni par la source
Reinforcement learning has achieved significant milestones, but sample efficiency remains a bottleneck for real-world applications. Recently, CrossQ has demonstrated state-of-the-art sample efficiency with a low update-to-data (UTD) ratio of 1. In this work, we explore CrossQ's scaling behavior with higher UTD ratios. We identify challenges in the training dynamics, which are emphasized by higher UTD ratios. To address these, we integrate weight normalization into the CrossQ framework, a solution that stabilizes training, has been shown to prevent potential loss of plasticity and keeps the effective learning rate constant. Our proposed approach reliably scales with increasing UTD ratios, achieving competitive performance across 25 challenging continuous control tasks on the DeepMind Control Suite and Myosuite benchmarks, notably the complex dog and humanoid environments. This work eliminates the need for drastic interventions, such as network resets, and offers a simple yet robust pathway for improving sample efficiency and scalability in model-free reinforcement learning.
Ce résumé expose les affirmations des auteurs. BNTIC ne l’interprète pas comme une validation indépendante des résultats.
Le contrôle bibliographique ouvert
DOI retrouvé dans Crossref DOI retrouvé ; titre concordant.
- Titre Crossref
- Scaling Off-Policy Reinforcement Learning with Batch and Weight Normalization
- Date Crossref
- 01/01/2025
- Éditeur
- Neural Information Processing Systems Foundation, Inc. (NeurIPS)
- Type
- proceedings-article
Ce recoupement confirme des métadonnées liées au DOI. Il ne confirme ni la méthode ni les conclusions de l’étude, et il ne compte pas comme une seconde source scientifique indépendante.
Où se fait cette recherche
-
Hess (United States) pays non établi dans la noticeEntreprise
-
KTH Royal Institute of Technology pays non établi dans la noticeUniversité ou école supérieure
-
Technische Universität Darmstadt pays non établi dans la noticeUniversité ou école supérieure
-
hessian.AI & pays non établi dans la noticeInstitution
-
TU Darmstadt pays non établi dans la noticeInstitution
-
German Research Center for AI pays non établi dans la noticeStructure de recherche
Hess (United States), KTH Royal Institute of Technology et Technische Universität Darmstadt, avec 3 autres affiliations.
Une affiliation ne permet pas de déduire la nationalité d’un auteur.