ManipLVM-R1: Reinforcement Learning for Reasoning in Embodied Manipulation with Large Vision-Language Models
Rattachement africain : ae, cn, au. Niveau de preuve : code pays fourni par la source.
Le résumé fourni par la source
Large Vision-Language Models (LVLMs) have recently advanced robotic manipulation by leveraging vision for scene perception and language for instruction following. However, existing methods rely heavily on costly human-annotated training datasets, which limits their generalization and causes them to struggle in out-of-domain (OOD) scenarios, reducing real-world adaptability. To address these challenges, we propose ManipLVM-R1, a novel reinforcement learning framework that replaces traditional supervision with Reinforcement Learning using Verifiable Rewards (RLVR). By directly optimizing for task-aligned outcomes, our method enhances generalization and physical reasoning while removing the dependence on costly annotations. Specifically, we design two rule-based reward functions targeting key robotic manipulation subtasks: an Affordance Perception Reward to enhance localization of interaction regions, and a Trajectory Match Reward to ensure the physical plausibility of action paths. These rewards provide immediate feedback and impose spatial-logical constraints, encouraging the model to go beyond shallow pattern matching and instead learn deeper, more systematic reasoning about physical interactions. Experimental results show that ManipLVM-R1 achieves substantial performance gains across multiple manipulation tasks, using only 50% of the training data while achieving strong generalization to OOD scenarios. We further analyze the benefits of our reward design and its impact on task success and efficiency.
Ce résumé expose les affirmations des auteurs. BNTIC ne l’interprète pas comme une validation indépendante des résultats.
Le contrôle bibliographique ouvert
DOI retrouvé dans Crossref DOI retrouvé ; titre concordant.
- Titre Crossref
- ManipLVM-R1: Reinforcement Learning for Reasoning in Embodied Manipulation with Large Vision-Language Models
- Date Crossref
- 14/03/2026
- Éditeur
- Association for the Advancement of Artificial Intelligence (AAAI)
- Type
- journal-article
Ce recoupement confirme des métadonnées liées au DOI. Il ne confirme ni la méthode ni les conclusions de l’étude, et il ne compte pas comme une seconde source scientifique indépendante.
Où se fait cette recherche
-
Mohamed bin Zayed University of Artificial Intelligence pays non établi dans la noticeUniversité ou école supérieure
-
ByteDance (China) pays non établi dans la noticeEntreprise
-
Chinese Academy of Sciences pays non établi dans la noticeOrganisme public
-
Australian National University pays non établi dans la noticeUniversité ou école supérieure
-
Renmin University of China pays non établi dans la noticeUniversité ou école supérieure
-
Institute of Automation pays non établi dans la noticeStructure de recherche
Mohamed bin Zayed University of Artificial Intelligence, ByteDance (China) et Chinese Academy of Sciences, avec 3 autres affiliations.
Une affiliation ne permet pas de déduire la nationalité d’un auteur.