MuTIS: Enhancing Reasoning Efficiency through Multi Turn Intervention Sampling in Reinforcement Learning
Rattachement africain : cn, us. Niveau de preuve : code pays fourni par la source.
Le résumé fourni par la source
Recently, large reasoning models (LRMs) have demonstrated state-of-the-art performance across a wide range of benchmarks.However, a common challenge for these models is the "overthinking" problem, which leads to excessive reasoning steps and significant computational overhead.Furthermore, the issues with long Chain-of-Thought (CoT) are especially pronounced in smaller models (≤ 3B parameters).Aside from producing excessively verbose "reflection words", they often exhibit repetition and get trapped in unproductive generation loops.Existing solutions typically involve either using flexible reasoning chains as training data or leveraging the model's latent space to bypass intermediate reasoning steps, but none of these methods have considered directly optimizing reasoning trajectories during the sampling phase of training.In our work, we introduce the Multi-Turn Intervention Sampling Framework (MuTIS).Our framework leverages multi-turn interventions to produce concise reasoning chains.It fine-tunes reasoning models through reinforcement learning, demonstrably breaking the accuracy-efficiency trade-off.It also demonstrates strong scalability, exhibiting excellent performance on 7B models.
Ce résumé expose les affirmations des auteurs. BNTIC ne l’interprète pas comme une validation indépendante des résultats.
Le contrôle bibliographique ouvert
DOI retrouvé dans Crossref DOI retrouvé ; titre concordant.
- Titre Crossref
- MuTIS: Enhancing Reasoning Efficiency through Multi Turn Intervention Sampling in Reinforcement Learning
- Date Crossref
- 01/01/2025
- Éditeur
- Association for Computational Linguistics
- Type
- proceedings-article
Ce recoupement confirme des métadonnées liées au DOI. Il ne confirme ni la méthode ni les conclusions de l’étude, et il ne compte pas comme une seconde source scientifique indépendante.
Où se fait cette recherche
-
Zhejiang University of Science and Technology pays non établi dans la noticeUniversité ou école supérieure
-
Harvard University Press pays non établi dans la noticeInstitution
-
Jiyang College of Zhejiang A&F University pays non établi dans la noticeUniversité ou école supérieure
-
Zhejiang University of Technology pays non établi dans la noticeUniversité ou école supérieure
-
Zhejiang University pays non établi dans la noticeUniversité ou école supérieure
-
College of Computer Science and Technology pays non établi dans la noticeUniversité ou école supérieure
-
College of Electrical Engineering pays non établi dans la noticeUniversité ou école supérieure
Zhejiang University of Science and Technology, Harvard University Press et Jiyang College of Zhejiang A&F University, avec 4 autres affiliations.
Une affiliation ne permet pas de déduire la nationalité d’un auteur.