Few-Step Diffusion Language Models via Trajectory Self-Distillation
Rattachement africain : nl, us, de. Niveau de preuve : code pays fourni par la source.
Le résumé fourni par la source
Diffusion large language models (DLLMs) have emerged as powerful generative models with the promise of fast text generation through parallel decoding. However, realizing this potential in practice remains challenging: reducing the number of decoding steps, typically causes a substantial degradation in output quality due to token factorization error. To alleviate this, we propose a self-distillation framework that trains a few-step student to match the generative trajectory of a full-step teacher. We theoretically and empirically show that trajectory-level supervision mitigates this factorization error, thereby enabling effective few-step decoding. We further incorporate Direct Discriminative Optimization (DDO), a reverse-KL objective that encourages mode-seeking toward the teacher's modes, yielding stronger performance on challenging reasoning tasks. Across reasoning and code-generation benchmarks, our method substantially narrows the gap between few-step and full-step decoding. The source code is available at https://github.com/Tyrion58/T3D.
Ce résumé expose les affirmations des auteurs. BNTIC ne l’interprète pas comme une validation indépendante des résultats.
Le contrôle bibliographique ouvert
Où se fait cette recherche
-
Rutgers Sexual and Reproductive Health and Rights pays non établi dans la noticeInstitution
-
Red Hat (United States) pays non établi dans la noticeEntreprise
-
IBM (United States) pays non établi dans la noticeEntreprise
-
Amazon (Germany) pays non établi dans la noticeEntreprise
-
Rutgers University Department of Computer Sci- ence pays non établi dans la noticeUniversité ou école supérieure
-
Red Hat AI Innovation pays non établi dans la noticeInstitution
-
MIT - IBM Watson AI Lab pays non établi dans la noticeStructure de recherche
Rutgers Sexual and Reproductive Health and Rights, Red Hat (United States) et IBM (United States), avec 4 autres affiliations.
Une affiliation ne permet pas de déduire la nationalité d’un auteur.