Mean Flow Distillation: Robust and Stable Distillation for Flow Matching Models
Rattachement africain : cn, us. Niveau de preuve : code pays fourni par la source.
Le résumé fourni par la source
Flow Matching models have demonstrated strong performance across a wide range of generative tasks. However, their reliance on ODE-based iterative sampling incurs substantial computational overhead in inference, which limits their applicability in real-time scenes. While distillation is a promising solution, existing approaches largely borrow from diffusion-based score matching, often failing to exploit the intrinsic geometric structure of flows and suffering from training instability, high variance, and degraded generation quality. In this paper, we propose Mean Flow Distillation (MFD), a novel distillation framework tailored for flow matching models. We theoretically demonstrate that MFD acts as a temporal low-pass filter, effectively suppressing the high-frequency optimization noise inherent in variational score distillation (VSD) while ensuring global trajectory consistency. We further prove the Mean Flow Matching Theorem, establishing that matching expected average velocities is sufficient for strict distribution alignment. Empirically, on challenging tasks of high-dimensional manifolds including 4D occupancy forecasting and text-to-image generation, MFD achieves state-of-the-art performance, enabling high-fidelity single-step generation.
Ce résumé expose les affirmations des auteurs. BNTIC ne l’interprète pas comme une validation indépendante des résultats.
Le contrôle bibliographique ouvert
Où se fait cette recherche
-
Jiyang College of Zhejiang A&F University pays non établi dans la noticeUniversité ou école supérieure
-
Zhejiang University of Science and Technology pays non établi dans la noticeUniversité ou école supérieure
-
Zhejiang University of Technology pays non établi dans la noticeUniversité ou école supérieure
-
Zhejiang University pays non établi dans la noticeUniversité ou école supérieure
-
Princeton University pays non établi dans la noticeUniversité ou école supérieure
-
Zhejiang Lab pays non établi dans la noticeStructure de recherche
-
College of Computer Science and Technology pays non établi dans la noticeUniversité ou école supérieure
-
School of Software Technology pays non établi dans la noticeUniversité ou école supérieure
-
College of Artificial Intelligence pays non établi dans la noticeUniversité ou école supérieure
Jiyang College of Zhejiang A&F University, Zhejiang University of Science and Technology et Zhejiang University of Technology, avec 6 autres affiliations.
Une affiliation ne permet pas de déduire la nationalité d’un auteur.