Numerical Pruning for Efficient Autoregressive Models
Rattachement africain : mx, us, au. Niveau de preuve : code pays fourni par la source.
Le résumé fourni par la source
Transformers have emerged as the leading architecture in deep learning, proving to be versatile and highly effective across diverse domains beyond language and image processing. However, their impressive performance often incurs high computational costs due to their substantial model size. This paper focuses on compressing decoder-only transformer-based autoregressive models through structural weight pruning to improve the model efficiency while preserving performance for both language and image generation tasks. Specifically, we propose a training-free pruning method that calculates a numerical score with Newton's method for the Attention and MLP modules, respectively. Besides, we further propose another compensation algorithm to recover the pruned model for better performance. To verify the effectiveness of our method, we provide both theoretical support and extensive experiments. Our experiments show that our method achieves state-of-the-art performance with reduced memory usage and faster generation speeds on GPUs.
Ce résumé expose les affirmations des auteurs. BNTIC ne l’interprète pas comme une validation indépendante des résultats.
Le contrôle bibliographique ouvert
DOI retrouvé dans Crossref DOI retrouvé ; titre concordant.
- Titre Crossref
- Numerical Pruning for Efficient Autoregressive Models
- Date Crossref
- 11/04/2025
- Éditeur
- Association for the Advancement of Artificial Intelligence (AAAI)
- Type
- journal-article
Ce recoupement confirme des métadonnées liées au DOI. Il ne confirme ni la méthode ni les conclusions de l’étude, et il ne compte pas comme une seconde source scientifique indépendante.
Où se fait cette recherche
-
Universidad del Noreste pays non établi dans la noticeUniversité ou école supérieure
-
University of California pays non établi dans la noticeUniversité ou école supérieure
-
Adobe Systems (United States) pays non établi dans la noticeEntreprise
-
California University of Pennsylvania pays non établi dans la noticeUniversité ou école supérieure
-
Middle Tennessee State University pays non établi dans la noticeUniversité ou école supérieure
-
Australian Regenerative Medicine Institute pays non établi dans la noticeStructure de recherche
-
Monash University pays non établi dans la noticeUniversité ou école supérieure
-
Northeastern University pays non établi dans la noticeUniversité ou école supérieure
-
Adobe Research pays non établi dans la noticeInstitution
Universidad del Noreste, University of California et Adobe Systems (United States), avec 6 autres affiliations.
Une affiliation ne permet pas de déduire la nationalité d’un auteur.