PETAH: Parameter Efficient Task Adaptation for Hybrid Transformers
Rattachement africain : de, us. Niveau de preuve : code pays fourni par la source.
Le résumé fourni par la source
Transformers have revolutionized natural language processing (NLP) and are increasingly influential in computer vision tasks. Despite their strong performance and multitasking capabilities, transformers' high computational demands limit their applicability in resource-constrained environments, where convolutional or hybrid models (combining convolution and attention layers) often excel, particularly in the sub-100M parameter range. While parameterefficient task adaptation techniques have been successful in NLP, they have not been widely adopted for hybrid transformers in vision tasks. In this work, we introduce PETAH (Parameter Efficient Task Adaptation for Hybrid Transformers), a novel framework for efficiently adapting hybrid transformers to new tasks. We further combine PETAH with pruning to create high-performing and storage-efficient models suitable for multi-tasking. Our extensive evaluations on classification and other vision tasks demonstrate that PETAH-adapted hybrid models outperform established task-adaptation techniques for Vision Transformers (ViTs), requiring fewer parameters and achieving greater efficiency on mobile hardware.
Ce résumé expose les affirmations des auteurs. BNTIC ne l’interprète pas comme une validation indépendante des résultats.
Le contrôle bibliographique ouvert
DOI retrouvé dans Crossref DOI retrouvé ; titre concordant.
- Titre Crossref
- PETAH: Parameter Efficient Task Adaptation for Hybrid Transformers
- Date Crossref
- 11/06/2025
- Éditeur
- IEEE
- Type
- proceedings-article
Ce recoupement confirme des métadonnées liées au DOI. Il ne confirme ni la méthode ni les conclusions de l’étude, et il ne compte pas comme une seconde source scientifique indépendante.
Où se fait cette recherche
-
TH Bingen University of Applied Sciences pays non établi dans la noticeUniversité ou école supérieure
-
New York University pays non établi dans la noticeUniversité ou école supérieure
-
Collaborative Drug Discovery (United States) pays non établi dans la noticeEntreprise
-
University of Tü pays non établi dans la noticeUniversité ou école supérieure
-
Meta Inc. pays non établi dans la noticeEntreprise
TH Bingen University of Applied Sciences, New York University et Collaborative Drug Discovery (United States), avec 2 autres affiliations.
Une affiliation ne permet pas de déduire la nationalité d’un auteur.