Q-HyViT: Post-Training Quantization of Hybrid Vision Transformers With Bridge Block Reconstruction for IoT Systems
Rattachement africain : kr. Niveau de preuve : code pays fourni par la source.
Le résumé fourni par la source
Recently, vision transformers (ViTs) have superseded convolutional neural networks in numerous applications, including classification, detection, and segmentation. However, the high computational requirements of ViTs hinder their widespread implementation. To address this issue, researchers have proposed efficient hybrid transformer architectures that combine convolutional and transformer layers with optimized attention computation of linear complexity. Additionally, posttraining quantization (PTQ) has been proposed as a means of mitigating computational demands. For mobile devices, achieving optimal acceleration for ViTs necessitates the strategic integration of quantization techniques and efficient hybrid transformer structures. However, no prior investigation has applied quantization to efficient hybrid transformers. In this article, we discover that applying existing PTQ methods for ViTs to efficient hybrid transformers leads to a drastic accuracy drop, attributed to the four following challenges: 1) highly dynamic ranges; 2) zero-point overflow; 3) diverse normalization; and 4) limited model parameters (https://gitlab.com/ones-ai/q-hyvit.
Ce résumé expose les affirmations des auteurs. BNTIC ne l’interprète pas comme une validation indépendante des résultats.
Le contrôle bibliographique ouvert
DOI retrouvé dans Crossref DOI retrouvé ; titre concordant.
- Titre Crossref
- Q-HyViT: Post-Training Quantization of Hybrid Vision Transformers With Bridge Block Reconstruction for IoT Systems
- Date Crossref
- 15/11/2024
- Éditeur
- Institute of Electrical and Electronics Engineers (IEEE)
- Type
- journal-article
Ce recoupement confirme des métadonnées liées au DOI. Il ne confirme ni la méthode ni les conclusions de l’étude, et il ne compte pas comme une seconde source scientifique indépendante.
Où se fait cette recherche
-
Electronics and Telecommunications Research Institute pays non établi dans la noticeStructure de recherche
-
Korea Electronics Technology Institute pays non établi dans la noticeStructure de recherche
-
Korea Advanced Institute of Science and Technology Department of Industrial and Systems Engineering pays non établi dans la noticeUniversité ou école supérieure
-
Artificial Intelligence Computing Research Laboratory pays non établi dans la noticeStructure de recherche
-
SoC Platform Research Center pays non établi dans la noticeStructure de recherche
Electronics and Telecommunications Research Institute, Korea Electronics Technology Institute et Department of Industrial and Systems Engineering — Korea Advanced Institute of Science and Technology, avec 2 autres affiliations.
Une affiliation ne permet pas de déduire la nationalité d’un auteur.