Surround the Nonlinearity: Inserting Foldable Convolutional Autoencoders to Reduce Activation Footprint
Rattachement africain : fr. Niveau de preuve : code pays fourni par la source.
Le résumé fourni par la source
Modern deep learning architectures, while highly successful, are characterized by substantial computational and memory demands due to their large number of parameters or the storing of activations. That is why it is hard to adapt a neural network to the constraints of hardware, especially at the edge. This paper presents an investigation into a novel approach for activation compression, which we term ’Projection-based compression on channels’ or ’ProChan’. Our method involves interposing projection layers into a pretrained network around the nonlinearity, reducing the channel dimensionality through compression operations and then expanding it back. Our module is made to be then totally fused with the convolutions around it, guaranteeing no overhead, and maximum FLOPs reduction. We studied its absorption of the cost of quantization, to combine the two approaches for footprint reduction. Our findings indicate that the projections likely perform an ’adaptive stretching’ operation on the feature space, enabling the preservation of essential information when constrained by dimensional limitations. We also perform an ablation study on the different possible strategies for a stable and quick training, and analyse the interactions with different quantization paradigms, namely PACT for activations and post-training quantization (PTQ) methods for weights.
Ce résumé expose les affirmations des auteurs. BNTIC ne l’interprète pas comme une validation indépendante des résultats.
Le contrôle bibliographique ouvert
DOI retrouvé dans Crossref DOI retrouvé ; titre concordant.
- Titre Crossref
- Surround the Nonlinearity: Inserting Foldable Convolutional Autoencoders to Reduce Activation Footprint
- Date Crossref
- 02/10/2023
- Éditeur
- IEEE
- Type
- proceedings-article
Ce recoupement confirme des métadonnées liées au DOI. Il ne confirme ni la méthode ni les conclusions de l’étude, et il ne compte pas comme une seconde source scientifique indépendante.
Où se fait cette recherche
-
Commissariat à l'Énergie Atomique et aux Énergies Alternatives pays non établi dans la noticeOrganisme public
-
Laboratoire d'Intégration des Systèmes et des Technologies pays non établi dans la noticeOrganisme public
-
Centre National de la Recherche Scientifique pays non établi dans la noticeOrganisme public
-
Institut national de recherche en sciences et technologies du numérique pays non établi dans la noticeOrganisme public
-
Université de Rennes pays non établi dans la noticeUniversité ou école supérieure
-
Université pays non établi dans la noticeInstitution
-
CEA pays non établi dans la noticeInstitution
-
CNRS de Rennes pays non établi dans la noticeStructure de recherche
Commissariat à l'Énergie Atomique et aux Énergies Alternatives, Laboratoire d'Intégration des Systèmes et des Technologies et Centre National de la Recherche Scientifique, avec 5 autres affiliations.
Une affiliation ne permet pas de déduire la nationalité d’un auteur.