Gradient-guided layerwise adaptive noise injection for pre-trained language model fine-tuning
Rattachement africain : cn. Niveau de preuve : code pays fourni par la source.
Le résumé fourni par la source
Fine-tuning pre-trained language models (PLMs) is crucial for achieving performance gains in downstream natural language processing tasks, but it is prone to overfitting in low-resource scenarios. Existing noise-based regularization methods typically rely on static parameter statistics or predefined heuristics to mitigate this issue. However, the noise magnitude and injection timing in these approaches depend on fixed hyperparameters or heuristic schedules, making them unable to adapt to the dynamic optimization state of the model during training. To address this limitation, this paper proposes a novel fine-tuning framework named gradient-guided noise injection (GNI). The core idea is to utilize gradient information generated during optimization to dynamically adjust the noise intensity in a layer-wise and real-time manner. Extensive experiments on multiple tasks from the GLUE and SuperGLUE benchmarks demonstrate that GNI generally improves average performance across different pre-trained models and task settings, while exhibiting stable generalizability and robustness. This work provides a simple yet effective solution for optimization-state aware dynamic regularization.
Ce résumé expose les affirmations des auteurs. BNTIC ne l’interprète pas comme une validation indépendante des résultats.
Le contrôle bibliographique ouvert
DOI retrouvé dans Crossref DOI retrouvé ; titre concordant.
- Titre Crossref
- Gradient-guided layerwise adaptive noise injection for pre-trained language model fine-tuning
- Date Crossref
- 01/07/2026
- Éditeur
- Springer Science and Business Media LLC
- Type
- journal-article
Ce recoupement confirme des métadonnées liées au DOI. Il ne confirme ni la méthode ni les conclusions de l’étude, et il ne compte pas comme une seconde source scientifique indépendante.
Où se fait cette recherche
-
Guizhou University Mathematics and Statistics pays non établi dans la noticeUniversité ou école supérieure
-
Guizhou Electric Power Design and Research Institute pays non établi dans la noticeStructure de recherche
-
Guizhou Institute of Technology pays non établi dans la noticeUniversité ou école supérieure
-
College of Innovation and Entrepreneurship pays non établi dans la noticeUniversité ou école supérieure
-
College of Science pays non établi dans la noticeUniversité ou école supérieure
-
Special Key Laboratory of Artificial Intelligence and Intelligent Control of Guizhou Province pays non établi dans la noticeStructure de recherche
-
The Key Laboratory of New Power System Operation Control of Guizhou Province pays non établi dans la noticeStructure de recherche
Mathematics and Statistics — Guizhou University, Guizhou Electric Power Design and Research Institute et Guizhou Institute of Technology, avec 4 autres affiliations.
Une affiliation ne permet pas de déduire la nationalité d’un auteur.