Sharpness-aware Zeroth-order Optimization for Graph Transformers
Rattachement africain : cn, au. Niveau de preuve : code pays fourni par la source.
Le résumé fourni par la source
Graph Transformers (GTs) have emerged as powerful tools for handling graph-structured data through global attention mechanisms. While GTs can effectively capture long-range dependencies, they introduce difficulties in optimization due to their complex, non-differentiable operators, which cannot be directly handled by standard gradient-based optimizers (such as Adam or AdamW). To investigate the above issues, this work adopts the line of Zeroth-Order Optimization (ZOO) technique. However, direct integration of ZOO incurs considerable challenges due to the sharp loss landscape and steep gradients within the GT parameter space. Under the above observations, we propose a Sharpness-aware Zeroth-order Optimizer (SZO) that combines Sharpness-Aware Minimization (SAM) technique facilitating convergence within a flatter neighborhood, and leverages parallel computing for efficient gradient estimation. Theoretically, we provide a comprehensive analysis of the optimizer from both convergence and generalization perspectives. Empirically, we conduct extensive experiments on various classical GTs across a wide range of benchmark datasets, which underscore the superior performance of SZO over the state-of-the-art optimizers.
Ce résumé expose les affirmations des auteurs. BNTIC ne l’interprète pas comme une validation indépendante des résultats.
Le contrôle bibliographique ouvert
DOI retrouvé dans Crossref DOI retrouvé ; titre concordant.
- Titre Crossref
- Sharpness-aware Zeroth-order Optimization for Graph Transformers
- Date Crossref
- 01/09/2025
- Éditeur
- International Joint Conferences on Artificial Intelligence Organization
- Type
- proceedings-article
Ce recoupement confirme des métadonnées liées au DOI. Il ne confirme ni la méthode ni les conclusions de l’étude, et il ne compte pas comme une seconde source scientifique indépendante.
Où se fait cette recherche
-
Academy of Mathematics and Systems Science pays non établi dans la noticeStructure de recherche
-
University of Chinese Academy of Sciences pays non établi dans la noticeUniversité ou école supérieure
-
Fudan University pays non établi dans la noticeUniversité ou école supérieure
-
Zhejiang University pays non établi dans la noticeUniversité ou école supérieure
-
Griffith University pays non établi dans la noticeUniversité ou école supérieure
-
Hangzhou Yugu Technology pays non établi dans la noticeInstitution
Academy of Mathematics and Systems Science, University of Chinese Academy of Sciences et Fudan University, avec 3 autres affiliations.
Une affiliation ne permet pas de déduire la nationalité d’un auteur.