Exponentially many initializations to avoid barren plateaus
Rattachement africain : jp, us, ch, at. Niveau de preuve : code pays fourni par la source.
Le résumé fourni par la source
Barren plateaus are stated as an average-case phenomenon: pick an ansatz, initialize it naively, and concentration follows. This has led to the common view that a potential cure for barren plateaus is simply to initialize the parameters more carefully. Here we show that the situation is subtler. We introduce a first-moment framework that gives a simple operator-level diagnostic for when an initialization may escape the fully concentrated barren-plateau fixed point, and for comparing the biases induced by different initialization strategies. Our framework recovers several known initialization schemes such as identity and Gaussian initialization, but also shows that barren-plateau avoidance is highly non-unique. Indeed, many shifted, biased, and non-symmetric parameter distributions can avoid concentration, and these choices need not be equivalent. In fact, our results show that one can generate exponentially many families of inequivalent initialization strategies. Then, our numerics indicate that different first-moment-distinct initializations can lead to different attained minima, suggesting that avoiding barren plateaus via smart initializations can trade the exponential concentration problem for the challenge of selecting the right trainable pocket amongst many options.
Ce résumé expose les affirmations des auteurs. BNTIC ne l’interprète pas comme une validation indépendante des résultats.
Le contrôle bibliographique ouvert
Où se fait cette recherche
-
Fujitsu (Japan) pays non établi dans la noticeEntreprise
-
Fujitsu (United States) pays non établi dans la noticeEntreprise
-
University of Delaware pays non établi dans la noticeUniversité ou école supérieure
-
École Polytechnique Fédérale de Lausanne Centre for Quantum Science and Engineering pays non établi dans la noticeUniversité ou école supérieure
-
Johannes Kepler University of Linz Department for Quantum Information and Computation at Kepler (QUICK) pays non établi dans la noticeUniversité ou école supérieure
-
Kepler Universitätsklinikum pays non établi dans la noticeOrganisme public
-
Los Alamos National Laboratory Information Sciences pays non établi dans la noticeStructure de recherche
-
Fujitsu Research of America pays non établi dans la noticeInstitution
-
Theoretical Division pays non établi dans la noticeInstitution
Fujitsu (Japan), Fujitsu (United States) et University of Delaware, avec 6 autres affiliations.
Une affiliation ne permet pas de déduire la nationalité d’un auteur.