PerfEstimator: A Generic and Extensible Performance Estimator for Data Parallel DNN Training
Rattachement africain : cn, de, us. Niveau de preuve : code pays fourni par la source.
Le résumé fourni par la source
Understanding the performance of data parallel DNN training at large-scale is crucial for supporting efficient DNN cloud deployment as well as facilitating the design and optimization of scalable DNN systems. Existing works adopt analytical modeling, which may fall short in capturing the system behaviors resulting from the fast evolving DNN systems and constantly proposed optimizations. In this paper, we present PerfEstimator, a generic and extensible estimator for accurate performance estimation of large-scale data parallel DNN training. PerfEstimator is driven by three major components, namely, an extensible attributed graph based performance model, a computation and synchronization profiling and simulating tool for obtaining runtime time costs on a single machine, and a computation-synchronization pipeline builder to derive the scaling factors. Our evaluation highlights that PerfEstimator can accurately predict the performance of data parallel DNN training jobs with a prediction error of 0.2-11%.
Ce résumé expose les affirmations des auteurs. BNTIC ne l’interprète pas comme une validation indépendante des résultats.
Le contrôle bibliographique ouvert
DOI retrouvé dans Crossref DOI retrouvé ; titre concordant.
- Titre Crossref
- PerfEstimator: A Generic and Extensible Performance Estimator for Data Parallel DNN Training
- Date Crossref
- 01/05/2021
- Éditeur
- IEEE
- Type
- proceedings-article
Ce recoupement confirme des métadonnées liées au DOI. Il ne confirme ni la méthode ni les conclusions de l’étude, et il ne compte pas comme une seconde source scientifique indépendante.
Où se fait cette recherche
-
University of Science and Technology of China pays non établi dans la noticeUniversité ou école supérieure
-
Nokia (Germany) pays non établi dans la noticeEntreprise
-
University of Nevada pays non établi dans la noticeUniversité ou école supérieure
-
Nokia Bell Labs pays non établi dans la noticeInstitution
University of Science and Technology of China, Nokia (Germany) et University of Nevada, avec 1 autre affiliation.
Une affiliation ne permet pas de déduire la nationalité d’un auteur.