Understanding Data Movement Patterns in HPC: A NERSC Case Study
Rattachement africain : us. Niveau de preuve : code pays fourni par la source.
Le résumé fourni par la source
Scientific experiments are producing unprecedented volumes of data with real-time High Performance Computing (HPC) needs. Understanding and ensuring efficient data movement in these emerging data-intensive workloads is becoming critical for successful workflow execution. The need for end-to-end that integrates compute, network, and storage resources across facilities is resulting in a new integrated infrastructure paradigm. In this paper, we present an extensive analysis of three years of network traffic data from NERSC and identify critical data movement trends while detecting bottlenecks that significantly curtail transfer performance. Our results show that data movement patterns have shifted in the three years, and current infrastructure cannot sufficiently handle competing transfers, leading up to 30% throughput degradation for individual flows. In addition, we provide design recommendations for data movement management in future integrated research infrastructures that aim to reduce data transfer latency, reducing overall time to scientific results.
Ce résumé expose les affirmations des auteurs. BNTIC ne l’interprète pas comme une validation indépendante des résultats.
Le contrôle bibliographique ouvert
DOI retrouvé dans Crossref DOI retrouvé ; titre concordant.
- Titre Crossref
- Understanding Data Movement Patterns in HPC: A NERSC Case Study
- Date Crossref
- 17/11/2024
- Éditeur
- IEEE
- Type
- proceedings-article
Ce recoupement confirme des métadonnées liées au DOI. Il ne confirme ni la méthode ni les conclusions de l’étude, et il ne compte pas comme une seconde source scientifique indépendante.
Où se fait cette recherche
-
Scientific Data Systems (United States) pays non établi dans la noticeEntreprise
-
Lawrence Berkeley National Laboratory pays non établi dans la noticeStructure de recherche
-
National Energy Research Scientific Computing Center pays non établi dans la noticeStructure de recherche
-
Scientific Data Division pays non établi dans la noticeInstitution
-
Microsoft Inc pays non établi dans la noticeEntreprise
Scientific Data Systems (United States), Lawrence Berkeley National Laboratory et National Energy Research Scientific Computing Center, avec 2 autres affiliations.
Une affiliation ne permet pas de déduire la nationalité d’un auteur.