DPDispatcher: Scalable HPC Task Scheduling for AI-Driven Science
Rattachement africain : us, kr, cn, at, jp, ua, hk, sg, pl, gb. Niveau de preuve : code pays fourni par la source.
Le résumé fourni par la source
Artificial intelligence (AI) is reshaping computational science, but AI-driven workflows routinely span heterogeneous tasks executed across diverse high-performance computing (HPC) systems. We introduce DPDispatcher, an open-source Python framework for scalable, fault-tolerant task scheduling in such environments with an emphasis on lightweight submission, automatic retries, and robust resumption. DPDispatcher separates connection and file-staging concerns from scheduler control, supports multiple HPC job managers, and provides both local and secure shell (SSH) backends. DPDispatcher has been adopted by more than ten scientific packages. Representative use cases include active learning for machine-learning potentials, free-energy and thermodynamic integration workflows, large-scale materials screening, and large language model (LLM)-driven agents that launch HPC computations. Across these settings, DPDispatcher reduces operational overhead and error rates while improving portability and automation for reliable, high-throughput scientific computing.
Ce résumé expose les affirmations des auteurs. BNTIC ne l’interprète pas comme une validation indépendante des résultats.
Le contrôle bibliographique ouvert
DOI retrouvé dans Crossref DOI retrouvé ; titre concordant.
- Titre Crossref
- DPDispatcher: Scalable HPC Task Scheduling for AI-Driven Science
- Date Crossref
- 03/11/2025
- Éditeur
- American Chemical Society (ACS)
- Type
- journal-article
Ce recoupement confirme des métadonnées liées au DOI. Il ne confirme ni la méthode ni les conclusions de l’étude, et il ne compte pas comme une seconde source scientifique indépendante.
Où se fait cette recherche
-
University of Alabama at Birmingham pays non établi dans la noticeUniversité ou école supérieure
-
SP Technology (South Korea) pays non établi dans la noticeEntreprise
-
Xiamen University pays non établi dans la noticeUniversité ou école supérieure
-
Institute of History of Art and Musicology pays non établi dans la noticeStructure de recherche
-
Collaborative Innovation Center of Chemistry for Energy Materials pays non établi dans la noticeStructure de recherche
-
Peking University pays non établi dans la noticeUniversité ou école supérieure
-
Art Institute of Portland pays non établi dans la noticeUniversité ou école supérieure
-
Ulsan National Institute of Science and Technology pays non établi dans la noticeUniversité ou école supérieure
-
Kanazawa University pays non établi dans la noticeUniversité ou école supérieure
-
Institute of Applied Physics pays non établi dans la noticeStructure de recherche
-
Hefei University of Technology pays non établi dans la noticeUniversité ou école supérieure
-
Institute of Applied Physics and Computational Mathematics pays non établi dans la noticeStructure de recherche
University of Alabama at Birmingham, SP Technology (South Korea) et Xiamen University, avec 9 autres affiliations.
Une affiliation ne permet pas de déduire la nationalité d’un auteur.