Data-Driven Locality-Aware Batch Scheduling
Rattachement africain : fr, us, se. Niveau de preuve : code pays fourni par la source.
Le résumé fourni par la source
Clusters employ workload schedulers such as the Slurm Workload Manager to allocate computing jobs onto nodes. These schedulers usually aim at a good tradeoff between increasing resource utilization and user satisfaction (decreasing job waiting time). However, these schedulers are typically unaware of jobs sharing large input files, which may happen in data intensive scenarios. The same input files may end up being loaded several times, leading to a waste of resources. We study how to design a data-aware job scheduler that is able to keep large input files on the computing nodes, without impacting other memory needs, and can benefit from previously-loaded files to decrease data transfers in order to reduce the waiting times of jobs. We present three schedulers capable of distributing the load between the computing nodes as well as re-using input files already loaded in the memory of some node as much as possible. We perform simulations with single node jobs using traces of real HPC-cluster usage, to compare them to classical job schedulers. The results show that keeping data in local memory between successive jobs and using data-locality information to schedule jobs improves performance compared to a widely-used scheduler (FCFS, with and without backfilling): a reduction in job waiting time (a 7.5% improvement in stretch), and a decrease in the amount of data transfers (7%).
Ce résumé expose les affirmations des auteurs. BNTIC ne l’interprète pas comme une validation indépendante des résultats.
Le contrôle bibliographique ouvert
DOI retrouvé dans Crossref DOI retrouvé ; titre concordant.
- Titre Crossref
- Data-Driven Locality-Aware Batch Scheduling
- Date Crossref
- 27/05/2024
- Éditeur
- IEEE
- Type
- proceedings-article
Ce recoupement confirme des métadonnées liées au DOI. Il ne confirme ni la méthode ni les conclusions de l’étude, et il ne compte pas comme une seconde source scientifique indépendante.
Où se fait cette recherche
-
École Normale Supérieure de Lyon pays non établi dans la noticeUniversité ou école supérieure
-
University of Chicago pays non établi dans la noticeUniversité ou école supérieure
-
Laboratoire de l'Informatique du Parallélisme ROMA - Optimisation des ressources : modèles pays non établi dans la noticeStructure de recherche
-
ROMA: Optimisation des ressources : modèles pays non établi dans la noticeStructure de recherche
-
Uppsala University pays non établi dans la noticeUniversité ou école supérieure
-
Centre National de la Recherche Scientifique pays non établi dans la noticeOrganisme public
-
Université de Bordeaux pays non établi dans la noticeUniversité ou école supérieure
-
Laboratoire Bordelais de Recherche en Informatique pays non établi dans la noticeStructure de recherche
-
STORM: Optimisation statique pays non établi dans la noticeStructure de recherche
-
Uppsala Universitet [Uppsala] (P.O. Box 256 pays non établi dans la noticeUniversité ou école supérieure
-
CNRS ENS de Lyon pays non établi dans la noticeStructure de recherche
-
University of Bordeaux pays non établi dans la noticeUniversité ou école supérieure
École Normale Supérieure de Lyon, University of Chicago et ROMA - Optimisation des ressources : modèles — Laboratoire de l'Informatique du Parallélisme, avec 9 autres affiliations.
Une affiliation ne permet pas de déduire la nationalité d’un auteur.