mSTEB: Massively Multilingual Evaluation of LLMs on Speech and Text Tasks
Rattachement africain : Rwanda, ca, us, gb, de, Ouganda. Niveau de preuve : code pays fourni par la source.
Le résumé fourni par la source
Large Language models (LLMs) have demonstrated impressive performance on a wide range of tasks, including in multimodal settings such as speech. However, their evaluation is often limited to English and a few high-resource languages. For low-resource languages, there is no standardized evaluation benchmark. In this paper, we address this gap by introducing mSTEB, a new benchmark to evaluate the performance of LLMs on a wide range of tasks covering language identification, text classification, question answering, and translation tasks on both speech and text modalities. We evaluated the performance of leading LLMs such as Gemini 2.0 Flash and GPT-4o and state-of-the-art open models such as Qwen 2 Audio and Gemma 327 B. Our evaluation shows a wide gap in performance between high-resource and low-resource languages, especially for languages spoken in Africa and Americas/Oceania. Our findings show that more investment is needed to address their under-representation in LLMs coverage.
Ce résumé expose les affirmations des auteurs. BNTIC ne l’interprète pas comme une validation indépendante des résultats.
Le contrôle bibliographique ouvert
DOI retrouvé dans Crossref DOI retrouvé ; titre concordant.
- Titre Crossref
- mSTEB: Massively Multilingual Evaluation of LLMs on Speech and Text Tasks
- Date Crossref
- 06/12/2025
- Éditeur
- IEEE
- Type
- proceedings-article
Ce recoupement confirme des métadonnées liées au DOI. Il ne confirme ni la méthode ni les conclusions de l’étude, et il ne compte pas comme une seconde source scientifique indépendante.
Où se fait cette recherche
-
AIMS Research and Innovation Centre Rwanda (code pays fourni par la source)Université ou école supérieure
-
Mila - Quebec Artificial Intelligence Institute pays non établi dans la noticeStructure de recherche
-
Google (United States) pays non établi dans la noticeEntreprise
-
Google DeepMind (United Kingdom) pays non établi dans la noticeEntreprise
-
Saarland University pays non établi dans la noticeUniversité ou école supérieure
-
University of Würzburg pays non établi dans la noticeUniversité ou école supérieure
-
Makerere University Makerere University, Ouganda (code pays fourni par la source)Université ou école supérieure
-
AIMS RIC pays non établi dans la noticeInstitution
-
Mila - Quebec AI Institute pays non établi dans la noticeStructure de recherche
-
University of Wü pays non établi dans la noticeUniversité ou école supérieure
AIMS Research and Innovation Centre (Rwanda), Mila - Quebec Artificial Intelligence Institute et Google (United States), avec 7 autres affiliations. Pays d’affiliation : Rwanda, Ouganda.
Une affiliation ne permet pas de déduire la nationalité d’un auteur.