MMMU: A Massive Multi-Discipline Multimodal Understanding and Reasoning Benchmark for Expert AGI
Rattachement africain : ca, us. Niveau de preuve : code pays fourni par la source.
Le résumé fourni par la source
We introduce MMMU: a new benchmark designed to evaluate multimodal models on massive multi-discipline tasks demanding college-level subject knowledge and deliberate reasoning. MMMU includes 11.5K meticulously collected multimodal questions from college exams, quizzes, and text-books, covering six core disciplines: Art & Design, Busi-ness, Science, Health & Medicine, Humanities & Social Science, and Tech & Engineering. These questions span 30 subjects and 183 subfields, comprising 30 highly het-erogeneous image types, such as charts, diagrams, maps, tables, music sheets, and chemical structures. Unlike existing benchmarks, MMMU focuses on advanced perception and reasoning with domain-specific knowledge, challenging models to perform tasks akin to those faced by experts. The evaluation of 28 open-source LMMs as well as the propri-etary GPT-4V(ision) and Gemini highlights the substantial challenges posed by MMMU. Even the advanced GPT-4V and Gemini Ultra only achieve accuracies of 56% and 59% respectively, indicating significant room for improvement. We believe MMMU will stimulate the community to build next-generation multimodal foundation models towards expert artificial general intelligence.
Ce résumé expose les affirmations des auteurs. BNTIC ne l’interprète pas comme une validation indépendante des résultats.
Le contrôle bibliographique ouvert
DOI retrouvé dans Crossref DOI retrouvé ; titre concordant.
- Titre Crossref
- MMMU: A Massive Multi-Discipline Multimodal Understanding and Reasoning Benchmark for Expert AGI
- Date Crossref
- 16/06/2024
- Éditeur
- IEEE
- Type
- proceedings-article
Ce recoupement confirme des métadonnées liées au DOI. Il ne confirme ni la méthode ni les conclusions de l’étude, et il ne compte pas comme une seconde source scientifique indépendante.
Où se fait cette recherche
-
University of Waterloo pays non établi dans la noticeUniversité ou école supérieure
-
The Ohio State University pays non établi dans la noticeUniversité ou école supérieure
-
Carnegie Mellon University pays non établi dans la noticeUniversité ou école supérieure
-
Princeton University pays non établi dans la noticeUniversité ou école supérieure
-
University of Victoria pays non établi dans la noticeUniversité ou école supérieure
-
IN. AI Research pays non établi dans la noticeInstitution
-
Independent pays non établi dans la noticeInstitution
University of Waterloo, The Ohio State University et Carnegie Mellon University, avec 4 autres affiliations.
Une affiliation ne permet pas de déduire la nationalité d’un auteur.