AI and the Everything in the Whole Wide World Benchmark
Rattachement africain : us. Niveau de preuve : code pays fourni par la source.
Le résumé fourni par la source
There is a tendency across different subfields in AI to valorize a small collection of influential benchmarks. These benchmarks operate as stand-ins for a range of anointed common problems that are frequently framed as foundational milestones on the path towards flexible and generalizable AI systems. State-of-the-art performance on these benchmarks is widely understood as indicative of progress towards these long-term goals. In this position paper, we explore the limits of such benchmarks in order to reveal the construct validity issues in their framing as the functionally "general" broad measures of progress they are set up to be.
Ce résumé expose les affirmations des auteurs. BNTIC ne l’interprète pas comme une validation indépendante des résultats.
Le contrôle bibliographique ouvert
Où se fait cette recherche
-
Mozilla Foundation pays non établi dans la noticeOrganisation à but non lucratif
-
University of Washington pays non établi dans la noticeUniversité ou école supérieure
-
Seattle University pays non établi dans la noticeUniversité ou école supérieure
-
Google (United States) pays non établi dans la noticeEntreprise
Mozilla Foundation, University of Washington et Seattle University, avec 1 autre affiliation.
Une affiliation ne permet pas de déduire la nationalité d’un auteur.