Targeted Data Generation: Finding and Fixing Model Weaknesses
Rattachement africain : us. Niveau de preuve : code pays fourni par la source.
Le résumé fourni par la source
Even when aggregate accuracy is high, stateof-the-art NLP models often fail systematically on specific subgroups of data, resulting in unfair outcomes and eroding user trust.Additional data collection may not help in addressing these weaknesses, as such challenging subgroups may be unknown to users, and underrepresented in the existing and new data.We propose Targeted Data Generation (TDG), a framework that automatically identifies challenging subgroups, and generates new data for those subgroups using large language models (LLMs) with a human in the loop.TDG estimates the expected benefit and potential harm of data augmentation for each subgroup, and selects the ones most likely to improve withingroup performance without hurting overall performance.In our experiments, TDG 1 significantly improves the accuracy on challenging subgroups for state-of-the-art sentiment analysis and natural language inference models, while also improving overall test accuracy.
Ce résumé expose les affirmations des auteurs. BNTIC ne l’interprète pas comme une validation indépendante des résultats.
Le contrôle bibliographique ouvert
DOI retrouvé dans Crossref DOI retrouvé ; titre concordant.
- Titre Crossref
- Targeted Data Generation: Finding and Fixing Model Weaknesses
- Date Crossref
- 01/01/2023
- Éditeur
- Association for Computational Linguistics
- Type
- proceedings-article
Ce recoupement confirme des métadonnées liées au DOI. Il ne confirme ni la méthode ni les conclusions de l’étude, et il ne compte pas comme une seconde source scientifique indépendante.
Où se fait cette recherche
-
Microsoft (United States) pays non établi dans la noticeEntreprise
-
UC San Diego Health System pays non établi dans la noticeÉtablissement de santé
-
University of California San Diego pays non établi dans la noticeUniversité ou école supérieure
-
UC San Diego La Jolla pays non établi dans la noticeInstitution
-
Microsoft Redmond pays non établi dans la noticeInstitution
Microsoft (United States), UC San Diego Health System et University of California San Diego, avec 2 autres affiliations.
Une affiliation ne permet pas de déduire la nationalité d’un auteur.