On the Robustness of Document-Level Relation Extraction Models to Entity Name Variations
Rattachement africain : cn, hk. Niveau de preuve : code pays fourni par la source.
Le résumé fourni par la source
Driven by the demand for cross-sentence and large-scale relation extraction, document-level relation extraction (DocRE) has attracted increasing research interest.Despite the continuous improvement in performance, we find that existing DocRE models which initially perform well may make more mistakes when merely changing the entity names in the document, hindering the generalization to novel entity names.To this end, we systematically investigate the robustness of DocRE models to entity name variations in this work.We first propose a principled pipeline to generate entity-renamed documents by replacing the original entity names with names from Wikidata.By applying the pipeline to DocRED and Re-DocRED datasets, we construct two novel benchmarks named Env-DocRED and Env-Re-DocRED for robustness evaluation.Experimental results show that both three representative DocRE models and two in-context learned large language models consistently lack sufficient robustness to entity name variations, particularly on cross-sentence relation instances and documents with more entities.Finally, we propose an entity variation robust training method which not only improves the robustness of DocRE models but also enhances their understanding and reasoning capabilities.We further verify that the basic idea of this method can be effectively transferred to in-context learning for DocRE as well. 1
Ce résumé expose les affirmations des auteurs. BNTIC ne l’interprète pas comme une validation indépendante des résultats.
Le contrôle bibliographique ouvert
DOI retrouvé dans Crossref DOI retrouvé ; titre concordant.
- Titre Crossref
- On the Robustness of Document-Level Relation Extraction Models to Entity Name Variations
- Date Crossref
- 01/01/2024
- Éditeur
- Association for Computational Linguistics
- Type
- proceedings-article
Ce recoupement confirme des métadonnées liées au DOI. Il ne confirme ni la méthode ni les conclusions de l’étude, et il ne compte pas comme une seconde source scientifique indépendante.
Où se fait cette recherche
-
Tsinghua University pays non établi dans la noticeUniversité ou école supérieure
-
Hong Kong University of Science and Technology AI Thrust pays non établi dans la noticeUniversité ou école supérieure
-
The Hong Kong University of Science and Technology (Guangzhou) pays non établi dans la noticeUniversité ou école supérieure
-
Tencent (China) pays non établi dans la noticeEntreprise
-
School of Software pays non établi dans la noticeUniversité ou école supérieure
-
Tencent Inc pays non établi dans la noticeEntreprise
Tsinghua University, AI Thrust — Hong Kong University of Science and Technology et The Hong Kong University of Science and Technology (Guangzhou), avec 3 autres affiliations.
Une affiliation ne permet pas de déduire la nationalité d’un auteur.