Do LLMs Really Forget? Evaluating Unlearning with Knowledge Correlation and Confidence Awareness
Rattachement africain : us, cn. Niveau de preuve : code pays fourni par la source.
Le résumé fourni par la source
Machine unlearning techniques aim to mitigate unintended memorization in large language models (LLMs). However, existing approaches predominantly focus on the explicit removal of isolated facts, often overlooking latent inferential dependencies and the non-deterministic nature of knowledge within LLMs. Consequently, facts presumed forgotten may persist implicitly through correlated information. To address these challenges, we propose a knowledge unlearning evaluation framework that more accurately captures the implicit structure of real-world knowledge by representing relevant factual contexts as knowledge graphs with associated confidence scores. We further develop an inference-based evaluation protocol leveraging powerful LLMs as judges; these judges reason over the extracted knowledge subgraph to determine unlearning success. Our LLM judges utilize carefully designed prompts and are calibrated against human evaluations to ensure their trustworthiness and stability. Extensive experiments on our newly constructed benchmark demonstrate that our framework provides a more realistic and rigorous assessment of unlearning performance. Moreover, our findings reveal that current evaluation strategies tend to overestimate unlearning effectiveness. Our code is publicly available at https://github.com/Graph-COM/Knowledge_Unlearning.git.
Ce résumé expose les affirmations des auteurs. BNTIC ne l’interprète pas comme une validation indépendante des résultats.
Le contrôle bibliographique ouvert
DOI retrouvé dans Crossref DOI retrouvé ; titre concordant.
- Titre Crossref
- Do LLMs Really Forget? Evaluating Unlearning with Knowledge Correlation and Confidence Awareness
- Date Crossref
- 01/01/2025
- Éditeur
- Neural Information Processing Systems Foundation, Inc. (NeurIPS)
- Type
- proceedings-article
Ce recoupement confirme des métadonnées liées au DOI. Il ne confirme ni la méthode ni les conclusions de l’étude, et il ne compte pas comme une seconde source scientifique indépendante.
Où se fait cette recherche
-
Georgia Institute of Technology pays non établi dans la noticeUniversité ou école supérieure
-
University of Illinois Urbana-Champaign pays non établi dans la noticeUniversité ou école supérieure
-
University of California San Diego pays non établi dans la noticeUniversité ou école supérieure
-
Google (United States) pays non établi dans la noticeEntreprise
-
JPMorgan Chase & Co (United States) pays non établi dans la noticeEntreprise
-
Renmin University of China pays non établi dans la noticeUniversité ou école supérieure
-
University of Illinois at Urbana-Champaign pays non établi dans la noticeUniversité ou école supérieure
-
J.P. Morgan AI research pays non établi dans la noticeInstitution
-
FAIR pays non établi dans la noticeInstitution
Georgia Institute of Technology, University of Illinois Urbana-Champaign et University of California San Diego, avec 6 autres affiliations.
Une affiliation ne permet pas de déduire la nationalité d’un auteur.