Accès ouvert déclaré 2026 conference-paper

Benchmarking Multimodal Knowledge Conflict for Large Multimodal Models

Yonghong Jia, Yuntao Du, Kailin Jiang, Y. T. Liang, Qihan Ren, Yi Xin, Rui Yang, Fenze Feng, MingCai Chen, Hengyang Lu, Haozhe Wang, Xiaoye Qu, Qian Li, Dongrui Liu

1Citations signalées, ce qui n’est pas une note de qualité

9Institutions déclarées

2Pays d’affiliation déclarés

Rattachement africain : cn, hk. Niveau de preuve : code pays fourni par la source.

Le résumé fourni par la source

Large Multimodal Models (LMMs) face notable challenges when encountering multimodal knowledge conflicts, particularly under retrieval-augmented generation (RAG) frameworks, where the contextual information from external sources may contradict the model’s internal parametric knowledge, leading to unreliable outputs. However, existing benchmarks fail to reflect such realistic conflict scenarios. Most focus solely on intra-memory conflicts, while context-memory and inter-context conflicts remain largely unaddressed. Furthermore, commonly used factual knowledge-based evaluations are often overlooked, and existing datasets lack a thorough investigation into conflict detection capabilities.To bridge this gap, we propose MMKC-Bench, a benchmark designed to evaluate factual knowledge conflicts in both context-memory and inter-context scenarios. MMKC-Bench encompasses four types of multimodal knowledge conflicts and includes 1,881 knowledge instances and 3,997 images across 32 broad types, collected through automated pipelines with human verification. We evaluate four representative series of LMMs on both model behavior analysis and conflict detection tasks. Our findings show that while current LMMs are capable of recognizing knowledge conflicts, they tend to favor internal parametric knowledge over external evidence. We hope MMKC-Bench will foster further research in multimodal knowledge conflict and enhance the development of multimodal RAG systems.

Ce résumé expose les affirmations des auteurs. BNTIC ne l’interprète pas comme une validation indépendante des résultats.

Le contrôle bibliographique ouvert

DOI retrouvé dans Crossref DOI retrouvé ; titre concordant.

Titre Crossref: Benchmarking Multimodal Knowledge Conflict for Large Multimodal Models
Date Crossref: 14/03/2026
Éditeur: Association for the Advancement of Artificial Intelligence (AAAI)
Type: journal-article

Ce recoupement confirme des métadonnées liées au DOI. Il ne confirme ni la méthode ni les conclusions de l’étude, et il ne compte pas comme une seconde source scientifique indépendante.

Où se fait cette recherche

Shandong University pays non établi dans la notice
Université ou école supérieure
University of Science and Technology of China pays non établi dans la notice
Université ou école supérieure
Shanghai Jiao Tong University pays non établi dans la notice
Université ou école supérieure
Nanjing University pays non établi dans la notice
Université ou école supérieure
Nanjing University of Posts and Telecommunications pays non établi dans la notice
Université ou école supérieure
Jiangnan University pays non établi dans la notice
Université ou école supérieure
Hong Kong University of Science and Technology pays non établi dans la notice
Université ou école supérieure
Beijing Academy of Artificial Intelligence pays non établi dans la notice
Institution
Shanghai Artificial Intelligence Laboratory pays non établi dans la notice
Structure de recherche

Shandong University, University of Science and Technology of China et Shanghai Jiao Tong University, avec 6 autres affiliations.

Une affiliation ne permet pas de déduire la nationalité d’un auteur.

Les sujets associés

Multimodal Machine Learning ApplicationsAdvanced Graph Neural NetworksTopic Modeling

Lire en accès ouvert Consulter la publication primaire Ouvrir le DOI