mPLUG-PaperOwl: Scientific Diagram Analysis with the Multimodal Large Language Model
Rattachement africain : cn, us. Niveau de preuve : code pays fourni par la source.
Le résumé fourni par la source
Weak diagram analysis abilities of LLMs or Multimodal LLMs greatly limit their application scenarios for scientific academic paper writing. In this work, towards a more versatile copilot for academic paper writing, we mainly focus on strengthening the multi-modal diagram analysis ability of Multimodal LLMs. By parsing Latex source files of academic papers, we carefully build a multi-modal diagram understanding dataset M-Paper. By aligning diagrams in the paper with related paragraphs, we construct professional diagram analysis samples for training and evaluation. M-Paper is the first dataset to support joint comprehension of multiple scientific diagrams, including figures and tables in the format of images or Latex codes. Besides, to better align the copilot with the user's intention, we introduce the 'outline' as the control signal, which could be directly given by the user or revised based on auto-generated ones. Comprehensive experiments with a state-of-the-art Multimodal LLM demonstrate that training on our dataset shows stronger scientific diagram understanding performance. The dataset, code, and model are publicly available at https://github.com/X-PLUG/mPLUG-DocOwl/tree/main/PaperOwl.
Ce résumé expose les affirmations des auteurs. BNTIC ne l’interprète pas comme une validation indépendante des résultats.
Le contrôle bibliographique ouvert
DOI retrouvé dans Crossref DOI retrouvé ; titre concordant.
- Titre Crossref
- mPLUG-PaperOwl: Scientific Diagram Analysis with the Multimodal Large Language Model
- Date Crossref
- 28/10/2024
- Éditeur
- ACM
- Type
- proceedings-article
Ce recoupement confirme des métadonnées liées au DOI. Il ne confirme ni la méthode ni les conclusions de l’étude, et il ne compte pas comme une seconde source scientifique indépendante.
Où se fait cette recherche
-
Alibaba Group (China) pays non établi dans la noticeEntreprise
-
University of Science and Technology of China pays non établi dans la noticeUniversité ou école supérieure
-
East China Normal University pays non établi dans la noticeUniversité ou école supérieure
-
Alibaba Group (United States) pays non établi dans la noticeEntreprise
-
Bellevue Hospital Center pays non établi dans la noticeÉtablissement de santé
Alibaba Group (China), University of Science and Technology of China et East China Normal University, avec 2 autres affiliations.
Une affiliation ne permet pas de déduire la nationalité d’un auteur.