GPT-4o’s competency in answering the simulated EBIR exam compared to a medical student and experts in Germany and its ability to generate exam items on interventional radiology

Le résumé fourni par la source

Zielsetzung In dieser Studie wurde untersucht, ob ChatGPT-4o, eine generative Plattform für künstliche Intelligenz (KI), in der Lage ist, eine simulierte schriftliche Prüfung des European Board of Interventional Radiology (EBIR) zu bestehen, und ob GPT-4o ob GPT-4o dazu verwendet werden kann, Medizinstudenten und Interventionsradiologen mit unterschiedlichem Fachwissen auszubilden, indem es Prüfungsaufgaben zur Interventionsradiologie generiert. Material und Methoden GPT-4o wurde gebeten, 370 simulierte Prüfungsaufgaben der CIRSE für die EBIR Vorbereitung (CIRSE Prep) zu beantworten. Anschließend wurde GPT-4o gebeten, Prüfungsaufgaben zu Themen der interventionellen Radiologie mit unterschiedlichen Schwierigkeitsgraden zu erstellen. Diese generierten Aufgaben wurden von 4 Teilnehmern beantwortet, darunter ein Medizinstudent, ein Assistenzarzt, ein Facharzt und ein EBIR Holder. Ein Prüfer überprüfte die von GPT-4o generierten Antworten und Aufgaben auf ihre Richtigkeit und Relevanz. Diese Arbeit wurde von April bis Juli 2024 durchgeführt. Ergebnisse GPT-4o beantwortete 248 der 370 CIRSE-Vorbereitungsaufgaben richtig (67,0%). Bei 50 CIRSE Prep-Aufgaben beantwortete der Medizinstudent 46,0%, der Assistenzarzt 42,0%, der Facharzt 50,0% und der EBIR-Inhaber 74,0% richtig. Alle Teilnehmer beantworteten 82,0% bis 92,0% der 50 GPT-4o generierten Items auf der Ebene der Studenten Ebene richtig. Bei den 50 GPT-4o-Aufgaben auf EBIR-Ebene beantworteten die Medizinstudenten 32,0%, die Assistenzärzte 44,0%, die Fachärzte 48,0% und die EBIR-Inhaber 66,0% richtig. Alle Teilnehmer konnten die mit dem GPT-4o generierten Items für das Studentenniveau bestehen, während der EBIR-Inhaber die mit dem GPT-4o generierten Items für das das EBIR-Niveau. Zwei (0,3%) von 150 durch den GPT-4o generierten Items wurden als unplausibel bewertet. Schlussfolgerungen GPT-4o konnte die simulierte schriftliche EBIR-Prüfung bestehen und angemessene Prüfungsaufgaben mit unterschiedlichem Schwierigkeitsgraden erstellen. Publication History Article published online: 25 March 2025 © 2025. Thieme. All rights reserved. Georg Thieme Verlag KG Oswald-Hesse-Straße 50, 70469 Stuttgart, Germany

Ce résumé expose les affirmations des auteurs. BNTIC ne l’interprète pas comme une validation indépendante des résultats.