Jenseits der Black‐Box KI: Vergleich der Interpretierbarkeit und Genauigkeit von ChatGPT‐4 mit CNNs bei der Diagnose melanozytärer Läsionen

Résumé fourni par la source

Zusammenfassung Hintergrund Die Algorithmen der künstlichen Intelligenz (KI) haben Fortschritte gemacht und weisen bei der Hautkrebsdiagnose anhand dermatoskopischer Bilder eine hohe Genauigkeit auf. Im Hinblick auf die diagnostische Leistungsfähigkeit wurde in der vorliegenden Studie das große Sprachmodell ChatGPT‐4 mit spezialisierten Modellen auf Basis konvolutionaler neuronaler Netze (CNN) bei der Analyse melanozytärer Läsionen verglichen. Patienten und Methoden Es wurde eine vergleichende Querschnittsstudie mit 117 dermatoskopischen Bildern durchgeführt. Die Leistung von ChatGPT‐4 wurde unter zwei Bedingungen bewertet: bei der direkten Diagnose von Läsionen ohne Annotationen und bei der Diagnose nach Annotation der dermatoskopischen Merkmale. Die Ergebnisse wurden mit CNN‐basierten Modellen (Ypsono und ResNet) und Evaluierungen durch menschliche Experten verglichen. Zusätzlich zur diagnostischen Genauigkeit, Sensitivität, Spezifität und Interobserver‐Übereinstimmung (Cohens κ‐Koeffizient) wurden die Konfusionsmatrizen aller Modelle berechnet. Ergebnisse ChatGPT‐4 erreichte eine Sensitivität von 92%, eine Spezifität von 89% und eine Genauigkeit von 89,7% bei der direkten Diagnose. Wenn Annotationen erforderlich waren, sanken die Sensitivität und Spezifität auf jeweils 68% und 64%. Die Übereinstimmung mit Experten hinsichtlich der dermatoskopischen Muster war minimal (κ = 0,13). ChatGPT‐4 übertraf die CNN‐Modelle bei der direkten Diagnose, zeigte jedoch erhebliche Einschränkungen bei der Beschreibung dermatoskopischer Merkmale. Schlussfolgerungen ChatGPT‐4 zeigte vielversprechendes Potenzial für eine genaue Klassifizierung von Melanomen und Nävi ohne Annotationen und übertraf damit die CNN‐basierten Modelle. Seine begrenzte Fähigkeit, dermatoskopische Merkmale genau zu beschreiben, unterstreicht jedoch die Notwendigkeit weiterer Forschung und weiteren Trainings.

Ce résumé expose les affirmations des auteurs. BNTIC ne l’interprète pas comme une validation indépendante des résultats.