ChatGPT diagnostiziert die häufigsten Hauterkrankungen mit einer Genauigkeit von nahezu 100 % und übertrifft damit Googles Gemini bei Weitem, ergab eine klinische Studie.
GPT-4o übertraf Gemini Flash 2.0 bei der Diagnose von Akne und Rosazea und zeigte eine hohe Genauigkeit bei der Primärdiagnose, aber nur mäßigen Erfolg bei der Identifizierung von Subtypen, wie eine neue klinische Studie der Semmelweis Universität zeigt. KI-Tools können die Diagnose und den Zugang zur Versorgung beschleunigen, aber die Konsultation eines Dermatologen bleibt unerlässlich – sagen die Autoren.
In der Studie wurde getestet, wie gut zwei KI-Tools, GPT-4o von OpenAI und Gemini Flash 2.0 von Google, Akne und Rosazea anhand von Fotos von Patienten mit bestätigten Diagnosen an der Semmelweis Universität identifizieren können, die zwischen 2021 und 2023 die Klinik für Dermatologie der Universität aufsuchten. Zwei erfahrene Dermatologen überprüften die Bilder separat, und ein dritter traf eine Entscheidung, wenn sie sich nicht einig waren. Die endgültigen Diagnosen basierten auf der Mehrheitsmeinung.
„Akne und Rosazea sind sehr häufige Hauterkrankungen, die die Lebensqualität beeinträchtigen können. Ihre Diagnose kann jedoch aufgrund sich überschneidender klinischer Merkmale schwierig sein“ – sagte der korrespondierende Autor dr. Norbert Kiss, Assistenzprofessor an der Klinik für Dermatologie, Venerologie und Dermatoonkologie der Semmelweis Universität.
Die Bilder wurden an GPT-4o und Gemini Flash 2.0 übermittelt, wobei eine Standardaufforderung verwendet wurde, um einen Patienten ohne dermatologisches Wissen zu simulieren. Die KI-Modelle wurden gefragt: „Können Sie die wahrscheinlichste Diagnose erraten?“ Wenn sie richtig lagen, wurden sie gebeten, den Subtyp zu erraten. Ein internationales Dermatologen-Team, dem auch ein KI-Experte der Yale University angehörte, überwachte die Studie. Um die Daten bestmöglich auszuwerten, waren an der Studie internationale Dermatologen beteiligt, darunter ein KI-Experte der Yale University.
PT-4o lieferte in 100 % der Fälle eine Diagnose, wobei die korrekte Diagnoserate bei 93 % lag (bei einer Sensitivität von 93,0 % und einer Spezifität von 97,7 %). Bei Akne identifizierte GPT-4o 91 von 100 Fällen korrekt und verwechselte Akne mit keiner anderen Erkrankung. Bei Rosazea wurden alle Fälle (100 %) erkannt und nur sehr selten wurde eine andere Erkrankung mit Rosazea verwechselt, sodass die Genauigkeit bei 98 % lag.
Gemini Flash 2.0 von Google diagnostizierte nur 21 % der Fälle, wodurch eine weitere statistische Analyse nicht möglich war.
„Wir waren überrascht, wie gut (eines der) KI-Tools funktionierte“ – sagte dr. Kiss. „Patienten neigen dazu, KI zu misstrauen, aber auch Ärzte haben ihre Zweifel. Deshalb waren wir neugierig, wie gut diese Modelle bei der Diagnose von Erkrankungen sind“ – fügte er hinzu.
Die Identifizierung der verschiedenen Subtypen der Hauterkrankungen erwies sich als größere Herausforderung: GPT-4o konnte 55 % der Akne- und 50 % der Rosacea-Subtypen korrekt identifizieren, mit einer Spezifität von 90 % bzw. 80,0 %.
Während die Nachfrage nach Dermatologie aufgrund der alternden Bevölkerung und des zunehmenden Fokus auf das Aussehen steigt, ist die Zahl der Dermatologen weltweit nach wie vor gering – sie reicht von 1 pro 100.000 Menschen im Vereinigten Königreich bis zu 11,4 in Griechenland[1].
„Da KI-Tools wie ChatGPT in der Dermatologie immer zugänglicher werden, beeinflussen sie zunehmend die Entscheidung, professionelle Hilfe in Anspruch zu nehmen. Während GPT-4o in unserer Studie bei der Diagnose von Akne und Rosazea hervorragende Ergebnisse erzielte, hatte es Schwierigkeiten bei der Subtypisierung, was die Notwendigkeit einer objektiven Bewertung und öffentlichen Aufklärung unterstreicht, damit Menschen fundierte Entscheidungen treffen können, wenn sie KI-Tools zur Untersuchung ihrer Haut verwenden“ – sagte der Erstautor Mehdi Boostani von der Semmelweis Universität.
Erweiterte KI ist ein großartiges Support-Tool, das den Zugang zu medizinischer Versorgung beschleunigen und das Fortschreiten von Krankheiten verhindern kann – so die Autoren. „Für eine bestätigte Diagnose und den Zugang zu verschriebenen Medikamenten ist jedoch nach wie vor die Konsultation eines Dermatologen unerlässlich“ – sagte dr. András Bánvölgyi, Mitautor und Leiter der Abteilung für Teledermatologie und Ambulanz an der Klinik für Dermatologie, Venerologie und Dermatoonkologie der Semmelweis Universität.
[1] https://www.researchgate.net/figure/Total-number-and-ratio-of-dermatologists-and-general-practitioners-GPs-per-100-000_tbl1_232713101
Zsófia Végh
Fotos: Boglárka Zellei
Übersetzung: Judit Szlovák