Beliebte KI-Chatbots geben, obwohl sie seriös wirken, häufig gefährlich ungenaue Gesundheitsratschläge, darunter bizarre Empfehlungen wie die rektale Einführung von Knoblauch zur Stärkung der Immunität. Aktuelle Studien von The Lancet Digital Health und Nature Medicine zeigen, dass diese Tools nicht zuverlässiger sind als eine einfache Internetsuche – und für den Durchschnittsnutzer möglicherweise sogar schlechter sind.
Das Problem mit KI-„Expertise“
Das Kernproblem besteht nicht darin, dass Chatbots wie Menschen versagen; es ist so, dass sie ohne zu zögern scheitern. Ein menschlicher Arzt, der sich über eine Diagnose nicht sicher ist, würde innehalten, weitere Tests durchführen oder Kollegen konsultieren. Ein KI-Chatbot liefert falsche Informationen mit der gleichen unerschütterlichen Sicherheit wie richtige Ratschläge. Dies ist besonders gefährlich, da LLMs (Large Language Models) darauf trainiert sind, den Ton von Medizinern nachzuahmen und falsche Behauptungen legitim erscheinen zu lassen.
Wenn Forscher beispielsweise Chatbots medizinische Fehlinformationen in lockerer Sprache präsentierten, waren die Modelle in weniger als 10 % der Fälle skeptisch. Als jedoch dieselbe falsche Behauptung in formale klinische Sprache umgepackt wurde – etwa ein Entlassungsbescheid, in dem „kalte Milch gegen Speiseröhrenblutungen“ oder „rektale Knoblaucheinführung zur Immununterstützung“ empfohlen wurde – stieg die Misserfolgsrate auf 46 %. Die KI bewertet nicht die Wahrheit, sondern wie maßgeblich die Sprache klingt.
Warum Chatbots im Gesundheitswesen scheitern
LLMs werden anhand umfangreicher Textdatensätze, einschließlich medizinischer Fachliteratur, geschult und bestehen häufig medizinische Approbationsprüfungen mit hohen Punktzahlen. Trotzdem können sie nicht zuverlässig zwischen Fakten und Fiktion unterscheiden. Über 40 Millionen Menschen nutzen ChatGPT täglich für medizinische Fragen, doch Forscher haben herausgefunden, dass etwa jeder Dritte Chatbots auf Fehlinformationen stößt und diese einfach akzeptiert.
Das Problem ist struktureller Natur: LLMs haben gelernt, Internetargumenten zu misstrauen, nicht jedoch der Sprache der klinischen Dokumentation. Sie testen nicht, ob eine Behauptung wahr ist; Sie bewerten, ob es sich wie etwas anhört, das eine vertrauenswürdige Quelle sagen würde. Dies macht sie besonders anfällig für Fehlinformationen, die in autoritärem Ton präsentiert werden.
Nicht besser als Google
Eine separate Studie in Nature Medicine ergab, dass Chatbots nicht mehr Erkenntnisse bieten als eine herkömmliche Internetsuche, wenn es darum geht, Menschen bei der Entscheidung zu helfen, ob sie einen Arzt aufsuchen oder in die Notaufnahme gehen sollen. Die Teilnehmer stellten häufig schlechte Fragen und die Antworten enthielten gute und schlechte Ratschläge, sodass die Benutzer nicht entscheiden konnten, was sie tun sollten.
Während Chatbots in manchen Fällen hilfreiche Empfehlungen geben können, haben Menschen ohne medizinische Fachkenntnisse keine Möglichkeit, die Genauigkeit der Ergebnisse zu beurteilen. Beispielsweise könnte ein Chatbot jemandem fälschlicherweise raten, bei starken Kopfschmerzen, bei denen es sich um eine Meningitis handeln könnte, abzuwarten – ein potenziell fataler Fehler.
Obwohl es wahrscheinlich in vielen Situationen hilfreich sein kann, kann es in anderen tatsächlich schädlich sein.
Das Fazit
KI-Chatbots sind kein zuverlässiges Instrument für Entscheidungen im Bereich der öffentlichen Gesundheit. Sie sind kein Ersatz für medizinisches Fachwissen und es könnte gefährlich sein, sich bei schwerwiegenden Gesundheitsfragen auf sie zu verlassen. Auch wenn sie künftig in der Medizin Anwendung finden könnten, ist ihr derzeitiger Einsatz zur Selbstdiagnose oder Behandlung unverantwortlich.
