"Nicht ausreichend sicher": KI-Suchmaschinen gefährden Patientensicherheit

Mangelnde Qualität der Chatbot-Antworten

"Ein zentrales Ergebnis unserer Untersuchung ist, dass die Qualität der Chatbot-Antworten bisher nicht zur sicheren Anwendung für Nutzer ausreichend ist", erläuterte Erstautor Wahram Andrikyan vom Institut für Experimentelle und klinische Pharmakologie und Toxikologie der Universität Erlangen. "Ein deutlicher Hinweis, dass die vom Chatbot bereitgestellten Informationen keinen professionellen Rat ersetzen können, ist unserer Meinung nach daher unerlässlich."

Ausgangspunkt der Studie sei die Erfahrung gewesen, dass sich Patientinnen und Patienten im Internet über verschriebene Medikamente informierten. Deshalb stellten die Forschenden dem KI-gestützten Chatbot der Microsoft-Suchmaschine Bing im April 2023 zehn häufige Fragen zu den 50 meist verordneten Medikamenten in den USA, darunter Fragen zur Einnahme, zu Nebenwirkungen oder Gegenanzeigen.

Risiken für Patienten durch ungenaue KI-Antworten

Generell habe der Chatbot die Fragen mit hoher Vollständigkeit und Genauigkeit beantwortet, sagte Andrikyan. Doch bei manchen Fragen sei das nicht der Fall gewesen. "Dies birgt ein Risiko für Patienten, da sie als medizinische Laien die Genauigkeit und Vollständigkeit der KI-generierten Antworten selbst nicht einschätzen können", sagte Andrikyan.

Fortschritte bei KI-gestützten Suchmaschinen, aber Risiken bleiben

Zwar habe es seit der Untersuchung im vergangenen Jahr rasante Fortschritte bei KI-gestützten Suchmaschinen mit integrierter Chatbot-Funktion gegeben, betonte der Experte. Die Verbesserungen seien aber nicht ausreichend, die Risiken für die Patientensicherheit blieben bis auf weiteres bestehen. Da Chatbots jedoch mit unterschiedlichen Datensätzen trainiert werden, hält er es für sinnvoll, die Sicherheit und Qualität anderer technischer Systeme ebenfalls zu untersuchen.

(APA/dpa)