Verantwortung und Risiko: Generative KI in patientennahen Gesundheitsanwendungen

Generative Künstliche Intelligenz (KI) revolutioniert digitale Gesundheitsanwendungen, insbesondere im direkten Kontakt mit Patient:innen. Doch mit dem Fortschritt kommen neue Risiken – von Fehlinformationen über Datenschutzprobleme bis hin zu unrealistischen Nutzendenerwartungen. Wie lassen sich diese Herausforderungen meistern?

Digitale Gesundheitsanwendungen auf Basis generativer KI versprechen, Patient:innen besseren Zugang zu Gesundheitsinformationen zu bieten. Chatbots, Gesundheitsassistenten oder interaktive Plattformen, die mithilfe grosser Sprachmodelle (Large Language Models, LLMs) Inhalte generieren, sind keine Zukunftsmusik mehr – sie sind Realität. Sie informieren, erklären, beruhigen – oft in einer Sprache, die wie von Menschen verfasst wirkt. Die Plattform Help Near You bietet einen Chatbot an, um komplementäre Therapien zu finden. In einem gemeinsamen Projekt mit dem gleichnamigen Start-up-Unternehmen wurden mögliche Risiken identifiziert, die patientennahe Chatbots im Allgemeinen und dieser Chatbot im Speziellen mit sich bringen können. Gefördert wurde das Projekt als Voucher im Rahmen des Themenfelds Humane Digitale Transformation. Wir erarbeiteten Strategien und konkrete Empfehlungen, wie man ihnen begegnen kann.

Die Chancen und das Versprechen generativer KI

Generative KI, die durch Modelle wie Generative Pre-trained Transformer (GPT) unterstützt wird, ermöglicht es, komplexe medizinische Informationen individuell aufzubereiten. Besonders interessant ist die sogenannte „Retrieval-Augmented Generation“ (RAG), bei der KI-generierte Inhalte durch verifizierte Quellen gestützt werden. Ziel: eine fundierte, personalisierte Unterstützung für Patient:innen. Doch je grösser die Fähigkeiten solcher Systeme sind, desto grösser auch das Missbrauchs- und Fehlerrisiko. Beraten solche Systeme in Gesundheitsfragen, können diese Risiken die Patient:innensicherheit gefährden. Daher gilt es, die Risiken zu kennen und Gegenmassnahmen zu implementieren.

Die Schattenseiten: Technologische Risiken

Ein zentrales Problem sind sogenannte „Halluzinationen“ der KI – plausibel klingende, aber inhaltlich falsche Aussagen. Diese entstehen aufgrund der probabilistischen Funktionsweise von Sprachmodellen, die nicht zwischen Fakten und Fiktion unterscheiden können. Besonders gefährlich wird es, wenn das System medizinische Empfehlungen ausspricht, obwohl es nicht dafür vorgesehen ist. Die Empfehlungen können dann generisch oder gar falsch sein.

Weitere technologische Gefahrenquellen sind:

• Prompt Injection: Angreifer können durch manipulierte Eingaben vertrauliche Informationen aus der KI „heraustricksen“.
• Jailbreaking: Durch geschickte Eingaben lassen sich in Chatbots integrierte Schutzmechanismen umgehen.
• Datenmissbrauch: Häufig bleibt unklar, ob und wie Eingaben für das weitere Training verwendet werden – ein klarer Konflikt mit Datenschutzgrundsätzen.

Der Mensch im Mittelpunkt: Nutzerbezogene Risiken

Die grösste Gefahr ist möglicherweise die Fehlinterpretation der gelieferten Informationen durch Nutzer:innen. Viele unterschätzen, dass KI-basierte Systeme keine medizinischen Fachkräfte ersetzen. Ihre menschenähnliche Sprache, die gespielte Empathie, können Vertrauen wecken – manchmal zu viel. In kritischen Fällen könnte das dazu führen, dass Betroffene medizinische Hilfe zu spät suchen oder falsche Entscheidungen treffen.

Zudem besteht die Gefahr, dass bestimmte Nutzergruppen – etwa ältere Menschen oder Personen mit eingeschränkter digitaler Kompetenz – von der Nutzung ausgeschlossen werden. Komplexe Interfaces oder unzureichende Barrierefreiheit verstärken dieses Risiko. Eine nutzerzentrierte Gestaltung kann hier Abhilfe schaffen.

Unternehmensrisiken und ethische Herausforderungen

Auch auf organisatorischer Ebene gibt es viel zu beachten: Verstösst ein Anbieter gegen Datenschutzvorgaben – etwa durch Nutzung von Schnittstellen zu ausländischen Sprachmodellen, auf denen der Chatbot aufsetzt – drohen rechtliche Konsequenzen und Reputationsverlust. Ebenso kritisch: Wenn die generative KI Empfehlungen gibt, die auf nicht verifizierten Quellen oder unqualifizierten Anbietern basieren. Das kann zu rechtlichen Auseinandersetzungen und Vertrauensverlust führen.

Ethische Risiken betreffen unter anderem diskriminierende Antworten aufgrund verzerrter Trainingsdaten oder das Versprechen von Heilung, das Erwartungen weckt, die nicht erfüllt werden können. Solche Fehltritte untergraben das Vertrauen in digitale Gesundheitslösungen insgesamt.

Strategien zur Risikominimierung

Doch es gibt Wege, diesen Risiken zu begegnen. Zu den wichtigsten Massnahmen zählen:

• Transparente Kommunikation: Nutzer:innen müssen wissen, was die KI kann – und was nicht.
• Barrierefreie Gestaltung: Klare Navigation, gute visuelle Führung und einfache Sprache verbessern die Nutzbarkeit.
• Datenschutzkonforme Modellwahl: Eigene, lokal gehostete Modelle bieten hier mehr Kontrolle.
• Verantwortungsvolle Inhaltserstellung: Heilungsversprechen sollten durch Prompt Engineering ausgeschlossen und durch den Chatbot vorgeschlagene Angebote und Informationen durch verlässliche Prüfmechanismen validiert werden.
• Risiko-Frameworks wie das NIST AI RMF [1]: Diese bieten eine strukturierte Grundlage zur Bewertung und Eindämmung potenzieller Gefahren.

Fazit: Technologie mit Verantwortung nutzen

Generative KI in patientennahen Anwendungen hat das Potenzial, die Gesundheitsversorgung zu verbessern – durch mehr Zugang, Verständlichkeit und Selbstbestimmung. Doch dieses Potenzial entfaltet sich nur, wenn Technikverantwortung ernst genommen wird. Entwickler:innen, Anbieter und Institutionen sind gleichermassen gefragt, die Risiken systematisch zu analysieren und durch Gestaltung, Kommunikation und Regulierung zu minimieren. Help Near You ergriff entsprechende Massnahmen, um die identifizierten Risiken zu adressieren, welche gemeinsam im Projekt identifiziert wurden. Das Projekt hat entsprechend bereits eine wertvolle Orientierung geboten, an der Folgeentwicklungen weiter ausgerichtet werden können. Denn nur so kann Vertrauen entstehen – die wichtigste Währung im digitalen Gesundheitswesen.

Abb.1: Kategorien von Risiken von Sprachmodell-basierten, patientennahen Gesundheitschatbots und mögliche Gegenmassnahmen.

Referenzen

[1] Team NA. NIST AIRC – Playbook [Internet]. [zitiert 9. Dezember 2024]. Verfügbar unter: https://airc.nist.gov/AI_RMF_Knowledge_Base/Playbook