Responsabilité et risques : l’IA générative dans les applications de santé au plus près des patients

L’intelligence artificielle (IA) générative bouleverse en profondeur les usages numériques en santé, notamment dans les interactions directes avec les patient·e·s. Mais cette avancée s’accompagne aussi de nouveaux risques : désinformation, atteintes à la vie privée ou encore attentes irréalistes face à ses promesses. Comment relever ces défis ?

Les applications numériques en santé fondées sur l’IA générative devraient permettre d’améliorer l’accès des patient·e·s à l’information médicale. Les chatbots, les assistants virtuels ou les plateformes interactives qui reposent sur de grands modèles de langage (Large Language Models ou LLM) ne sont plus de la science-fiction : ils sont déjà ancrés dans la réalité clinique. Ces outils informent, expliquent et rassurent souvent en utilisant un langage qui semble avoir été rédigé par des humains. La plateforme Help Near You propose par exemple un chatbot permettant d’identifier des thérapies complémentaires. Dans le cadre d’un projet mené en collaboration avec la start-up éponyme, nous avons identifié les risques potentiels liés aux chatbots de santé à destination des patient·e·s en général, et à ce chatbot en particulier. Ce projet a été soutenu sous forme de bon (voucher) dans le cadre du programme Transformation numérique centrée sur l’humain. Nous avons élaboré des stratégies et formulé des recommandations concrètes pour répondre à ces enjeux.

Les potentialités et les promesses de l’IA générative

L’intelligence artificielle générative, notamment à travers des modèles tels que les Generative Pre-trained Transformers (GPT), permet d’envisager une personnalisation fine de l’information médicale complexe. La génération augmentée par récupération (Retrieval-Augmented Generation, RAG), qui consiste à enrichir et valider les contenus produits par l’IA à l’aide de sources fiables, est un développement particulièrement prometteur. L’objectif est de fournir un soutien personnalisé, basé sur des données vérifiées, aux patient·e·s. Cependant, plus ces systèmes gagnent en sophistication, plus les risques d’erreurs, de mésusage ou d’interprétations erronées augmentent. Lorsqu’ils interviennent dans le domaine de la santé, ces risques peuvent compromettre la sécurité des patient·e·s. Il est donc crucial de bien comprendre ces risques et de mettre en œuvre des mécanismes de prévention adéquats.

Les aspects sombres : les risques technologiques

Un problème majeur concerne les « hallucinations » de l’IA, c’est-à-dire des énoncés plausibles mais factuellement erronés. Ces phénomènes sont le résultat du fonctionnement probabiliste des modèles de langage, qui ne font pas la distinction entre faits et fiction. La situation devient particulièrement dangereuse lorsque le système délivre des recommandations médicales, alors qu’il n’est pas conçu pour cela. Ces recommandations peuvent alors être imprécises, voire incorrectes. Parmi les autres sources de risques technologiques, on compte notamment :

• Injection de prompts (Prompt Injection) : des requêtes malicieusement formulées peuvent induire l’IA en erreur et l’amener à divulguer des informations sensibles.
• Jailbreaking : certaines entrées détournées permettent de contourner les dispositifs de sécurité intégrés aux chatbots, exposant ainsi leurs vulnérabilités.
• Utilisation abusive des données : il est souvent difficile de déterminer si, et dans quelles conditions, les données saisies sont réutilisées pour l’entraînement des modèles. Cette opacité soulève de sérieuses questions en matière de protection des données personnelles.

L’humain au centre : les risques liés aux utilisateurs

Le danger le plus important réside probablement dans une mauvaise interprétation des informations fournies par les utilisateur·rice·s. Beaucoup sous-estiment le fait que les systèmes basés sur l’IA ne remplacent pas les professionnels de santé. Leur langage, leur empathie simulée peuvent susciter un certain niveau de confiance, parfois excessif. Dans des situations critiques, cela pourrait conduire à une demande tardive d’aide médicale ou à de mauvaises décisions.

Par ailleurs, certains groupes d’utilisateur·rice·s, comme les personnes âgées ou celles ayant des compétences numériques limitées, risquent d’être exclu·e·s. Des interfaces complexes ou un manque d’accessibilité peuvent renforcer ce risque. Il est donc indispensable de concevoir des systèmes centrés sur l’utilisateur.

Risques organisationnels et défis éthiques

Au niveau organisationnel aussi, de nombreux aspects doivent être pris en compte : si un fournisseur viole les règles de protection des données — par exemple en utilisant des interfaces avec des modèles linguistiques étrangers sur lesquels repose le chatbot — des conséquences juridiques et une perte de réputation sont à craindre. Il est également crucial d’éviter les recommandations fondées sur des sources non vérifiées ou des prestataires non qualifiés, proposées par l’IA générative. Cela peut en effet entraîner des litiges juridiques et une perte de confiance. Les risques éthiques sont notamment représentés par des réponses discriminatoires issues de données d’entraînement biaisées ou des promesses de guérison suscitant des attentes irréalistes. De telles erreurs sapent la confiance dans les solutions numériques de santé en général.

Stratégies de réduction des risques

Toutefois, il existe des moyens d’atténuer ces risques. Parmi les mesures principales :

• Communication transparente : les utilisateur·rice·s doivent être clairement informé·e·s des capacités réelles de l’IA — mais aussi de ses limites.
• Conception accessible : une interface intuitive, une signalétique claire et un langage compréhensible renforcent l’accessibilité et l’expérience utilisateur.
• Choix de modèles respectueux de la vie privée : privilégier des modèles hébergés localement ou contrôlés permet de mieux maîtriser la circulation des données sensibles.
• Création responsable de contenu : les messages générés ne doivent jamais faire de promesses de guérison ; le prompt engineering doit exclure ces dérives, et les informations délivrées doivent être systématiquement validées par des sources fiables.
• Recours à des cadres d’évaluation des risques : des référentiels comme le NIST AI Risk Management Framework [1] offrent une structure rigoureuse pour identifier, évaluer et atténuer les risques liés à l’IA.

Conclusion : utiliser la technologie avec responsabilité

L’IA générative dans les applications destinées aux patient·e·s a le potentiel d’améliorer les soins de santé en facilitant l’accès, la compréhension et l’autonomie. Mais ce potentiel ne se réalisera pleinement que si la responsabilité technologique est prise au sérieux. Les développeur·se·s, les fournisseurs et les institutions doivent systématiquement analyser les risques et les minimiser par la conception, la communication et la régulation. Help Near You a pris des mesures pour remédier aux risques identifiés conjointement dans le cadre du projet. Ce processus a ainsi déjà fourni des orientations précieuses pour les développements futurs. C’est ainsi que la confiance, la monnaie la plus précieuse dans le domaine de la santé numérique, peut se construire.

Figure 1 : Catégories de risques liés aux chatbots de santé proches du patient basés sur des modèles de langage, et mesures possibles pour y faire face.