DigiBot : Un outil d’IA personnalisé pour l’auto-évaluation des compétences numériques

Deux étudiants de la Haute école spécialisée bernoise ont développé DigiBot – un chatbot doté d’IA qui transforme le test européen DigComp d’auto-évaluation des compétences numériques en questions personnalisées. Leur travail de bachelor a examiné si cette approche améliore la motivation et la compréhension – révélant des résultats intéressants sur les opportunités et les limites de la personnalisation par l’IA.

Le défi : rendre les tests standardisés plus accessibles

Les tests standardisés doivent être à la fois universels et pertinents sur le plan individuel. Si le lien avec la vie quotidienne fait défaut, la motivation diminue – tout comme la validité des résultats. Le défi consiste donc à maintenir la précision des mesures tout en tenant compte de la diversité des parcours.

Les étudiants ont choisi le cadre européen DigComp, qui comprend plus de 80 questions en plusieurs langues et couvre cinq compétences clés du monde numérique : la culture de l’information et des données, la communication et la collaboration, la création de contenu, la sécurité ainsi que la résolution de problèmes.

Leur objectif ne se limitait pas à reformuler les questions. Trois questions de recherche principales ont guidé leur travail :

• Comment un chatbot doté d’IA peut-il saisir efficacement des informations contextuelles pertinentes ?
• Quels critères permettent de garantir que des questions personnalisées restent à la fois valides et plus pertinentes ?
• Comment différents groupes d’utilisateurs (âge, profession, niveau de compétence numérique) réagissent-ils aux questions standardisées par rapport aux questions personnalisées ?

Cette approche structurée a permis non seulement de vérifier si la personnalisation est efficace – mais aussi de comprendre comment elle fonctionne et pour quels publics elle est la plus pertinente.

Approche innovante : la personnalisation assistée par l’IA

DigiBot renouvelle les tests standardisés grâce à une approche en deux étapes : création d’un profil, puis adaptation des questions. Au lieu de poser directement des questions génériques, DigiBot commence par un court dialogue structuré afin de recueillir des informations contextuelles – telles que le rôle professionnel, l’autoévaluation des compétences numériques, les usages technologiques quotidiens ou encore les outils utilisés.

Sur la base de ce profil, DigiBot utilise de grands modèles de langage (LLMs) pour transformer les questions standardisées de DigComp en variantes personnalisées – tout en conservant les mêmes objectifs d’évaluation. Au lieu de demander par exemple : « Reconnaissez-vous les tentatives de phishing ? », une personne travaillant dans le marketing recevrait :« Comment repéreriez-vous des demandes frauduleuses de clients après une campagne d’e-mails ? » Un·e administrateur·trice IT obtiendrait : « Quels signes devriez-vous expliquer à des non-techniciens pour leur permettre de distinguer le phishing des messages système légitimes ? »

Pour évaluer l’efficacité de l’approche, l’équipe a mené une étude comparative auprès de 50 participant·e·s anglophones aux États-Unis. Lors d’un test A/B à l’aveugle (single-blind), des questions originales et des versions personnalisées par l’IA ont été présentées de manière aléatoire, puis évaluées selon leur clarté, leur pertinence et leur niveau de difficulté.

(1) Un profil numérique efficace : la base de la personnalisation

La qualité des questions personnalisées dépend directement de la capacité du système à comprendre ses utilisateurs – la création de profil est donc un élément clé du succès de DigiBot. L’équipe de recherche a testé deux approches techniques : une solution no-code via Langflow (basée sur LangChain) et un chatbot développé en interne, connecté directement à OpenAI. Les deux méthodes visaient à recueillir des données contextuelles pertinentes à travers des questions ciblées sur le rôle professionnel et l’expérience numérique.

Il est vite apparu que les données seules ne suffisaient pas – leur qualité et leur exploitabilité étaient déterminantes. Les chercheurs ont donc conçu une grille d’évaluation selon trois critères : clarté (les réponses sont-elles précises ?), exhaustivité (tous les aspects pertinents sont-ils abordés ?), crédibilité (les informations sont-elles cohérentes ?). Des réponses vagues comme « J’utilise un ordinateur au travail » déclenchaient des relances ciblées, par exemple : « Quels programmes utilisez-vous le plus souvent, et dans quel but ? »

Ce travail de précision a nécessité un réel sens de la nuance. Trop de questions entraînaient des abandons, trop peu donnaient des profils trop superficiels. Après des tests avec des volontaires, l’équilibre optimal s’est établi autour de 3 à 5 minutes d’échange – suffisant pour générer un profil pertinent, sans surcharger les utilisateurs. Cette base était essentielle, car la qualité de la personnalisation dépend directement de la richesse des informations d’entrée.

(2) Du générique au personnel : le processus de transformation des questions

Une fois le profil utilisateur établi, DigiBot devait relever un défi central : transformer les questions standardisées en variantes personnalisées – sans altérer les objectifs d’évaluation. Pour cela, l’équipe a mis au point une stratégie de prompting sophistiquée : les questions originales du cadre DigComp ont été combinées avec les profils utilisateurs afin de générer, via un modèle linguistique d’OpenAI, des adaptations contextuelles pertinentes.

Pour évaluer la qualité des questions générées, l’équipe a défini quatre critères : clarté, pertinence contextuelle, fidélité au contenu original, niveau de difficulté approprié. Chaque prompt produisait généralement plusieurs variantes ; celles-ci ont été classées à l’aide d’un algorithme selon les critères ci-dessus.

La transformation exigeait un ajustement précis. Des questions trop génériques n’apportaient aucune valeur ajoutée ; des formulations trop spécifiques pouvaient prêter à confusion. Les tests ont montré que les meilleurs résultats apparaissaient lorsque les outils typiques du profil et des scénarios réalistes du quotidien professionnel étaient intégrés – tout en assurant une formulation claire et fidèle à l’intention de départ.

Principales conclusions

L’étude utilisateur a fourni des insights précieux sur l’efficacité des évaluations personnalisées générées par l’IA. Les résultats mettent en évidence à la fois des forces clés et des défis :

• Clarté et lisibilité : Les affirmations originales du cadre DigComp ont été jugées plus faciles à comprendre et à lire par les utilisateurs, indépendamment de leur niveau de compétence numérique. Les affirmations générées par l’IA étaient souvent plus complexes, ce qui les rendait parfois plus difficiles à interpréter.
• Profondeur des détails et pertinence professionnelle : Les affirmations générées par l’IA ont été perçues comme plus détaillées et plus liées à la profession. Les personnes exerçant des métiers étroitement liés aux thèmes des tests les ont trouvées particulièrement pertinentes.
• Préférences selon le niveau de compétence : Les débutants ont préféré les affirmations originales en raison de leur simplicité. En revanche, les utilisateurs avancés ont apprécié la profondeur contextuelle des variantes générées par l’IA, bien que cela soit associé à une complexité accrue.
• Efficacité de la personnalisation : Les questions personnalisées, adaptées en fonction du contexte individuel, ont été bien reçues, surtout lorsqu’elles intégraient avec succès des informations pertinentes issues du profil de l’utilisateur.
• Défis liés à la personnalisation : Certaines affirmations générées par l’IA étaient trop complexes ou paraissaient incohérentes, notamment lorsque le rôle professionnel de l’utilisateur n’était pas directement lié au sujet abordé. Pour l’avenir, il est nécessaire de développer des mécanismes de validation améliorés et des techniques de simplification pour garantir que les questions générées restent claires et accessibles.

Perspectives et prochaines étapes

Bien qu’aucune préférence claire n’ait émergé entre les formulations originales et les versions personnalisées, le potentiel de la personnalisation assistée par l’IA est apparu de manière évidente. Le principal défi reste de concilier pertinence contextuelle et simplicité, afin de garantir que les évaluations demeurent compréhensibles et motivantes.

Les prochaines étapes porteront sur l’affinement des profils utilisateurs, l’amélioration des prompts et la définition de critères d’évaluation encore plus précis. À long terme, l’objectif est d’adapter les modèles de manière ciblée, d’intégrer les retours des utilisateurs et de développer des stratégies de déploiement économiquement viables.

Ces mesures visent à améliorer continuellement la convivialité, la qualité de la personnalisation et la performance globale du système.

Le projet est le fruit d’une collaboration transdisciplinaire entre le Département d’économie et le Département de technologie & informatique – une synergie entre design centré sur l’humain et innovation technique. Ce travail se poursuivra et sera intégré dans de futurs contextes de recherche et d’application.

Références

EU DigComp Framework :
https://joint-research-centre.ec.europa.eu/projects-and-activities/education-and-training/digital-transformation-education/digital-competence-framework-citizens-digcomp_en

DigiBot – une solution GenAI pour les tests d’autoévaluation : https://bfh.easydocmaker.ch/search/abstract/4240/