DigiBot: Ein personalisiertes KI-Tool zur Selbsteinschätzung digitaler Kompetenzen

Zwei Studierende der Berner Fachhochschule entwickelten DigiBot – einen KI-Chatbot, der den EU-weiten DigComp-Test zur Selbsteinschätzung digitaler Fähigkeiten in personalisierte Fragen umwandelt. Ihre Bachelorarbeit untersuchte, ob dies Motivation und Verständnis verbessert – mit spannenden Erkenntnissen zu Chancen und Grenzen der KI-Personalisierung.

Die Herausforderung: Standardisierte Tests zugänglicher machen

Standardisierte Tests müssen gleichzeitig allgemeingültig und individuell relevant sein. Fehlt der Bezug zum Alltag, sinkt die Motivation – und die Aussagekraft der Ergebnisse. Die Herausforderung: Wie kann man Messgenauigkeit wahren und gleichzeitig unterschiedliche Hintergründe berücksichtigen?

Die Studierenden wählten das EU-Framework DigComp mit über 80 Fragen in mehreren Sprachen, das fünf Schlüsselkompetenzen der digitalen Welt abdeckt: Informations- und Datenkompetenz, Kommunikation & Zusammenarbeit, Inhaltserstellung, Sicherheit sowie Problemlösung.

Ihr Ziel ging über das Erstellen alternativer Fragen hinaus. Drei zentrale Forschungsfragen leiteten die Arbeit:

1. Wie kann ein KI-Chatbot relevante Kontextinformationen effektiv erfassen?
2. Nach welchen Kriterien bleiben personalisierte Fragen valide und gleichzeitig relevanter?
3. Wie reagieren unterschiedliche Nutzergruppen (Alter, Beruf, Digitalkompetenz) auf Standard- vs. personalisierte Fragen?

Dieser strukturierte Ansatz ermöglichte nicht nur die Prüfung, ob Personalisierung wirkt – sondern auch wie und für wen.

Innovativer Ansatz: KI-gestützte Personalisierung

DigiBot erneuert standardisierte Tests durch einen zweistufigen Ansatz: Profilaufbau gefolgt von Frageanpassung. Statt direkt generische Fragen zu stellen, startet DigiBot mit einem kurzen, strukturierten Dialog, um Kontextinformationen zu erfassen – etwa zur beruflichen Rolle, Selbsteinschätzung digitaler Kompetenzen, alltäglichen Technologieanwendungen und genutzten Tools.

Basierend auf diesem Profil wandelt DigiBot mithilfe grosser Sprachmodelle (LLMs) DigComp-Standardfragen in personalisierte Varianten um – bei gleichbleibendem Prüfziel. Statt „Erkennen Sie Phishing-Versuche?“ erhält z. B. eine Marketing-Fachkraft:
„Wie würden Sie nach einer E-Mail-Kampagne betrügerische Kundenanfragen erkennen?“ Eine IT-Admin bekäme: „Welche Anzeichen sollten Sie Nicht-Technikern erklären, um Phishing von legitimen Systemmeldungen zu unterscheiden?“

Zur Wirksamkeitsprüfung führte das Team eine Vergleichsstudie mit 50 englischsprachigen US-Teilnehmenden durch. In einem Single-Blind-A/B-Test wurden Original- und KI-personalisierte Fragen randomisiert präsentiert und hinsichtlich Verständlichkeit, Relevanz und Schwierigkeit bewertet.

(1) Ein effektives digitales Profil: Grundlage der Personalisierung

Die Qualität personalisierter Fragen hängt davon ab, wie gut das System die Nutzer versteht – die Profilerstellung ist daher zentral für den Erfolg von DigiBot. Das Forschungsteam testete zwei technische Ansätze: eine No-Code-Lösung mit Langflow (basierend auf LangChain) und einen selbst entwickelten Chatbot mit direkter OpenAI-Anbindung. Beide sollten durch gezielte Fragen zur beruflichen Rolle und Erfahrung aussagekräftige Kontextdaten sammeln.

Schnell zeigte sich: Daten allein genügen nicht – entscheidend sind Qualität und Nutzbarkeit. Deshalb entwickelten die Forschenden ein Bewertungsraster mit drei Kriterien: Klarheit (Wie präzise sind die Antworten?), Vollständigkeit (Sind alle relevanten Aspekte abgedeckt?) und Glaubwürdigkeit (Sind die Angaben konsistent?). Auf vage Antworten wie „Ich nutze Computer bei der Arbeit“ folgten gezielte Rückfragen: „Welche Programme nutzen Sie am häufigsten, und wofür?“

Dieses Feintuning erforderte Fingerspitzengefühl. Zu viele Fragen führten zu Abbrüchen, zu wenige zu oberflächlichen Profilen. Nach Tests mit Freiwilligen pendelte sich der ideale Aufwand bei 3–5 Minuten ein – genug für ein aussagekräftiges Profil ohne Überforderung. Diese Basis war entscheidend, da die Qualität der Personalisierung direkt vom Input abhängt.

(2) Von generisch zu persönlich: Der Prozess der Frage-Transformation

Nach Erstellung des Nutzerprofils stand DigiBot vor der zentralen Aufgabe, standardisierte Fragen in personalisierte Varianten zu überführen – ohne die Bewertungsziele zu verlieren. Das Team entwickelte dafür eine ausgefeilte Prompt-Strategie: Originalfragen aus dem DigComp-Rahmen wurden mit Nutzerprofilen kombiniert, um per OpenAI-Sprachmodell kontextbezogene Anpassungen zu erzeugen.

Zur Bewertung der generierten Fragen definierte das Team vier Kriterien: Verständlichkeit, Kontextbezug, inhaltliche Treue zum Original und angemessener Schwierigkeitsgrad. Da pro Prompt meist mehrere Varianten entstanden, wurden diese mithilfe eines Algorithmus nach diesen Kriterien gerankt.

Die Umwandlung erforderte präzise Feinabstimmung. Zu generische Fragen boten keinen Mehrwert, zu spezifische führten teils zu Verwirrung. Tests zeigten: Die besten Ergebnisse entstanden, wenn typische Tools aus dem Profil und realistische Szenarien aus dem Arbeitsalltag integriert wurden – bei gleichzeitiger Klarheit und Nähe zur Originalformulierung.

Zentrale Erkenntnisse

Die Nutzerstudie lieferte wertvolle Erkenntnisse zur Wirksamkeit von KI-generierten, personalisierten Assessments. Die Resultate zeigen sowohl zentrale Stärken als auch Herausforderungen:

• Verständlichkeit und Lesbarkeit: Die Originalaussagen aus dem DigComp-Framework wurden von den Nutzenden als einfacher zu verstehen und zu lesen bewertet – unabhängig vom digitalen Kompetenzniveau. Die von der KI generierten Aussagen waren oft komplexer und dadurch teilweise schwieriger zu interpretieren.
• Detailtiefe und berufliche Relevanz: Die KI-generierten Aussagen wurden als detaillierter und berufsbezogener wahrgenommen. Besonders Personen mit Tätigkeiten, die eng mit den Testthemen verbunden waren, empfanden diese als relevanter.
• Präferenzen je nach Kompetenzniveau: Einsteigerinnen und Einsteiger bevorzugten die Originalaussagen wegen ihrer Einfachheit. Fortgeschrittene Nutzende schätzten die kontextuelle Tiefe der KI-Varianten – auch wenn dies mit höherer Komplexität verbunden war.
• Wirksamkeit der Personalisierung: Personalisierte Fragen, die auf den individuellen Hintergrund abgestimmt waren, wurden positiv bewertet – insbesondere dann, wenn relevante Informationen aus dem Nutzerprofil erfolgreich integriert wurden.
• Herausforderungen bei der Personalisierung: Einige KI-generierte Aussagen waren zu komplex oder wirkten inkonsistent – vor allem, wenn die berufliche Rolle der testenden Person keinen direkten Bezug zum Thema hatte. Für die Zukunft braucht es verbesserte Validierungsmechanismen und Vereinfachungstechniken, damit die generierten Fragen klar und zugänglich bleiben.

Ausblick und nächste Schritte

Zwar zeigte sich keine eindeutige Präferenz zwischen Original- und personalisierten Aussagen, doch das Potenzial KI-gestützter Personalisierung wurde klar erkennbar. Die zentrale Herausforderung bleibt, Kontextrelevanz mit Einfachheit zu vereinen, damit Assessments verständlich und motivierend bleiben.

Der nächste Fokus liegt auf der Verfeinerung der Nutzerprofile, besserer Promptgestaltung und präziseren Bewertungskriterien. Langfristig sollen Modelle gezielt angepasst, Nutzerfeedback integriert und kosteneffiziente Bereitstellungsstrategien entwickelt werden.

Diese Massnahmen zielen darauf ab, Benutzerfreundlichkeit, Personalisierungsqualität und Systemleistung weiter zu verbessern.

Das Projekt war eine transdisziplinäre Zusammenarbeit zwischen dem Departement Wirtschaft und dem Departement Technologie & Informatik – eine Verbindung von menschzentriertem Design und technischer Innovation. Die Arbeit wird künftig weitergeführt und in zukünftige Forschungs- und Anwendungskontexte eingebettet.

Referenzen

EU DigComp Framework, https://joint-research-centre.ec.europa.eu/projects-and-activities/education-and-training/digital-transformation-education/digital-competence-framework-citizens-digcomp_en

DigiBot – eine GenAI Lösung für Selbsteinschätzungstests, https://bfh.easydocmaker.ch/search/abstract/4240/