Die Vorteile des nutzerzentrierten Prompt Engineerings für Unternehmen

Prompt Engineering ist entscheidend für die Qualität der Ausgabe von grossen Sprachmodellen. Das Human Centered AI-based Learning Systems (HAIS) Lab der BFH hat einen strukturierten Prozess entwickelt, der Prinzipien des nutzerzentrierten Designs auf die Entwicklung von KI-Anwendungen überträgt. Der Beitrag zeigt die Methode, ihre Anwendung und das Potenzial von grossen Sprachmodellen für einen bedürfnisorientierten und wirkungsvollen Einsatz.

Generative KI und Prompt Engineering

Bei generativer KI durch Sprachmodelle interagieren Menschen mit dem System über Texteingaben und erhalten von der KI eine entsprechende Ausgabe. Diese Ausgabe wird durch Instruktionen für grosse Sprachmodelle gestaltet, die als „Prompt“ bezeichnet werden. Die Prompts definieren nicht nur die Struktur von Eingabe und Ausgabe, sondern legen auch fest, auf welche Punkte das Modell besonderen Wert legen soll oder welche Schritte für die Verarbeitung der Eingabe ausgeführt werden sollen. Die Optimierung dieser Prompts zur Verbesserung der Interaktionsqualität wird als „Prompt Engineering“ bezeichnet. Das Ziel besteht darin, die Antworten der KI und die Benutzerfreundlichkeit zu verbessern, ohne die zugrunde liegenden Modellparameter zu verändern.

Abbildung 1: Darstellung der Interaktion zwischen Mensch und KI im Prompt Engineering. Die Systemnachricht definiert den Kontext, in dem sich die Anwendung befindet. Die Nutzenden formulieren ihre Eingabe oder Frage, die anschliessend verarbeitet wird. Die resultierende KI-Ausgabe wird daraufhin gezielt optimiert, um Verständlichkeit und Qualität zu verbessern.

Warum ein menschenzentrierter Ansatz wichtig ist 

Bei der Entwicklung von Unternehmensinnovation stehen die Bedürfnisse und Erwartungen der Nutzer:innen im Mittelpunkt. KI-Systeme sind dabei nicht das Ziel selbst, sondern ein Mittel, um praxistaugliche, nutzbare und zielführende Lösungen zu schaffen. Dabei orientiert sich die Methode des menschenzentrierten Prompt Engineering an den Prinzipien des Design Thinking und des nutzerzentrierten Designs. In iterativen Prozessen werden nutzerzentrierte Innovationen entwickelt und ein tiefgreifendes Verständnis für die Nutzer:innen sowie Lösungen erarbeitet. Dadurch können Anforderungen an das System oder bestehende Schwierigkeiten in Prozessen direkt berücksichtigt werden.

Für Unternehmen bedeutet dies eine schnellere Lösungsentwicklung, ein geringeres Risiko ungenauer Ergebnisse und eine effektivere Bereitstellung KI-gesteuerter Lösungen.

Der Prozess des menschenzentrierten Prompt Engineering

Das Human Centered AI-based Learning Systems (HAIS) Lab hat einen strukturierten, sechsstufigen Prozess für menschenzentriertes Prompt Engineering entwickelt. Dieser trägt dazu bei, dass sich KI-gesteuerte Geschäftsinnovationen an den Bedürfnissen der Nutzer:innen orientieren und von Expertenwissen unterstützt werden. Ein Beispiel hierfür ist die Nutzung von KI zur automatischen Analyse, Priorisierung und Weiterleitung von Serviceanfragen. Dadurch lassen sich Arbeitsprozesse effizienter gestalten und Reaktionszeiten deutlich verkürzen. Der Schwerpunkt liegt dabei auf der Entwicklung von Prompts, welche die Verständlichkeit und von KI-Ausgaben erhöhen.

Abbildung 2: Der sechsstufige Prozess des menschenzentrierten Prompt Engineerings. Er zeigt, wie Nutzer:innen und Expert:innen gemeinsam Prompts entwickeln, testen und iterativ verfeinern, um KI-Ausgaben gezielt zu verbessern und in einem Prototypen nutzbar zu machen.

1. Verständnis der Bedürfnisse und Probleme der Nutzer:innen

Zu Beginn steht das Ziel im Vordergrund, die Nutzer:innen und ihre Erwartungen an das KI-System zu verstehen. Dies geschieht in der Regel durch Interviews und direkte Interaktionen. Dabei können auch Beispieltexte gesammelt werden für die Eingabe der KI, welche in einem späteren Schritt zur Lösungsfindung beitragen. Leitfragen sind dabei: Wer gehört zur Nutzergruppe? Welche Ziele verfolgen die Nutzer:innen? Und welche Eingaben tätigen sie in das System?

2. Definition der idealen Lösung mit Experten

Darauf folgt die gemeinsame Entwicklung einer idealen KI-Ausgabe zusammen mit Expert:innen. Grundlage bilden die Beispieleingaben aus Schritt 1, anhand derer eine optimale Lösung skizziert wird. Die Entwürfe von idealen Ausgaben bilden den sogenannten Goldstandard, welcher als Massstab für spätere Vergleiche dient. Zentrale Überlegungen sind hierbei: Wer sind die relevanten Expert:innen für das Problem? Wie würden sie die Nutzer:innen bei der Zielerreichung unterstützen? Und wie sieht das ideale Ergebnis der KI-Ausgabe aus?

3. Entwurf von Prompts

Anschliessend werden verschiedene Prompts entworfen, Techniken wie Prompts mit mehreren Ausgabe-Beispielen oder Zerlegung in Einzelschritte getestet und die Ausgaben dokumentiert. Der Schwerpunkt liegt auf der Untersuchung, wie diese Techniken und Veränderungen die KI-Ausgabe beeinflussen, sowie der Identifizierung der vielversprechendsten Prompts und Techniken. In dieser Phase können die verschiedenen Prompt-Techniken evaluiert werden, wie sich die Ausgaben dadurch verändern und wie effektiv die Prompts sind.

4. Evaluation von Prompts

Im nächsten Schritt werden die KI-Ausgaben mit dem zuvor definierten Goldstandard abgeglichen. Die Einbindung der Nutzer:innen ermöglicht eine Bewertung der Qualität der Ergebnisse und verwendeten Prompts. Bei einem nutzerzentrierten Ansatz in der Evaluation können Nutzer:innen gemeinsam mit der KI Aufgaben ausführen. Anschliessend werden die Ausgaben der verschiedenen Prompts bewertet. Bei einem datenorientierten Vorgehen stehen Faktoren wie Konsistenz, Antwortzeit und Genauigkeit der Ausgabe im Fokus. Der Goldstandard dient dabei als Referenz, um Schwachstellen aufzudecken und gezielte Verbesserungen vorzunehmen.

5. Iterative Verfeinerung

Die Prompts werden nun iterativ auf der Grundlage der Bewertungen verfeinert, bis die Ergebnisse den gewünschten Lösungen aus dem Goldstandard sehr nahekommen. Dieser Schritt gewährleistet eine kontinuierliche Verbesserung und stellt sicher, dass die Ziele und Bedürfnisse der Nutzer:innen erfüllt werden. Leitfragen sind dabei: Welche Änderungen wurden vorgenommen? Welche Auswirkungen hatten sie auf die Ausgabe? Und inwieweit nähert sich die aktuelle Lösung dem definierten Goldstandard an?

6. Implementierung in einem Prototyp

Zum Abschluss werden die optimierten Prompts in einen  Prototyp mit grossem Sprachmodell integriert. Dieser zeigt nicht nur die Wirksamkeit der erarbeiteten Lösungen, sondern ermöglicht auch die Interaktion mit den Nutzer:innen. Evaluiert wird unter anderem, wie der Prototyp entwickelt werden kann, inwiefern er das ursprüngliche Problem löst und ob er die Erwartungen sowie Bedürfnisse der Nutzer:innen erfüllt.

Fazit: Nutzen des menschenzentrierten Ansatzes im Prompt Engineering

Bei der Entwicklung von KI-Systemen ist es wichtig, den Fokus auf die Bedürfnisse und Erwartungen der Nutzenden zu legen. Mithilfe des humanzentrierten Ansatzes im Prompt Engineering werden die KI-Ausgaben an konkrete Ziele gebunden, sodass sichergestellt wird, dass die technische Lösung den Erwartungen der Nutzer:innen entspricht. Das iterative Vorgehen minimiert das Risiko sowie erhöht es die Qualität der Prompts und KI-Ausgaben, durch den Einbezug von Nutzer:innen und Experten. Die Methode bietet konkrete Leitlinien für eine zielgerichtete Implementierung generativer KI und hilft dabei, das Potenzial der KI in messbare Ergebnisse zu überführen.