Warum ein Usability Testing kein gelungenes Produkt garantiert

Als jemand der seit vielen Jahren und in verschiedenen Ländern Usability und Human Centered Design unterrichtet freue ich mich natürlich, dass der Begriff Usability inzwischen deutlich bekannter ist als noch vor wenigen Jahren und dass ein Usability Testing inzwischen auch immer öfter erwartet, wenn nicht gar gefordert wird. Es ist aber unrealistisch zu erwarten, dass ein erfolgreiches Usability Testing ein gelungenes Produkt garantiert. Warum? Ein Deepdive von unserem Autor und früheren BFH-Forscher.

Bei der Gestaltung von anwenderorientierter Informatik geht es darum, dass a) tatsächliche Anwenderbedürfnisse verstanden und unterstützt werden und dass b) die Unterstützung möglichst sinnvoll geschieht, wobei sich das je nach Kontext und beteiligten Personen sehr unterschiedlich ausprägen kann. Als anwenderorientierte Informatik bezeichne ich summarisch Informatiksysteme mit denen Personen (Mitarbeitende, Studierende, Kundinnen und Kunden) mittels einer wie auch immer gearteten «Benutzerschnittstelle» interagieren. Informatiksysteme ohne solche Interaktionen zähle ich per dieser Definition nicht zu der anwenderorientierten Informatik.

Die Prinzipien gelungener Interaktionen

Nach heutigem Wissensstand gibt es gerade mal fünf fundamentale Interaktionstypen, welche beschreiben, wie man mit einem Informatiksystem interagieren kann: instructing, conversing, manipulating, exploring, responding (Sharp et al 2019, Lueg et al 2019). Ebenso bekannt sind die fundamentalen Prinzipien gelungener Interaktionen (Nielsen 1994), die wie die Geschichte gezeigt hat, auf praktisch alle Nutzungssituationen anwendbar sind.

Die Fassbarkeit dieser Erkenntnisse klingt jetzt vielleicht so, als wäre es nicht sonderlich wichtig, ob es sich um das Design eines anwenderorientierten Informatiksystems für den Einsatz im Büro, im Spital oder in der Holzwirtschaft handelt, denn die grundsätzlichen Interaktionsmechanismen und die fundamentalen Prinzipien sind ja inzwischen hinlänglich bekannt!? Tatsächlich ist eher das Gegenteil der Fall.

Zum einen sind die erwähnten Erkenntnisse keine Vorschriften, sondern Beschreibungen. Interaktionstypen etwa beschreiben, wie wir interagieren, aber sie schreiben nicht vor, wie

entsprechende Interaktionstypen dann auf der technischen Ebene umgesetzt werden. Der an Unterhaltungen angelehnte «conversing» Interaktionstypus als Beispiel kann auf vielfältige Art und Weise wie bei Chatbots üblich auf Texteingabe basieren. Der Typus könnte aber bei Bedarf auch auf Morsezeichen, Spracherkennung oder einem optischen System für die Interpretation von Gebärdensprache aufbauen.

Genauso sind die Prinzipien gelungener Interaktionen nach Nielsen keine Wegbeschreibung, sondern vielmehr eine Beschreibung eines erstrebenswerten Zustands. Die Prinzipien beschreiben den Soll Zustand wie z.B. «Der System Status ist jederzeit einfach erkennbar» aber nicht, wie man den Zustand erreicht.

Was zur Usability gehört

Was hat das jetzt mit Usability Testing zu tun? Usability ist eine Eigenschaft eines Produktes, die sich anhand verschiedener Kriterien darstellen und zu einem gewissen Grad auch quantifizieren lässt. Weithin akzeptierte Eigenschaften sind Learnability, Efficiency, Memorability, Errors, Satisfaction (Nielsen 2012).

Nach einem Usability Testing weiss man, inwiefern ein anwenderorientiertes Informatikprodukt dem derzeitigen Stand des Usability Wissens entspricht. Bei erkannten Schwächen kann man entsprechend nachbessern, wobei man nicht vergessen sollte (was erfahrungsgemäss leider recht häufig passiert), dass auch die Anpassungen wiederum Usability getestet werden sollten.

Warum garantiert ein Usability Testing mit entsprechenden Nachbesserungen denn noch immer kein gelungenes Produkt?

Es geht wie schon angedeutet um die Anwendenden und deren Bedürfnisse. Die häufig unterschätzte Herausforderung ist dabei, dass selbst erfahrene Entwicklerinnen und Entwickler dazu neigen, eine Anwendungssituation aufgrund des eigenen Wissens und des eigenen Erfahrungshorizonts zu betrachten. Das ist zutiefst menschlich und wird manchmal mit dem Akronym PLUs beschrieben (engl. People Like Us). Es geht aber wie gesagt nicht um die eigenen (letzten Endes projizierten Bedürfnisse), sondern um das Wissen und den Erfahrungshorizont derer, für deren Bedürfnisse entwickelt wird.

Zwei Sichtweisen vereinen

Es gibt einen Berg an Literatur zu dem Thema, den ich hier aus Platzgründen nicht detailliert darstellen kann. Nielsen selbst stellt fasst sehr kurz zusammen, dass Usefulness also wirkliche Nützlichkeit sowohl Usability als auch Utility umfasst, wobei Utility die Relevanz für den Anwendungsfall beschreibt: Usefulness = Usability + Utility (Nielsen 2012) .

Thematisch geht es also um Human Centered Design aka Interaction Design (Sharp et al 2019). Es geht um iteratives und partizipatives Entwickeln, bei dem die Stimmen der Anwendenden von Anfang an und auch immer wieder zwischendurch berücksichtigt werden. Das systematische Involvieren der Anwendenden stellt dabei sicher, dass man sich nicht zu sehr auf bestimmte Teilakspekte konzentriert und andere dabei vernachlässigt.

Human Centered Design ist eine Vorgehensweise, die Lösungsräume eröffnet und neugierig, aber auch wissend, erkundet, und bei dem denkbare Lösungsansätze routinemässig prototypisch evaluiert werden (Discovering requirements, Designing alternatives, Prototyping alternative designs, Evaluating product and its user experience throughout und ggf. Rinse, Repeat). Usability Testings können natürlich Teil eines Human Centered Design Prozesses sein, aber sie können den komplexen Human Centered Design Prozess nicht ersetzen.

An drei stark vereinfachten Beispielen möchte ich noch kurz illustrieren, warum die Ergebnisse eines erfolgreichen Usability Testings leicht überinterpretiert werden können:

1. Das erste Beispiel ist ein Usability Testing eines Blutdruckmessgerätes für den Hausgebrauch, welches von Medizininformatik Studierenden im Rahmen einer User Centered Design Klasse untersucht wurde. Das Usability Testing zeigte, dass die Bedienbarkeit des Gerätes an und für sich recht gelungen war. Das kenntnisreiche Testen zeigte aber auch, dass das Gerät durchaus auch falsche Daten liefern konnte, ohne dass dabei erkennbar gewesen wäre, dass das Gerät nicht richtig eingesetzt worden war. Es gab in diesem Fall also eine Art Meta Usability Ebene, deren Schwächen die Studierenden aufgrund ihrer Fachkenntnisse identifizieren konnten und mit Hilfe eines professionellen Blutdruckmessgerätes verifizierten.
2. Das zweite Beispiel ist eine Software zur Dateneingabe, die unter extremen Bedingungen stattfinden soll. Extrem bedeutet in diesem Fall konstanter Lärm und unvorhersehbare horizontale und vertikale Stösse wie sie in Fahrzeugen, Schiffen und Helikoptern vorkommen. Das bedeutet, dass unkontrollierbare Fahrzeugbewegungen mit aktuellen Dateneingabebewegungen kollidieren können. Ein unter typisch ruhigen Laborbedingungen erfolgreich durchgeführtes Usability Testing könnte zwar zu einem gewissen Grad die Logik der Software bestätigen, aber die tatsächliche Nützlichkeit unter realen Bedingungen könnte das Testing ohne grösseren Aufwand nur sehr eingeschränkt evaluieren.
3. Das dritte Beispiel ist eine mobile Navigationshilfe, die es Ortsfremden ermöglichen soll, sich in ihnen unbekannten Gebäuden wie Spitälern zurechtzufinden. Aus Human Centered Design Perspektive würde sich die Frage stellen, wer denn am meisten von einer solchen Navigationshilfe profitieren würde. Die wahrscheinliche Antwort wäre wohl, dass die Zielpersonen eher unsicher sind, vielleicht auch nicht so gerne um Hilfe fragen, eventuell auch mit kognitiven Schwächen und/oder Sehschwächen umgehen müssen. Die App müsste um so verlässlicher sein, desto mehr die Nutzenden sich darauf verlassen können müssen, was eine formidable Herausforderung ist. Es würde sich also die Frage stellen, ob eine Smartphone App so etwas überhaupt leisten kann, sowohl aus technischer als auch aus ethischer Perspektive. Eine weitere Frage wäre, wie so ein Hilfsangebot alternativ gestaltet werden könnte. Würde bessere Beschilderung helfen? Was sind die gegenwärtigen Schwächen der Beschilderung? Wären menschliche Helfende denkbar, wie sie an manchen Tourismusdestinationen eingesetzt werden, oder könnte man menschlich geleitete Robo-Guides einsetzen, bei denen menschliche Helfer bei Bedarf intervenieren können und die damit auch deutlich verlässlicher sein dürften?

Abschliessend möchte ich noch einmal betonen, dass ich mich wirklich freue, dass der Begriff Usability inzwischen in aller Munde ist. Wir dürfen bei all der Freude aber nicht vergessen, dass ein Usability Testing kein Shortcut ist, der es erlaubt, auf wirkliches Human Centered Design zu verzichten. Gelungene IT-Entwicklungen, die wirkliche Bedürfnisse auf angemessene Weise unterstützen und von den Anwendenden auch angenommen werden, sind typischerweise das Ergebnis anspruchsvoller und manchmal auch langwieriger Human Centered Design Arbeit.

References

Krug, Steve (2010). Rocket surgery made easy. The Do-It-Yourself Guide to Finding and Fixing Usability Problems. New Riders.

Lueg, C., Banks, B., Michalek, J., Dimsey, J., Oswin, D. (2019). Close Encounters of the 5th Kind: Recognizing System-Initiated Engagement as Interaction Type. Journal of the Association for Information Science and Technology, 70(6):634–637. Wiley. https://doi.org/10.1002/asi.24136.

Nielsen, J. (1994). 10 Usability Heuristics for User Interface Design (updated 2020). Available from https://www.nngroup.com/articles/ten-usability–heuristics/

Nielsen, J. (2012). Usability 101: Introduction to Usability. https://www.nngroup.com/articles/usability-101-introduction-to-usability/

Sharp, H., Preece, J., Rogers, Y. (2019). Interaction Design: Beyond Human-computer Interaction. 5th Edition. Wiley.